Логотип МИЭМ НИУ ВШЭ
Новый
Логотип типа проекта Программный
Программный
2026 / 2027
Логотип проекта Оценка качества научных статей с помощью локальных языковых моделей
    Комиссия 2

2825 Оценка качества научных статей с помощью локальных языковых моделей

Заявка создана
31.10.2026
На рассмотрении у ПО
02.11.2026
Отправлен на комиссию
02.11.2026
Одобрен

Паспорт проекта

Аннотация

Редакция научного журнала тратит много времени на первичную экспертизу рукописей по основным критериям: соответствие тематике и требованиям журнала, полнота структуры, обоснованность выводов, корректность оформления. Значительная часть рукописей отклоняется на этом этапе по типовым причинам, которые можно формализовать. В рамках проекта будет создан сервис, который будет оценивать рукопись по критериям качества, заданным редакцией, и работать в двух режимах. В режиме отбора рукописи будет...

Отрасль

Информатика

Теги

Python
LLM
Информатика

Цель

Разработка сервиса оценки научных статей по формализованным критериям качества с ранжированием рукописей и формированием замечаний с помощью локальной языковой модели.

Ожидаемые результаты

  • Формат критериев качества с JSON-схемой (шкала, вес, уровни, примеры) и набор критериев, согласованный с партнером проекта.
    • Размеченный датасет: рукописи с решениями редакции и замечаниями рецензентов, разбитые по критериям, и оценка согласованности экспертов.
      • Модуль оценивания: разбиение на разделы, оценка критериев локальной LLM с привязкой к фрагментам, итоговый балл, ранжирование.

        Форма и способы промежуточного контроля

        – Работа ведется четырехнедельными циклами. Раз в две недели проводится созвон с руководителем и консультантами. – Задачи фиксируются в системе задач Wekan. Изменения кода принимаются только через merge request с код-ревью руководителя и успешным прохождением CI (тесты, статический анализ, проверка согласия с экспертами на контрольной выборке). – Критерии качества и состав данных согласуются с партнером проекта в первом цикле. Версии промптов, моделей и критериев фиксируются в журнале...

        Форма представления результатов

        – Исходный код в основной ветке репозитория проекта и релиз с тегом версии. – JSON-схема критериев качества и руководство для редакции по их настройке. – Отчет о сравнении подходов с метриками согласия с экспертами. – Комплект отчетной документации: техническое задание, отчет, документация разработчика, пользовательская документация, презентация. – Видеоролик с демонстрацией работы. – Постер.

        Ресурсное обеспечение

        – Программное обеспечение (свободное и открытое): Python 3.12, Ollama, vLLM, Hugging Face Transformers, PEFT, LangChain или LlamaIndex, FastAPI, Pydantic, JSON Schema, PyMuPDF, python-docx, pytest, Docker; открытые языковые модели с поддержкой русского языка. – Данные: критерии качества, рукописи, решения редакции и рецензии предоставляются партнером проекта. – Инфраструктура проекта: репозитории и CI/CD, сетевое хранилище. – Оборудование: персональные компьютеры участников; для запуска и...

        Имеющийся задел

        Собран корпус студенческих научных работ за несколько лет с историей версий и замечаниями руководителя в режиме рецензирования. Его можно использовать для обучения модели формированию замечаний.

        Заказчик

        МИЭМ / ДКИ