Новый
2026 / 2027

2825 Оценка качества научных статей с помощью локальных языковых моделей
Заявка создана
31.10.2026
На рассмотрении у ПО
02.11.2026
Отправлен на комиссию
02.11.2026
Одобрен
Паспорт проекта
Аннотация
Редакция научного журнала тратит много времени на первичную экспертизу рукописей по основным критериям: соответствие тематике и требованиям журнала, полнота структуры, обоснованность выводов, корректность оформления. Значительная часть рукописей отклоняется на этом этапе по типовым причинам, которые можно формализовать. В рамках проекта будет создан сервис, который будет оценивать рукопись по критериям качества, заданным редакцией, и работать в двух режимах. В режиме отбора рукописи будет...
Отрасль
Информатика
Теги
Python
LLM
Информатика
Цель
Разработка сервиса оценки научных статей по формализованным критериям качества с ранжированием рукописей и формированием замечаний с помощью локальной языковой модели.
Ожидаемые результаты
- Формат критериев качества с JSON-схемой (шкала, вес, уровни, примеры) и набор критериев, согласованный с партнером проекта.
- Размеченный датасет: рукописи с решениями редакции и замечаниями рецензентов, разбитые по критериям, и оценка согласованности экспертов.
- Модуль оценивания: разбиение на разделы, оценка критериев локальной LLM с привязкой к фрагментам, итоговый балл, ранжирование.
Форма и способы промежуточного контроля
– Работа ведется четырехнедельными циклами. Раз в две недели проводится созвон с руководителем и консультантами.
– Задачи фиксируются в системе задач Wekan. Изменения кода принимаются только через merge request с код-ревью руководителя и успешным прохождением CI (тесты, статический анализ, проверка согласия с экспертами на контрольной выборке).
– Критерии качества и состав данных согласуются с партнером проекта в первом цикле. Версии промптов, моделей и критериев фиксируются в журнале...
Форма представления результатов
– Исходный код в основной ветке репозитория проекта и релиз с тегом версии.
– JSON-схема критериев качества и руководство для редакции по их настройке.
– Отчет о сравнении подходов с метриками согласия с экспертами.
– Комплект отчетной документации: техническое задание, отчет, документация разработчика, пользовательская документация, презентация.
– Видеоролик с демонстрацией работы.
– Постер.
Ресурсное обеспечение
– Программное обеспечение (свободное и открытое): Python 3.12, Ollama, vLLM, Hugging Face Transformers, PEFT, LangChain или LlamaIndex, FastAPI, Pydantic, JSON Schema, PyMuPDF, python-docx, pytest, Docker; открытые языковые модели с поддержкой русского языка.
– Данные: критерии качества, рукописи, решения редакции и рецензии предоставляются партнером проекта.
– Инфраструктура проекта: репозитории и CI/CD, сетевое хранилище.
– Оборудование: персональные компьютеры участников; для запуска и...
Имеющийся задел
Собран корпус студенческих научных работ за несколько лет с историей версий и замечаниями руководителя в режиме рецензирования. Его можно использовать для обучения модели формированию замечаний.
Заказчик
МИЭМ / ДКИ