Проект направлен на исследование и разработку методов компьютерного моделирования и анализа 3D-представлений лица с применением геометрического глубокого обучения. Основное внимание уделяется построению устойчивых алгоритмов реконструкции и анализа лицевых структур на основе двумерных изображений и ключевых точек, формированию графовых представлений и применению нейросетевых архитектур (Graph Neural Networks, GAT) совместно с методами геометрического анализа. В ходе работы предполагается...

Отрасль

Информационная безопасность

Цель

Разработать подход к построению и анализу 3D-представлений лица на основе геометрического глубокого обучения, который по сравнению с существующими методами повышает точность реконструкции лица по 2D-изображению и качество обнаружения дипфейков. Реконструкцию планируется сравнивать с открытыми методами MediaPipe Face Mesh, 3DDFA-V2 и FAN (face-alignment) по нормированной ошибке трёхмерных ключевых точек (NME) на наборе AFLW2000-3D. Обнаружение планируется сравнивать с классификаторами Xception и...

Ожидаемые результаты

Аналитический обзор современных подходов к 3D-моделированию и анализу лиц.
Разработка и реализация подхода реконструкции лица из 2D-данных.
Применение графовых нейросетей и геометрических методов для анализа лицевых структур.
Экспериментальное сравнение предложенных решений с существующими методами по метрикам NME, AUC и EER.
Доклады на научных конференциях.
- Публикация в рецензируемом журнале из перечня ВАК и/или индексируемом в Scopus, Web of Science и/или РИНЦ.

Форма и способы промежуточного контроля

Отчёты о ходе выполнения проекта. Демонстрация промежуточных версий пайплайна (реконструкция, графовое представление, обучение моделей). Обсуждение результатов экспериментов и корректировка исследовательских гипотез. Итоговая презентация и письменный отчёт по проекту.

Форма представления результатов

- Исходные коды разработанных алгоритмов реконструкции лица и обнаружения дипфейков с инструкцией по запуску, а также обученные модели. - Публикация в журнале из перечня ВАК и/или в Scopus, и/или РИНЦ. - Доклады на конференциях (университетских / всероссийских / международных).

Ресурсное обеспечение

Для обучения и валидации сложных нейросетевых моделей (Graph Neural Networks, GAT) требуется доступ к высокопроизводительным вычислительным кластерам, оснащённым графическими ускорителями (GPU) с большим объёмом памяти (например, NVIDIA A100, H100 или аналоги). Для хранения и предобработки наборов 3D-данных и изображений необходимы системы хранения данных с высокой емкостью.

Имеющийся задел

Проведён предварительный аналитический обзор современных научных публикаций в области 3D-реконструкции лиц, геометрического глубокого обучения и графовых нейронных сетей (GNN/GAT). Выявлены ключевые тренды и ограничения существующих подходов, что сформировало основу для исследовательских гипотез данного проекта. Разработана и формализована общая архитектура исследовательского пайплайна, включающая этапы от обработки входных данных до анализа результатов.