Сорокин Максим Игоревич Методы восстановления параметров сцены для решения проблемы реалистичной визуализации в системах смешанной реальности

Краткое описание

Сорокин Максим Игоревич Методы восстановления параметров сцены для решения проблемы реалистичной визуализации в системах смешанной реальности
ОГЛАВЛЕНИЕ ДИССЕРТАЦИИ
кандидат наук Сорокин Максим Игоревич
Оглавление

Реферат

Synopsis

Введение

ГЛАВА 1 Аналитический обзор предметной области

1.1 AR/VR/MR системы. Понятие смешанной реальности

1.2 Особенности технологий Extended Reality

1.3 Сферы применения устройств Extended Reality

1.4 Типы устройств смешанной реальности и их проблемы

1.5 Понятие искусственных нейронных сетей и машинного обучения

1.6 Обзор существующих методов и решений обеспечения естественного восприятия виртуальных объектов

1.7 Выводы к 1 главе

ГЛАВА 2. Автоматическое формирование данных для систем обучения нейронных сетей и методы оценки корректности освещения виртуальных объектов в системах смешанной реальности

2.1 Программное средство реалистичного рендеринга "Lumicept"

2.2 Визуализации изображений и создание наборов данных с реалистичным освещением и автоматической маркировкой

2.3 Критерии оценки дискомфорта зрительного восприятия

2.3.1 Текстура синтезированного объекта

2.3.2 Яркость синтезированного объекта

2.3.3 Корректность освещения и тени

2.4 Метод оценки корректности освещения

2.5 Выводы ко 2 главе

ГЛАВА 3 Разработка метода восстановления координат источников освещения с использованием сверточных нейронных сетей, основанных на алгоритмах сегментации и восстановлении карт глубин помещений на предобученных весах RedNet

3.1 Вычисление карт глубин и сегментация объектов интерьерной сцены с использованием нейронных сетей

3.2 Выбор архитектуры и обучение нейронной сети

3.3 Визуализация виртуальных объектов после восстановления координат источников освещения

3.4 Выводы к 3 главе

ГЛАВА 4 Разработка методов и алгоритмов восстановления источников освещения на основе трассировки теневых лучей с использованием сверточных нейронных сетей

4.1 Метод восстановления источников света на основе анализа теней

4.2 Обучение нейронной сети для решения задачи обнаружения теней трехмерных объектов сцены

4.3 Определение контуров теней и объектов с использованием алгоритмов машинного зрения

4.4 Трассировка теневых лучей для восстановления координат источников освещения

4.5 Выводы к 4 главе

ГЛАВА 5 Разработка методов и алгоритмов восстановления световых характеристик сцены с использованием полносверточных нейронных сетей и программного комплекса реалистичного рендеринга

5.1 Сегментация изображений с целью анализа освещения сцены

5.2 Использование и обучение сверточной нейронной сети с архитектурой VGG16-NET для классификации видов освещения

5.3. Обучение полносверточной нейронной сети с архитектурой VGG16-NET на синтезированном наборе данных для классификации световых параметров сцены

5.4. Использование люксметра для калибровки изображений, полученных на выходе нейронной сети

5.5. Восстановление световых параметров сцены и формирование корректного освещения для виртуальных объектов в системах смешанной

реальности

5.6. Выводы к 5 главе

Заключение

Список литературы

Список рисунков

Приложение 1 Акты внедрения

Приложения 2 Тексты публикаций