Чан Ван Фу Методы обработки разнородных данных в проактивных системах управления транспортной инфраструктурой

Короткий опис

Чан Ван Фу Методы обработки разнородных данных в проактивных системах управления транспортной инфраструктурой
ОГЛАВЛЕНИЕ ДИССЕРТАЦИИ
кандидат наук Чан Ван Фу
ВВЕДЕНИЕ

ГЛАВА 1 ВВЕДЕНИЕ В ПРОБЛЕМУ СБОРА И СЛИЯНИЯ ДАННЫХ С РАЗНОРОДНЫХ ИСТОЧНИКОВ В ПРОАКТИВНЫХ СИСТЕМАХ УПРАВЛЕНИЯ ТРАНСПОРТНОЙ ИНФРАСТРУКТУРОЙ

1.1 Проактивные системы поддержки принятия решений в управлении транспортной инфраструктурой

1.2 Классификация данных

1.3 Особенности и проблемы сбора и слияния разнородных данных в проактивных системах поддержки принятия управленческих решений

1.3.1 Особенности и проблемы сбора данных с разнородных источников

1.3.2 Особенности и проблемы слияния разнородных данных в проактивных СППР

1.4 Концептуальные лямбда-модель и Kappa модель хранения разнородных источников данных в системах c пакетной и потоковой обработкой данных

1.5 Цели и задачи диссертационной работы

1.6 Выводы по первой главе

ГЛАВА 2 ОБЗОР СОВРЕМЕННОГО СОСТОЯНИЯ ИССЛЕДОВАНИЙ В ОБЛАСТИ СБОРА И ОБРАБОТКИ РАЗНОРОДНЫХ ДАННЫХ

2.1 Современное состояние исследований в области сбора разнородных данных

2.2 Обзор методов слияния разнородных источников данных

2.3 Обзор подходов к хранению разнородных данных

2.3.1 Реляционные базы данных SQL

2.3.2 Базы данных NoSQL

2.3.3 Распределенные системы хранения разнородных данных

2.4 Обзор технологических платформ сбора, обработки и хранения разнородных данных

2.5 Концепция хранилища данных по принципу «озера данных»

2.6 Выводы по второй главе

ГЛАВА 3. МЕТОДЫ ЭФФЕКТИВНОГО СБОРА И ПРЕДВАРИТЕЛЬНОЙ ОБРАБОТКИ РАЗНОРОДНЫХ ДАННЫХ В ПРОАКТИВНЫХ СИСТЕМАХ УПРАВЛЕНИЯ ТРАНСПОРТНОЙ ИНФРАСТРУКТУРОЙ

3.1 Модель распределенного хранения разнородных данных в концепции «озеро данных»

3.2 Метод сбора и предварительной обработки разнородных данных в ХДОД для проактивного управления транспортной инфраструктурой

3.2.1 Описание метода сбора и предварительной разнородных данных в ХДОД

3.2.2 Улучшение метода сбора и предварительной разнородных данных в ХДОД разделением потоков данных на микропотоки

3.3 Метод реализации запросов к разнородных данным в ХДОД на основе унифицированной SQL-подобной грамматике

3.4 Метод анализа разнородных данных в режиме реального времени в системах управления транспортной инфраструктурой с элементами дополненной реальности

3.5 Выводы по третьей главе

ГЛАВА 4 ПРОЕКТИРОВАНИЕ АРХИТЕКТУРЫ СИСТЕМЫ СБОРА И

ОБРАБОТКИ ДАННЫХ, ИСПЫТАНИЕ И ОБОСНОВАНИЕ ЭФФЕКТИВНОСТИ

РАЗРАБОТАННЫХ ПОДХОДОВ

4.1. Разработка фреймворка генерации событий транспортной инфраструктуры для оценки эффективности предлагаемых методов

4.1.1 Концепция фреймворка генерации событий транспортной инфраструктуры на основе Apache Kafka

4.1.2 Структура генерированных событий

4.1.3 Описание фреймворка EVGEN

4.1.4 Тестирование разработанного фрейворка генерации событий транспортной инфраструктуры

4.2 Архитектура технологического стека для испытания предлагаемых методов

4.3 Апробация и обоснование эффективности разработанных методов в проактивной системе управления транспортной инфраструктурой

4.4.1 Апробация и обоснование эффективности метод сбора и слияния разнородных данных

4.4.2 Апробация и обоснование эффективности метода сбора и слияния разнородных данных на основе подхода разделения данных на микропотоки

4.4.3 Апробация и обоснование эффективности метода выборки разнородных данных из ХДОД на основе предлагаемой БрЬ-подобной грамматики

4.4.4 Апробация и обоснование эффективности метода анализа разнородных данных в режиме реального времени в системах управления транспортной инфраструктурой с элементами дополненной реальности

4.5 Выводы по четвертой главе

ПРИЛОЖЕНИЕ А. СВИДЕТЕЛЬСТВА РЕГИСТРАЦИИ ПРОГРАММЫ ДЛЯ

ЗАКЛЮЧЕНИЕ

121

СПИСОК ЛИТЕРАТУРЫ

123

ЭВМ

139

ПРИЛОЖЕНИЕ Б. АКТ ВНЕДРЕНИЯ ДИССЕРТАЦИОННОЙ РАБОТЫ