Зосімов В’ячеслав Валерійович Моделі та засоби інтелектуальної обробки даних корпоративних веб-ресурсів

Краткое описание

Зосімов В’ячеслав Валерійович, доцент кафедри комп’ютерних наук та прикладної математики Миколаїв­ського національного університету імені В. О. Сухомлин- ського: «Моделі та засоби інтелектуальної обробки даних корпоративних веб-ресурсів» (01.05.03 - математичне та програмне забезпечення обчислювальних машин і сис­тем). Спецрада Д 26.001.09 у Київському національному університеті імені Тараса Шевченка

Київський національний університет імені Тараса Шевченка
Міністерство освіти і науки України
Київський національний університет імені Тараса Шевченка
Міністерство освіти і науки України
Кваліфікаційна наукова
праця на правах рукопису
УДК 004.9
ЗОСІМОВ В’ячеслав Валерійович
ДИСЕРТАЦІЯ
МОДЕЛІ ТА ЗАСОБИ ІНТЕЛЕКТУАЛЬНОЇ ОБРОБКИ ДАНИХ
КОРПОРАТИВНИХ ВЕБ-РЕСУРСІВ
Спеціальність 01.05.03 – математичне та програмне забезпечення
обчислювальних машин і систем
Подається на здобуття наукового ступеня доктора технічних наук
Дисертація містить результати власних досліджень. Використання ідей,
результатів і текстів інших авторів мають посилання на відповідне джерело
_________________________________ В.В. Зосімов
Науковий консультант Анісімов Анатолій Васильович, доктор фізико -
математичних наук, професор, член-кореспондент НАН України
Київ – 2019

ЗМІСТ
ПЕРЕЛІК УМОВНИХ СКОРОЧЕНЬ ................................................................ 22
ВСТУП ................................................................................................................. 24
РОЗДІЛ 1. Шляхи та методи підвищення якості пошуку та обробки
інформації в мережі Інтернет ............................................................................. 38
1.1 Методи пошуку інформації в мережі Інтернет ...................................... 39
1.2 Сучасні проблеми пошуку інформації в мережі Інтернет .................... 47
1.3 Пошуковий спам........................................................................................ 52
1.4 Алгоритми роботи пошукової системи Google ...................................... 54
1.5 Альтернативні види пошуку .................................................................... 58
1.5.1 Метапошукові системи ...................................................................... 59
1.5.2 Пошукові агенти ................................................................................. 69
1.5.3 Семантична розмітка веб-сторінок .................................................. 72
1.6 Алгоритми ранжування результатів пошуку ......................................... 75
1.6.1 Побудова моделей ранжування ........................................................ 77
1.6.2 Метод групового урахування аргументів ........................................ 78
1.6.3 Узагальнений ітераційний алгоритм ................................................ 80
1.7 Результати та висновки............................................................................. 88
РОЗДІЛ 2. Система комплексного оперування даними в мережі
Інтернет ................................................................................................................ 90
2.1 Абстрактна модель системи КОДІ .......................................................... 91
2.2 Архітектура системи КОДІ ...................................................................... 93
2.2.1 Видобування даних ............................................................................ 95
2.2.2 Зберігання даних .............................................................................. 101
2.2.3 Обробка даних .................................................................................. 103
2.2.4 Відображення даних ........................................................................ 105
2.2.5 Розробка веб-ресурсів з інтегрованою семантичною розміткою 109
2.2.6 Семантична розмітка існуючих веб-сторінок ............................... 111
2.2.7 Шаблони відображення інформаційного вмісту .......................... 114
2.2.8 Додаткова обробка результатів пошукової видачі ....................... 116
20
2.3 Результати та висновки........................................................................... 119
РОЗДІЛ 3. Семантичний профіль корпоративних веб-ресурсів .................. 121
3.1 Постановка задачі побудови семантичного профілю корпоративних
веб-ресурсів вітчизняного сегменту мережі Інтернет ............................... 123
3.2 Алгоритм видобування елементів навігації ......................................... 124
3.3 Дослідження елементів навігації веб-ресурсів .................................... 128
3.4 Стандарти семантичної розмітки веб-сторінок .................................... 135
3.5 Семантичний профіль корпоративних веб-ресурсів ........................... 138
3.6 Семантична розмітка веб-ресурсів ........................................................ 142
3.6.1 Інтеграція семантичної розмітки до вже існуючих
веб-ресурсів ................................................................................................ 143
3.6.2 Розробка корпоративних веб-ресурсів з вбудованою
семантичною розміткою .......................................................................... 150
3.7 Відокремлення змісту та візуального оформлення ............................. 151
3.8 Шаблони відображення вмісту корпоративних веб-ресурсів ............ 156
3.9 Користувацький семантичний профіль веб-ресурсу ........................... 163
3.9.1 Користувацькі шаблони відображення результатів пошуку ....... 167
3.9.2 Програмні засоби побудови шаблонів відображення .................. 169
3.10 Результати та висновки......................................................................... 169
РОЗДІЛ 4. Предметно-орієнтована мова оперування даними в мережі
Інтернет .............................................................................................................. 172
4.1 Мовно-орієнтоване програмування ....................................................... 172
4.2 Історія розвитку парсерів ...................................................................... 174
4.3 Система зберігання ................................................................................. 176
4.4 Механізм збору даних в мові ОДМІ ...................................................... 178
4.5 Типи, структура даних, операції мови ОДМІ....................................... 179
4.6 Лексер і парсер мови ОДМІ ................................................................... 180
4.7 Загальна структура, хід виконання та семантика ................................ 184
4.8 Переваги програмування на мові ОДМІ ............................................... 186
4.9 Етапи практичної реалізації мови ОДМІ .............................................. 189
21
4.10 Результати та висновки......................................................................... 191
РОЗДІЛ 5. Модель ранжування результатів пошуку на основі оцінок
користувачів ....................................................................................................... 194
5.1 Формування експертних груп ................................................................ 195
5.2 Метод розрахунку ваги експертів першого рівня ................................ 198
5.3. Метод розрахунку ваги експертів другого рівня ................................ 205
5.4. Визначення ваги користувачів, які не мають спільних оцінок ......... 212
5.5 Ранжування результатів пошуку ........................................................... 232
5.6. Результати та висновки.......................................................................... 262
РОЗДІЛ 6. Програмна реалізація системи комплексного оперування
даними в мережі Інтернет ................................................................................. 266
6.1 Вибір інструментів розробки ................................................................. 266
6.1.1 Мова програмування ........................................................................ 267
6.1.2 Формат збереження даних ............................................................... 270
6.2 Архітектура програмного комплексу .................................................... 270
6.3 Система керування вмістом для створення корпоративних
веб-ресурсів з інтегрованою семантичною розміткою ............................. 272
6.3.1 Візуальний інтерфейс ...................................................................... 273
6.3.2 Ядро CMS .......................................................................................... 274
6.4 Модуль інформаційного пошуку ........................................................... 275
6.5 Результати та висновки........................................................................... 280
ОСНОВНІ РЕЗУЛЬТАТИ ТА ВИСНОВКИ ................................................... 282
СПИСОК ВИКОРИСТАНИХ ДЖЕРЕЛ ......................................................... 286
ДОДАТОК А ...................................................................................................... 309
ДОДАТОК Б ...................................................................................................... 311
ДОДАТОК В ...................................................................................................... 321
ДОДАТОК Г ...................................................................................................... 327

Список литературы

ОСНОВНІ РЕЗУЛЬТАТИ ТА ВИСНОВКИ
На основі виконаних теоретичних та експериментальних досліджень у
дисертаційній роботі вирішено важливу науково-прикладну проблему
підвищення якості інтелектуального пошуку та обробки даних в мережі
Інтернет із застосуванням програмних пошукових агентів, шляхом розробки
комплексного підходу що об’єднує нові методи, моделі та засоби в єдину
систему комплексного оперування веб-даними на семантичному рівні в
режимі реального часу. Ефективність розроблених системи комплексного
оперування даними в мережі Інтернет та програмного комплексу
підтверджено експериментально та розв’язанням реальних прикладних задач.
Основні висновки та результати, отримані автором та представлені в
дисертаційній роботі:
1. На основі аналізу інформаційного вмісту та елементів навігації 1000
корпоративних веб-ресурсів з вітчизняного сегменту всесвітньої павутини,
побудовано їх загальну структуру та семантичний профіль що являє собою
онтологію семантичних класів та властивостей для опису їх інформаційного
наповнення.
2. Розроблено нову предметно-орієнтовану мову оперування веб-даними
з широким функціоналом для видобування, обробки, збереження та
відображення веб-даних. Всі можливості обробки інформації реалізовані в
якості вбудованих засобів мови і орієнтовані в першу чергу на роботу з
об’єктною моделлю документів, представлених у всесвітній павутині у вигляді
HTML-коду. Основною перевагою даної мови є те, що вона реалізована в
декларативному стилі і дозволяє розробнику описувати складні операції з
даними простими вбудованими функціями. Всі можливості мови реалізовано
з високим рівнем абстракції, що дозволяє змінювати окремі внутрішні
механізми обробки даних, таких як формат збереження даних, методи розбору
структури веб-сторінок, без необхідності корегування програмного коду.
Розроблена мова стала ядром системи підвищення ефективності обробки веб-
283
даних, та базою для реалізації платформи створення пошукових агентів,
заснованої на семантичній розмітці веб-ресурсів.
3. Запропоновано новий підхід до унікальної ідентифікації фрагментів
даних веб-сторінок в рамках доменного імені, заснований на використанні
семантичних атрибутів HTML-блоків замість URL-адреси батьківської вебсторінки, що дає можливість формувати шаблони відображення
інформаційного вмісту веб-ресурсу з довільним розташуванням блоків даних
не зважаючи на їх приналежність до певних сторінок веб-ресурсу.
4. Використовуючи новий підхід до унікальної ідентифікації фрагментів
даних в рамках доменного імені розроблений новий метод відображення
інформаційного вмісту веб-ресурсів на основі користувацьких шаблонів, що
передбачає створення на стороні користувача одного шаблону з визначеною
структурою розташування блоків даних та їх стильовим оформленням для
відображення всіх веб-ресурсів певного типу. Може ефективно
використовуватись для відсіву певних блоків веб-сторінок, що містять
нерелевантну інформаційним потребам користувача інформацію, а також для
формування шаблонів відображення результатів пошукової видачі.
5. Розроблена нова персоналізована модель ранжування результатів
пошуку інформації в мережі Інтернет на основі користувацьких оцінок.
Модель базується на новому методі формування унікальних для кожного
користувача експертних груп, заснованого на розрахунку міри узгодженості
думок поточного користувача з потенційними експертами в режимі реального
часу. Відповідно, для кожного користувача результати ранжування є
унікальними, що робить цю модель набагато більш стійкою до впливу методів
штучного підвищення рейтингу веб-ресурсів та пошукового спаму.
6. Розроблена абстрактна модель системи комплексного оперування
даними в мережі Інтернет, дозволила об’єднати всі представлені в роботі
підходи, методи, моделі та засоби в якості незалежних модулів, для
забезпечення гнучкості та масштабованості системи. Висока ефективність
системи, продемонстрована розв’язанням реальних прикладних задач,
284
досягається за рахунок побудови ядра системи на основі розробленої
предметно-орієнтованої мови оперування веб-даними, яка реалізує набір
базових функцій обробки та перетворення даних.
7. Удосконалені методи інтеграції семантичної розмітки в HTML-код
вже існуючих та нових веб-сторінок дозволяють більш ефективно
використовувати всі переваги концепції семантичної павутини для
видобування, обробки та аналізу веб-даних, а також розширюють можливості
розробки та застосування методів інтелектуального пошуку.
8. Удосконалено технологію пошуку інформації в мережі Інтернет по
ключових словах за рахунок розробки метапошукової системи, яка реалізує
окремий рівень абстракції для додаткової обробки результатів роботи
сучасних пошукових систем, що включає новий підхід до відображення
результатів пошуку із застосуванням користувацьких шаблонів, нову
персоналізовану модель ранжування результатів, а також можливість
створення та застосування пошукових агентів безпосередньо в процесі
пошуку.
9. На основі розробленої абстрактної моделі системи комплексного
оперування даними в мережі Інтернет, розроблено програмний комплекс, з
гнучкою модульною архітектурою, а також широкими можливостями
налаштувань з боку користувача для всіх його модулів. Модулі системи
поділяються за своїм призначенням на базові та функціональні. Базові модулі
наслідують необхідні функції ядра системи і додають рівень абстракції між
ядром та функціональними модулями. Функціональні модулі реалізують
прикладні функції системи у вигляді веб-додатків для забезпечення
інформаційних потреб кінцевого користувача. Кожен функціональний модуль
має власні візуальний та текстовий інтерфейси для взаємодії клієнта з
системою.
10. Програмна реалізація розробленої системи комплексного
оперування даними в мережі Інтернет включає наступні функціональні модулі
для взаємодії користувача з веб-даними:
285
- предметно-орієнтовану мову оперування веб-даними;
- метапошукову систему, засновану на додатковій обробці результатів
роботи сучасних пошукових систем із застосуванням користувацьких
шаблонів відображення результатів пошуку, нової моделі ранжування на
основі оцінок користувачів, а також пошукових агентів;
- платформу розробки пошукових агентів на базі розробленої предметно
орієнтованої мови оперування веб-даним та семантичного профілю
корпоративних веб-ресурсів;
- платформу розробки шаблонів відображення вмісту веб-ресурсів на
основі особистих потреб користувача;
- систему керування вмістом веб-ресурсів для створення веб-ресурсів з
інтегрованою семантичною розміткою;
- інтерфейс інтеграції семантичної розмітки в HTML-код вже існуючих
веб-сторінок.
11. Застосування програмного комплексу для розв’язання широкого
кола реальних задач оперування веб-даними, показало його переваги перед
існуючими методами та програмними рішеннями, що підтверджено актами
впровадження результатів дисертаційного дослідження у виробничий процес
вітчизняних підприємств та організацій.