У вступі обґрунтовано актуальність теми дисертації, сформульовано мету та завдання дослідження, охарактеризовано наукову новизну і практичне значення отриманих результатів, подано інформацію щодо апробацій та публікацій результатів дисертаційної роботи із зазначенням особистого внеску автора у роботах, виконаних у співавторстві.
У першому розділі проаналізовані та систематизовані наукові результати за темою моделювання та розпізнання жестового мовлення, зокрема, зроблено загальний опис предметної області для ЖМ як засобу спілкування, що використовує невербальні канали комунікації; подано огляд існуючих систем нотації для ЖМ; проаналізовано підходи до відтворення контенту ЖМ; розглянуто технологію захоплення рухів для створення тримірного контенту; зроблено огляд сучасного стану досліджень з розпізнавання та перекладу ЖМ; наведені сучасні підходи до розпізнавання зображень з метою використання їх при дослідженні розпізнавання ЖМ; зроблено огляд підходів до аналізу мімічної складової на обличчі людини; розглянуті підходи до побудови тримірних об’єктів-людей.
Крім вербального (словесного) способу комунікації існує мова рухів тіла, яка називається невербальним способом спілкування. Жестове мовлення людей з вадами слуху має декілька різновидів: дактилогію, розмовну жестову мову та калькуючу жестову мову. Дактилогія – це спосіб спілкування глухих за допомогою пальців за якого певне фіксоване положення пальців означає певну букву абетки. Дактильна мова в сурдопедагогіці використовується як допоміжний засіб. Володіючи словесною мовою, глухі як основний засіб спілкування з тими, що чують, і між собою як засіб навчання і пізнання віддають перевагу системі жестового спілкування – розмовній жестовій мові. З погляду створення інформаційних технологій невербального спілкування людей з вадами слуху найбільший інтерес викликає якраз розмовне жестове мовлення як домінантний спосіб комунікації.
Жести відрізняються один від одного перш за все своєрідністю зв'язків між їх елементами, які втілюються в кожному жесті одночасно. Цим жест відрізняється від слова, одиниці якого – фонеми – виявляються переважно послідовно в часі. Виявлення набору характеристик кожного елемента жесту дозволило розробити систему запису будь-якого жесту – точну, однозначну і економну. Запис складається з різних знаків, ліній і стрілок. Подібні записи використовуються в наукових описах, а також при створенні комп'ютерних програм для аналізу жестових мов і створення жестових словників. Найбільш відомими на сьогодні є системи нотації для американського ЖМ (система Стокоу), гамбурзька система нотації (HamNoSys) та система запису для російського ЖМ (система Дімскіс). Для українського ЖМ подібні системи нотації відсутні.
Специфіка ЖМ така, що в різних регіонах існують діалекти, які відрізняються один від іншого.Для подолання діалектних розбіжностей слугують мультимедійні комп’ютерні жестові словники. Відомі словники ЖМ побудовані на використанні для відтворення жестового мовлення відеоряду. Крім використання відеоряду, в світі останнім часом з появою можливості відтворення різного мультимедійного контенту з’являються і засоби, які для відтворення ЖМ використовують тримірну комп’ютерну графіку. Сучасні можливості обчислювальної техніки дозволяють донести тримірний контент до широкого загалу. Найбільш відомими продуктами з тримірним контентом є застосування від фірм Vcom3D для американського ЖМ та Hitachi для японського ЖМ.
Огляд існуючих засобів, що використовують тримірних акторів для відтворення ЖМ, дозволяє зробити висновок про актуальність такого підходу. Основною проблемою при використанні тримірних акторів для відтворення ЖМ є проблема конструювання жесту. Всі системи, що конструюють жест за допомогою людини (модельєра) – мають істотні недоліки – нереалістичність рухів. Останнім часом у комп’ютерній анімації для подолання цієї проблеми використовують технології захоплення рухів.
Огляд сучасного стану досліджень з розпізнавання та перекладу ЖМ показав, що на сьогодні системи розпізнавання ЖМ і тренажери ЖМ з розпізнаванням жестів існують лише на рівні дослідницьких прототипів. Для отримання даних, за якими можна розпізнати жести, у системах розпізнавання жестів використовують певні апаратні засоби: рукавиці з механічними датчиками; камери, які отримують інформацію про відстань до об’єкта (3D-камери); дві камери: одну фронтальну та іншу верхню або профільну; одну фронтальну стереокамеру; одну камеру, закріплену на голові; одну фронтальну камеру. Такий стан спонукає до огляду сучасних методів розпізнавання зображень з метою залучення деяких з них до досліджень з розпізнавання ЖМ. У дисертаційній роботі використовуються методи, засновані на виявленні у зображення певних особливостей (features). З цією метою використовуються різні перетворення, які дозволяють з особливостей отримати лінійно роздільні вектори ознак. Серед різних споріднених методів заслуговує на увагу метод SURF, оскільки він є одним з найбільш ефективних і швидких сучасних алгоритмів. Іншими сучасними методами для ідентифікації зображення є методи лінійної класифікації, що базуються на скалярному добутку векторів (Support Vector Machine та подібні). Останнім часом для побудови системи ознак пропонується використовувати метод HOG, заснований на гістограмі орієнтованих градієнтів.
Жестова мова є комунікативною системою, висловлювання якої побудовані на жестикуляційно-емоційній основі. Отже, міміка (емоційна і артикуляційна) є важливим фактором ЖМ. В дисертаційній роботі наведено огляд психологічних засад емоцій, огляд підходів до розпізнавання емоційної та артикуляційної складових на обличчі. Варто відмітити систему, запропоновану Екманом для опису всіх візуально помітних рухів обличчя – Facial Action Coding System або FACS, яка базується на перерахуванні всіх «одиниць рухів» (action units) обличчя, які спричиняють мімічні рухи. Деякі м’язи спричиняють більше ніж одну одиницю руху, тому відповідність між одиницею руху і рухом м’яза приблизна. Використання такого підходу покладено у технологію для моделювання та ідентифікації мімічної складової на обличчі.
У завданні візуалізації артикуляційних та емоційних складових ЖМ важливим є відтворення моделі голови конкретної людини, оскільки емоційні та артикуляційні складові мають індивідуальні риси. Огляд існуючих підходів показав перспективність моделювання голови людини з використанням проектуючих засобів.
У висновках до першого розділу обґрунтувано вибір мети дисертаційної роботи та сформульовано основні завданнядослідження. Запропоновано підхід до створення інформаційної технології для спілкування людей з вадами слуху як системи синтезу та аналізу невербальних каналів комунікації.
Другий, третій та четвертий розділи містять обґрунтування вибору напрямку дослідження, викладається загальна методика проведення дослідження, наводяться підходи до розв’язання поставлених завдань. Використаний у дослідженні підхід, а саме: синтез процесу жестового мовлення за допомогою віртуальних моделей людей та застосування отриманої при цьому інформації для подальшого аналізу невербальних каналів комунікації, спонукав до викладення матеріалів для створення інформаційних технологій у трьох розділах – у другому розділі розглядається подання імітаційних моделей людей з основними каналами для невербального спілкування, у третьому розділі викладено моделювання ЖМ, а четвертий розділ містить аналіз невербальних каналів комунікації.
У другому розділі розглянуто синтез (моделювання) віртуальних об’єктів-людей. Основна ідея дослідження полягає у синтезі віртуальної моделі людини. Модель має враховувати основні невербальні канали для комунікації. Отримані під час моделювання множини-класи декомпозованих елементів, з яких складаються статичні та динамічні відображення процесів невербальної комунікації, дозволили розпізнавання основних невербальних мовлень звести до задачі ідентифікації, тобто віднесення складових, створюваних невербальними каналами, до визначених наперед елементів відповідних класів. Запропонована віртуальна модель людини умовно поділена на модель голови (обличчя) для передачі мімічних проявів (емоції, промовляння губами, сигнали очей) та на скелетну модель для передачі кінематичних проявів (жести тощо). Для відтворення зовнішнього вигляду (поверхні) людини використовувався полігональний підхід. Для керування мімікою застосовується підхід з використанням NURBS. Для керування обличчям віртуальної моделі наведено формалізм як для побудови моделі голови довільної людини, так і для керування мімічними появами на обличчі моделі за умови синтезу емоційних та артикуляційних проявів. Для керування рухами віртуальної моделі наведено формалізм скелетної моделі, формалізм прив’язки скелету до полігональних вершин моделі та технології захвату рухів.
У психології для правильного розуміння і застосування емпірично прокласифіковані основні елементи невербальної поведінки. До невербальних засобів спілкування належать такі компоненти: міміка, візуальна взаємодія (контакт очей), просторова і тимчасова організація спілкування, тактильна комунікація, жести, пантоміміка. З погляду моделювання віртуальної людини за умови врахування основних невербальних каналів з наведеного списку найбільш впливовими є міміка, жести та пантоміміка. Візуальну взаємодію можна моделювати механізмами міміки. Просторова і часова організація спілкування та тактильна комунікація не стосуються безпосередньо моделі, а мають сенс у випадку сцени. Отже, основними каналами невербального спілкування є міміка та жести з пантомімікою.
Міміка є найбільш вивченим компонентом невербальної комунікації, оскільки скорочення лицьових м'язів змінює вираз обличчя і сигналізує про стани людини. Кожний вираз – це скорочення багатьох лицьових м'язів. Причина в тому, що всі мімічні м'язи розвиваються із загального початку й іннервуються одним лицьовим нервом. Емоційні прояви складаються із спонтанних і довільних мімічних реакцій. Оскільки суспільство заохочує вираження одних емоцій і засуджує інші, то таким чином виробляється «мова» міміки (універсальні або специфічні вирази обличчя), що збагачує спонтанні (конвенціальні) виразні рухи.
