МЕТОДИ ТА КОМП’ЮТЕРНІ ЗАСОБИ ДОСЛІДЖЕННЯ МІМІЧНИХ ПРОЯВІВ НА ОБЛИЧЧІ ЛЮДИНИ ДЛЯ ВІДТВОРЕННЯ І РОЗПІЗНАВАННЯ ЖЕСТОВОЇ МОВИ

Короткий зміст

ОСНОВНИЙ ЗМІСТ РОБОТИ

У першому розділі «Загальні підходи до дослідження візуального сприйняття процесу мовотворення» проведено дослідження проблеми комп’ютерного синтезу і розпізнавання зорової інформації для відтворення жестової мови. Аналізується комп’ютерне подання зорової інформації, історія проблеми штучного синтезу візуальної складової мовленнєвого процесу та систем читання по губах. Подано результати аналізу підходів та методів комп’ютерного синтезу візуальної складової мовленнєвого процесу. Системи синтезу мови жестів та особливості при відтворенні української жестової мови. Проведено огляд сучасних систем комп’ютерного синтезу та розпізнавання зовнішньої артикуляції та дослідження проблем створення відповідних комп’ютерних систем, баз даних жестових одиниць та засобів синтезу зорового каналу сприймання мовлення. Наведено апарат апроксимації з використанням параметричних кривих точкових контурів, зокрема, неоднорідними раціональними B-сплайнами (NURBS-кривими).

Показано актуальність і важливість розробки алгоритмів виявлення області губ на фотографічному та відео зображеннях, розпізнавання артикуляції губ та синтезу візуальної складової мовленнєвого процесу, які є важливим етапом при створенні систем комп’ютерного зору в задачах побудови перспективних технологій віртуального спілкування користувача з комп’ютером та розробці навчальних програм.

Досліджено властивості української жестової мови в контексті відтворення і розпізнавання мімічних проявів носієм жестової мови.

Другий розділ «Синтез артикуляційно-емоційних складових процесу мовотворення для моделювання  жестової мови» присвячено створенню методики до синтезу артикуляційної та емоційної складових процесу візуалізації жестової мови на тривимірній моделі людини з використанням функції розподілу по кадрам і розробці алгоритмів синтезу візуальної складової мовленнєвого процесу в контексті задачі відтворення жестової мови.

Запропоновано об’єктно-елементну модель синтезу анімації мовленнєвого процесу для відтворення жестової мови з використанням морфем візем української мови і емоцій; створено алгоритми реалізації морфемної анімації для відтворення процесу анімації міміки трьохмірною моделлю людини. Побудовано інформаційну та математичну модель для реалізації можливості генерації анімації процесу мовлення за допомогою жестової мови з використанням віртуальних моделей людини. Розроблено принципи синхронізації анімаційних процесів жестикуляції та артикуляції для відтворення української жестової мови.

Для задачі синхронізації артикуляції з жестом у роботі пропонується модифікація комбінованого текстово-мовного підходу, яка використовує текстові дані, а також додаткову інформацію про часову тривалість звучання фонем та їх часові границі для конкретного слова. Цю додаткову інформацію отримано з даних голосового синтезатора, реалізованого у технології [3], який використовує результати досліджень в області лінгвістики української мови, та структури подання синтезатором слова. Інформація, яка використовується для синхронізації, формується на етапі обробки текстового подання нормальної словоформи відповідно до жесту.