МЕТОДИ ТА КОМП’ЮТЕРНІ ЗАСОБИ ДОСЛІДЖЕННЯ МІМІЧНИХ ПРОЯВІВ НА ОБЛИЧЧІ ЛЮДИНИ ДЛЯ ВІДТВОРЕННЯ І РОЗПІЗНАВАННЯ ЖЕСТОВОЇ МОВИ : МЕТОДЫ И КОМПЬЮТЕРНЫЕ СРЕДСТВА ИССЛЕДОВАНИЯ МИМИЧЕСКИХ ПРОЯВЛЕНИЙ НА ЛИЦЕ ЧЕЛОВЕКА ДЛЯ ВОСПРОИЗВЕДЕНИЯ И РАСПОЗНАВАНИЯ ЖЕСТОВОГО ЯЗЫКА



  • Название:
  • МЕТОДИ ТА КОМП’ЮТЕРНІ ЗАСОБИ ДОСЛІДЖЕННЯ МІМІЧНИХ ПРОЯВІВ НА ОБЛИЧЧІ ЛЮДИНИ ДЛЯ ВІДТВОРЕННЯ І РОЗПІЗНАВАННЯ ЖЕСТОВОЇ МОВИ
  • Альтернативное название:
  • МЕТОДЫ И КОМПЬЮТЕРНЫЕ СРЕДСТВА ИССЛЕДОВАНИЯ МИМИЧЕСКИХ ПРОЯВЛЕНИЙ НА ЛИЦЕ ЧЕЛОВЕКА ДЛЯ ВОСПРОИЗВЕДЕНИЯ И РАСПОЗНАВАНИЯ ЖЕСТОВОГО ЯЗЫКА
  • Кол-во страниц:
  • 177
  • ВУЗ:
  • ІНСТИТУТ КІБЕРНЕТИКИ ІМЕНІ В.М.ГЛУШКОВА
  • Год защиты:
  • 2012
  • Краткое описание:


  • ІНСТИТУТ КІБЕРНЕТИКИ ІМЕНІ В.М.ГЛУШКОВА


     


    На правах рукопису


     


    ТЕРНОВ АНТОН СЕРГІЙОВИЧ


     


    УДК 004.928, 004.93


     


     


    МЕТОДИ ТА КОМП’ЮТЕРНІ ЗАСОБИ ДОСЛІДЖЕННЯ МІМІЧНИХ ПРОЯВІВ НА ОБЛИЧЧІ ЛЮДИНИ ДЛЯ ВІДТВОРЕННЯ


    І РОЗПІЗНАВАННЯ ЖЕСТОВОЇ МОВИ


     


    05.13.23 — Системи та засоби штучного інтелекту


     


     


    ДИСЕРТАЦІЯ 


    на здобуття наукового ступеня


    кандидата технічних наук


     


    Науковий керівник:


    доктор фізико-математичних наук,


    професор Крак Ю. В.


     


     


    Київ 2012









    ЗМІСТ









































































































































































































































































































    …………………………………………………………………………



    2



    ПЕРЕЛІК УМОВНИХ СКОРОЧЕНЬ ……………………………………….



    5



    ВСТУП ………………………………………………………………………...…



    6



    РОЗДІЛ 1.



     ЗАГАЛЬНІ ПІДХОДИ ДО ДОСЛІДЖЕННЯ ВІЗУАЛЬНОГО СПРИЙНЯТТЯ ПРОЦЕСУ МОВОТВОРЕННЯ ………………..



    14



    1.1.



     Методи і способи отримання інформації про процес артикуляції при мовотворенні …………………………………...



    14



    1.1.1.



     Процес мовотворення і принципи його візуального сприйняття ………………………………………………………...



    14



    1.1.2.



    Системи читання по губах і синтезу візуального мовлення         …..



    18



    1.1.3.



     Математичні методи отримання, обробки і аналізу візуальної інформації …………………………………………..……………..



    21



    1.2.



    Методи розпізнавання і классифікації …………………………..



    28



    1.2.1.



    Метод сингулярного розкладу …………………………………..



    28



    1.2.2.



    Нейронні мережі ……………………………………………….....



    30



    1.3.



     Методи візуалізації і анімації тривимірних об’єктів ……….....



    33



    1.3.1.



     Системи створення тривимірних моделей голови людини ……



    33



    1.3.2.



     Методи і підходи до тривимірної анімації ……………………..



    35



    1.3.3.



     Морфемна модель анімації міміки обличчя людини ……….....



    38



    1.4.



     Жестова мова ………………………………………………….....



    41



    1.4.1.



     Задача сурдоперекладача ………………………………………..



    43



    1.4.2.



     Синтез жестової мови ……………………………………………



    43



    1.5.



     Висновки до розділу ……………………………………………..



    45



    РОЗДІЛ 2.



     СИНТЕЗ АРТИКУЛЯЦІЙНО-ЕМОЦІЙНИХ СКЛАДОВИХ ПРОЦЕСУ МОВОТВОРЕННЯ ДЛЯ МОДЕЛЮВАННЯ ЖЕСТОВОЇ МОВИ ………………………………………………



    48



    2.1.



     Структурні елементи формування візуального мовлення ….…



    48



    2.2.



     Структурні одиниці українського мовлення (фонеми і віземи)



    55



    2.3.



     Модель голови людини ……………………………………….…



    64



    2.4.



     Загальна структура системи синтезу процесу мовотворення для відображення жестової інформації. ……………………...…



    66



    2.5.



     Морфи візем української мови ……………………………….…



    69



    2.5.1.



     Артикулятори і м’язова структура голови людини ……………



    69



    2.5.2.



     Елементи об’єктно-елементної моделі синтезу……………...…



    74



    2.5.3.



     Анімаційні потоки для синтезу процесу артикуляції ……….…



    79



    2.6.



     Синхронізація інформаційних візуальних потоків при відтворенні жестової мови …………………………………….…



    82



    2.6.1.



     Повіземний синтез і синхронізація        …………………………..…



    84



    2.6.2.



     Поскладовий синтез і синхронізація ……………………………



    86



    2.7.



     Висновки до розділу …………………………………………..…



    89



    РОЗДІЛ 3.



     РОЗПІЗНАВАННЯ АРТИКУЛЯЦІЙНОЇ ТА ЕМОЦІЙНОЇ СКЛАДОВОЇ ПРОЦЕСУ МОВОТВОРЕННЯ ДЛЯ АНАЛІЗУ ЖЕСТОВОЇ МОВИ ………………………………..……………..



    90



    3.1.



     Технологія розпізнавання артикуляції при мовотворенні. Синтез математичної моделі губ конкретної людини ………….



    91



    3.1.1.



     Виділення зв’язних областей обличчя на фото і відео зображеннях ……………………………………………………….



    93



    3.1.2.



     Алгоритм отримання точкового контуру губ ……………….…



    97



    3.1.3.



     Математична модель губ конкретної людини ……………….…



    100



    3.1.4.



     Структурно-віземний аналіз артикуляційного каналу інформації …………………………………………………………



    101



    3.2.



    Аналіз невербального каналу передачі інформації в жестовій мові ………………………………………………………………..



    105



    3.2.1.



    Параметри невербальної складової емоційно-артикуляційного каналу передачі інформації …………………………………..….



    105



    3.2.2.



    Технологія аналізу мімічних проявів емоцій в жестовій мові…………………………………………………………………



    107



    3.3.



     Висновки до розділу ………………………………………….….



    110


     



    РОЗДІЛ 4.



     РЕАЛІЗАЦІЯ МУЛЬТИМЕДІЙНОЇ ТЕХНОЛОГІЙ І АЛГОРИТМІВ СИНТЕЗУ ТА АНАЛІЗУ ЕМОЦІЙНО-АРТИКУЛЯЦІЙНОЇ СКЛАДОВОЇ…………….………………..



    111



    4.1.



     Реалізація інформаційної технології для розпізнавання міміки губ ………………………………………………………………….



    111



    4.1.1.



     Клас для обробки зображень CMFace ……………………….….



    111



    4.1.2.



     Клас пошуку області губ і точкового контуру …………………



    114



    4.1.3.



     Програмна реалізація алгоритмів виділення контуру губ на фотографічному та відео зображеннях ……………………….…



    116



    4.1.4.



     Тестування роботи інформаційної технології структурно-віземного аналізу        …………………………………………………



    118



    4.2.



     Реалізація модуля синтезу мімік на моделі голови людини         ….



    121



    4.2.1.



     Побудова бази морфем візем української мови і морфем емоцій …………………………………………………………...…



    121



    4.2.2.



     Візуалізація міміко-артикуляційного процесу синхронно до анімації жесту ………………………………………………….…



    126



    4.2.3.



     Основні класи програмної реалізації алгоритмів синтезу емоційно-артикуляційних мімік ……………………………..….



    131



    4.2.4.



     Моделі опису і подання текстових даних для задачі відтворення і передачі емоційного стану обличчя людини і артикуляційної складової мовленнєвого процесу. …………..…



    136



    4.3.



     Висновки до розділу ………………………………………….…



    140



    ВИСНОВКИ ………………………………………………………………….….



    141



    СПИСОК ВИКОРИСТАНИХ ДЖЕРЕЛ ……………………………………



    143



    ДОДАТОК А …………………………………………………………………….



    160



    ДОДАТОК Б …………………………………………………………………….



    164



    ДОДАТОК В …………………………………………………………………….



    169



    ДОДАТОК Г …………………………………………………………………….



    175











    СКОРОЧЕНЬ


     





























































    Скорочення, термін, позначення



    Пояснення



    NURBS



    Неоднорідні раціональні базисні сплайни



    B-сплайн



    Базисна сплайн-функція



    AVSR



    Audio-Visual Speech Recognition – аудіо-візуальне розпізнавання мовлення



    VSR



    visual speech recognition ‑ візуальне розпізнавання мовлення



    ASM



    Active Shape model – активні контурні моделі



    УЖМ



    Українська жестова мова



    ASL



    Американська жестова мова



    СV-склад



    Склад мовлення, який складається з приголосної і голосної



    SVD



    Сингулярний розклад вектора (Singular value decomposition)



     (API) OpenGL



    Графічний інтерфейс прикладного програмування



    Р



    векторний простір керуючих точок NURBS-кривих





    Характеристичний вектор ознак координат опорних точок NURBS-кривих





     












    Невербальна артикуляційна і мімічна передача інформації людиною за допомогою жестової мови стала предметом інтенсивних досліджень із середини ХХ ст. внаслідок виникнення світових тенденцій до інтеграції людей з вадами слуху у суспільство та у зв’язку із прогресом і загальнодоступністю комп’ютерної техніки.


    В жестових мовах інформація кодується рухами рук, тіла, мімікою обличчя і сприймається зорово. Це зумовлює спроможність жестової мови виражати емоції і почуття нечуючої людини за допомогою різноманітних мовних засобів емотивної лексики через експресію руху та емоційну міміку на обличчі носія жестової мови. З огляду на особливості відтворення жестової мови, які вимагають відвертого і більш виразного прояву емоційно-артикуляційного процесу на обличчі та в жестах, аналіз міміки емоції і артикуляції при відтворенні жестової мови є досить важливою віхою у розумінні семантики інформації яка передається з подальшим її елементним синтезом. Це дасть змогу правильно ідентифікувати внутрішній стан та відношення людини до повідомлення, сприятиме розумінню і більш правильному аналізу сенсу жестикуляції, створенню реалістичного інформаційного каналу зворотного зв’язку.


    Тому дана тематика є важливим і актуальним напрямом досліджень в контексті задач розроблення мультимедійних технологій для систем штучного інтелекту, засобів та систем інтелектуалізації комп’ютерних інтерфейсів, невід’ємною складовою яких є системи комп’ютерного синтезу і аналізу візуальної інформації.


    Проблемами розпізнавання мови за рухами губ та комп’ютерним аналізом жестової мови займаються у багатьох провідних організаціях світу, зокрема, у Галлодетському університеті, Інституті інформатики Макса Планка, Інституті комунікації та комп’ютерних систем Національного технічного університету в Афінах («Computer Vision, Speech Communication & Signal Processing Group»), Стокгольмському королівському технологічному інституті («Speech Communication & Technology Group»), Московському державному університеті імені М.В. Ломоносова («Лаборатория компьютерной графики и мультимедиа»), Санкт-Петербурзькому інституті інформатики і автоматизації («Speaking Information Group»), Йельському університеті, у наукових підрозділах корпорацій Intel, Microsoft тощо. В Україні розробки по розпізнаванню мови за рухами губ ведуться в рамках досліджень з розпізнавання облич людей у Кібернетичному Центрі НАН України (м. Київ), Інституті проблем штучного інтелекту МОН України та НАН України (м. Донецьк), Київському національному університеті імені Тараса Шевченка, Національному університеті «Львівська політехніка» та інших наукових і навчальних закладах.


    Незважаючи на суттєвий прогрес у вирішенні задач синтезу візуальної складової мовного процесу, комплексно проблема залишається невирішеною, в силу того, що існуючі підходи мають локально конкретний характер у відповідності до задачі та предметної області і є мовозалежними.


    Тому особливості мовленнєвого процесу української мови, зумовлені відмінностями як у фонетиці так і морфології, вимагають перегляду та адаптації існуючих підходів до задачі відтворення та аналізу зовнішнього артикуля-ційного процесу при синтезі та розпізнаванні української жестової мови.


    Крім проблем пов’язаних з локалізацією мови, мають місце й інші чинники пов’язані з особливістю продукування артикуляції з емоціями при відтворенні жестової мови, що передувало проведенню досліджень наведених у даній дисертаційній роботі. Наприклад, для природності відтворення артикуляції і емоцій при синтезі жестової мови, на відміну від задач аудіо-візуального синтезу, існує необхідність проводити синхронізацію мімічних процесів з анімацією жесту. Відсутність на даний момент формального опису української жестової мови, як наприклад, для Американської жестової мови, ускладнювали задачу дослідження питань пов’язаних з принципами відтворення і аналізу саме української жестової мови.


    Слід зазначити, що в загальному випадку задача синтезу візуальної складової артикуляційного і мімічного процесу є складовою задачі синтезу жестової мови і буде залежати від підходу до реалізації останньої. У зв’язку з розвитком цифрових технологій та потужності комп’ютерної техніки, особливу зацікавленість викликає підхід з використанням відцифрованих чи змодельованих рухів та міміко-емоційної артикуляції людини носія жестової мови, який дозволяє створювати інтелектуальні інтерфейси та гіпермедійні технології і засоби для розробки навчальних систем і систем штучного інтелекту.


    Таким чином, дисертаційну роботу присвячено створенню нових засобів для моделювання і розпізнавання емоційної та артикуляційної складової мовленнєвого процесу на обличчі людини для відтворення і розпізнавання жестової мови. Технології розпізнавання і синтезу мімічної та артикуляційної складових мовної інформації є важливою проблемою при створенні інтегральних людино-комп’ютерних середовищ, наприклад, при створенні систем комунікації чуючих людей і людей з вадами слуху.


    Зв'язок роботи з науковими програмами, планами, темами. Дисертаційна робота виконувалася в рамках науково-дослідних тем: «Розробити нові високоефективні математичні засоби інтелектуального інтерфейсу людини з комп’ютерним середовищем» (№ держреєстрації 0107U004766); «Розробка комп'ютерної системи віртуального спілкування людей з вадами зору та слуху. Підсистема спілкування людей українською мовою жестів та голосового синтезу української мови» (№ держреєстрації 0107U008421); «Розробити перспективні інформаційні технології віртуального спілкування користувача з комп’ютером (№ держреєстрації 0108U003513); «Розробити інформаційну технологію природного інтерфейсу користувача на основі мови жестів» (№ держреєстрації 0109U001603). У цих проектах автор був виконавцем.


    Мета і задачі дослідження. Мета дисертаційної роботи – розробка технології і створення засобів відтворення на тривимірній моделі мімічного каналу передачі інформації жестової мови та розпізнавання емоційного і артикуляційного стану обличчя людини. Для досягнення зазначеної мети в роботі поставлені та вирішені наступні задачі:


    ‑ побудова активної контурної моделі для отримання векторно-характеристичних міміко-емоційних і артикуляційних ознак;


    ‑ побудова формальної моделі візуальної складової артикуляційного процесу у вигляді векторного простору ознак та визначення базису цього простору;


    ‑ розробка методики й алгоритму анімації імітації мовленнєвого процесу з емоціями;


    ‑ розробка принципів синхронізації анімаційних процесів жестикуляції та артикуляції для відтворення жестової мови;


    – створення програмних засобів для вирішення проблеми моделювання та розпізнавання емоційної та артикуляційної складових мовленнєвого процесу на обличчі людини для відтворення та розпізнавання жестової мови;


    ‑ створення мультимедійної технології аналізу візуальних образів звуків і емоційних мімік обличчя людини.


    Об’єктом дослідження. Фотографічні і відео зображення обличчя людини з різними емоційними та зовнішньо-артикуляційними проявами при мовотворенні.


    Предметом дослідження. Підходи, методи, моделі синтезу та аналізу емоційної і зовнішньо-артикуляційної складових обличчя людини при відтворенні жестової мови.


    Методи дослідження. При розв’язанні поставлених задач використо-вувалися методи попереднього оброблення зорових образів, методи сплайн-апроксимації, методи розпізнавання і аналізу зорових образів, методи експертного оцінювання реалістичності комп’ютерного синтезу артикуляції при промовлянні, створення баз даних та іншої організації даних, методи тривимірної морфемної анімації.


    Наукова новизна отриманих результатів. Основні результати роботи, що відображають наукову новизну та виносяться на захист, такі:


    – уперше, на основі неоднорідних раціональних B‑сплайнів (NURBS‑кривих), розроблено загальну математичну модель станів губ, з урахуванням їх будови у даної людини, для створення системи навчання правильній артикуляції при промовлянні слів українською мовою, що дозволяє робити аналіз віземної структури візуально-мовленнєвого потоку даних на основі побудованої характеристичної множини візем мови;


    – удосконалено об’єктно-елементну модель синтезу анімації мовленнєвого процесу для відтворення жестової мови з використанням морфем візем української мови і морфем мімічних проявів емоцій, що дало можливість реалістично реалізувати анімацію емоційно-артикуляційного каналу носія жестової мови;


    ‑ уперше розроблено підхід до синхронізації анімаційних процесів жестикуляції та артикуляції для відтворення української жестової мови, що дозволило врахувати особливості відтворення і передачі інформації при спілкуванні жестовою мовою без наявності синхронізації анімацій зі звуковим сигналом, забезпечивши в такий спосіб природність процесу;


    ‑ уперше розроблено мультимедійну технологію аналізу візуальних образів звуків і емоційних мімік обличчя людини.


    Практичне значення отриманих результатів полягає у розробленні комплексного підходу до аналізу і синтезу зорової складової мовної інформації для задач відтворення жестової мови та побудови перспективних людино-комп’ютерних інтерфейсів. Для цього вирішено такі практичні задачі:


    – за результатами досліджень створено експериментальну інформаційну технологію для розпізнавання міміки губ при промовлянні українською мовою на основі гнучких шаблонів, представлених за допомогою неоднорідних раціональних B‑сплайнів;


    – на основі удосконаленої моделі синтезу емоційних і артикуляційних образів з використанням відносного морфінгу для синхронної анімації жестових одиниць і промовляння губами вдалося інтегрувати досягнення області анімації мовленнєвого процесу до технічного розв’язання задачі відтворення жестової мови.


    Результати дисертаційного дослідження погоджено зі спеціалістами Українського товариства глухих та Інституту спеціальної педагогіки Національної академії педагогічних наук України і впроваджено в навчальний процес у спеціалізованій школі-інтернаті для дітей з вадами слуху міста Житомир. Крім того, результати дисертаційного дослідження використано для розробки промислового програмного забезпечення у науково-технічній фірмі "ІНФОСЕРВІС".


    Окремі результати використовуються у навчальному процесі на факультеті автомобільного транспорту Донецької академії автомобільного транспорту під час викладання  дисциплін професійно-орієнтованої підготовки  «Сучасні комп’ютерні технології в галузі» для студентів факультету автомобільного транспорту.


    Особистий внесок здобувача. Основні наукові та практичні результати дисертаційної роботи отримані автором особисто та опубліковано в наукових фахових виданнях. У роботах, виконаних у співавторстві автору належить: в [1] автором розроблено алгоритм пошуку зв’язних областей обличчя на фотографічних зображеннях; в [2, 8, 11] – показано актуальність задачі аналізу і моделювання жестової мови та визначені її структурні елементи такі як задача аналізу міміки губ при промовлянні, задача синтезу емоційної та артикуляційної складових; в [3] – розроблено модель для синтезу візуальних емоційного і артикуляційного складових мовленнєвого процесу для відтворення жестової мови; в [5, 9, 14] – розроблено інформаційну технологію для читання по губам як елемент мультимедійної технології аналізу візуальних образів звуків і емоційних мімік обличчя людини, наведені алгоритми визначення контуру губ, та аналізу віземної структури мовлення, синтезовано математичну модель станів губ конкретної людини на основі NURBS-кривих; в [4] – розроблено принципи синхронізації анімаційних процесів жестикуляції та артикуляції для відтворення української жестової мови; в [7] – запропоновано мультимедійну технологію аналізу емоційних мімік обличчя людини до задачі аналізу інформаційних каналів жестової мови; в роботах [12, 13] – викладено загальні принципи синтезу анімації мовленнєвого процесу в рамках розробки інформаційної технології невербального спілкування; в [21, 22] –

  • Список литературы:

  • У дисертаційній роботі вирішені задачі моделювання емоційної та артикуляційної складових мовленнєвого процесу на обличчі людини для синтезу та розпізнавання жестової мови.


    Основні наукові результати дисертаційної роботи.


    1. Синтезовано, на основі неоднорідних раціональних B‑сплайнів (NURBS‑кривих), загальну математичну модель станів губ, з урахуванням їх будови у даної людини, для створення системи навчання правильній артикуляції при промовлянні слів українською мовою, що дозволило робити аналіз віземної структури візуально-мовленнєвого потоку даних на основі побудованої характеристичної множини візем мови.


    2. Удосконалено об’єктно-елементну модель синтезу анімації мовленнєвого процесу для відтворення жестової мови з використанням морфем візем української мови і морфем мімічних проявів емоцій, що дало можливість реалістично реалізувати анімацію емоційно-артикуляційного каналу носія жестової мови.


    3. Розроблено підхід до синхронізації анімаційних процесів жестикуляції та артикуляції для відтворення української жестової мови, що дозволило врахувати особливості відтворення і передачі інформації при спілкуванні жестовою мовою без наявності синхронізації анімацій зі звуковим сигналом, забезпечивши в такий спосіб природність процесу. Для цього реалізовано перехід від фонемного до віземного подання слова.


    4. На основі запропонованих методів розроблено мультимедійну технологію аналізу візуальних образів звуків і емоційних мімік обличчя людини.


    5. Функціонування програмно-алгоритмічних засобів для відтворення та розпізнавання жестової мови здійснено на вибірці найбільш вживаних слів-образів жестів з тематичних словників української жестової мови і показало природність та реалістичність синтезованих елементів. Для цього були створені бібліотеки морфем візем української мови та морфем мімічних проявів емоцій поданих набором множини відповідних станів тривимірної моделі голови людини. Розроблено структури даних подання та реалізовано алгоритми тривимірної морфемної анімації з використанням функції розподілу по кадрах.


    Результати дисертації були застосовані під час виконання науково-дослідних розробок в Інституті кібернетики ім. В.М. Глушкова НАН України, також для розробки програмного забезпечення та впроваджені в навчальний процес.


    Результати дисертаційної роботи отримані у галузі створення предметно-орієнтованих прикладних інформаційних комп’ютерних технологій і можуть бути використані для розроблення методів комп’ютерного синтезу та аналізу візуальної складової міміко-артикуляційного процесу для відтворення і розпізнавання української жестової мови, а також для розроблення систем навчання правильній артикуляції, систем читання по губах та створення інтелектуальних інтерфейсів і систем віртуальної реальності.




     



    1.             Кривонос Ю.Г. Локалізація і врахування особливостей обличчя людини для задачі розпізнавання за портретною фотографією / Ю.Г. Кривонос, Ю.В. Крак, А.С. Тернов // Штучний інтелект. - 2007. - № 3. - C. 229 – 236.


    2.             Інформаційна технологія невербального спілкування людей з вадами слуху / Ю.Г. Кривонос, Ю.В. Крак, О.В. Бармак, А.С. Тернов // Штучний інтелект. - 2008. - № 3. - С. 325 - 331.


    3.             Кривонос Ю.Г. Інформаційна технологія для моделювання української мови жестів / Ю.Г. Кривонос, Ю.В. Крак О.В. Бармак [та ін.]  // Штучний інтелект. – 2009. – № 3. – С. 186 – 197.


    4.             Крак Ю.В. Синтез зовнішнього артикуляційного процесу на обличчі людини для моделювання жестової мови / Крак Ю.В., Тернов А.С. // Журнал Обчислювальної та прикладної математики. – 2009. – №3(99). – С. 48 – 56.


    5.             Кривонос Ю.Г. Розпізнавання міміки губ при промовлянні слів українською мовою / Ю.Г. Кривонос, Ю.В. Крак, О.В. Бармак, А.С. Тернов // Доп. НАН України. - 2010. - № 5. - С. 41 - 44.


    6.             Тернов А.С. Поскладово-віземний синтез зовнішньої артикуляції для задачі комп’ютерного відтворення української жестової мови / А.С. Тернов // Штучний інтелект. – 2010. – № 4. – С. 304 – 313.


    7.             Kryvonos I. Construction of a realistic movement on the 3d human model for studying and learning sign language / I. Kryvonos, I. Krak, A. Ternov // International Journal “Information Theories and Applications”. - 2011. - Vol. 18. - N 4. - P. 373 – 379.


    8.             Крак Ю.В. Компьютерная система виртуального общения людей с проблемами слуха / Ю.В. Крак, А.В. Бармак, А.С. Ганджа, А.С. Тернов, Н.Н. Шатковский // Advanced Studies in Software and Knowledge Engineering, International Book Series “INFORMATION SCIENCE & COMPUTING”, Number 4, Supplement to the International Journal “INFORMATION TECHNOLOGIES & KNOWLEDGE”. - 2008. - N 2. - P. 161 165.


    9.             Крак Ю.В. Информационная технология для автоматического чтения по губам украинской речи / Ю.В. Крак, А.В. Бармак, А.С. Тернов // Комп’ютерна математика. - 2009. - № 1. - C. 86 95.


    10.         Kryvonos Iu. Computer technology for Sign Language Modeling / Iu. Kryvonos, Iu. Krak, O. Barmak, A. Ternov, B. Trotsenko  // International Book Series “INFORMATION SCIENCE & COMPUTING”, Number 15, Supplement to the International Journal “INFORMATION TECHNOLOGIES & KNOWLEDGE”, Institute of information Theories and Applications FOI ITHEA, Sofia, Bulgaria. - 2009. - Vol. 3. - 2009. - Р. 40-48.


    11.         Крак Ю.В. Моделювання голосових сигналів та зображень голови людини / Ю.В. Крак, О.В. Бармак, О.С. Ганджа, Г.М. Єфімов, І.О. Стеля, А.С. Тернов, Н.М. Требіна, М.М. Шатковський // Dynamical Systems Modelling and Stability Investigation (DSMSІ’2007): міжнар. конф., 22-25 травня 2007: тези доп. - К: Вісн. Київський національного університету імені Тараса Шевченка. - 2007. - С. 378.


    12.         Крак Ю.В. Моделювання української мови жестів в системах побудови людино-комп'ютерного інтерфейсу / Ю.В. Крак, О.В. Бармак, О.С. Ганджа, А.С. Тернов, М.М. Шатковський // Тези міжнародної наукової конференції «Інтелектуальні системи прийняття рішень і проблеми обчислювального інтелекту (ISDMCI'2008)». - Херсон: ХНТУ. - 2008. - Т. 1. - Ч. 1. - С. 78 – 80.


    13.         Kryvonos Y. Information technology for nonverbal communication of deaf people and people with damaged hearing / Y. Kryvonos, Y. Krak, O. Barmak, A. Ternov, B. Trotsenko // 21st International CODATA Conference “Scientific Information for Society - from Today to the Future” - Ukraine, Kyiv, 5-8 October, 2008. K: NTUU”KPI” and CODATA. - 2008. – P. 226.


    14.         Крак Ю.В. Проблеми створення дружнього інтерфейсу образного комп’ютера на основі жестової, візуальної та голосової інформації / Ю.В. Крак, А.С. Тернов, Б.А. Троценко, О.В. Бармак, М.М. Шатковський // IX Всеукраїнська міжнародна конференція з оброблення сигналів і зображень та розпізнавання образів (УкрОбраз’2008): міжнар. конф., 3-7 листопада 2008 р. - К., 2008. - С. 197 – 200.


    15.         Кривонос Ю.Г. Інформаційна технологія створення природного інтерфейсу на основі жестової, візуальної та голосової інформації / Ю.Г. Кривонос, Ю.В. Крак, О.В. Бармак, А.С. Тернов, М.М. Шатковський  // Математичне та програмне забезпечення інтелектуальних систем (MPZIS-2008): міжнар. наук.-практ. конф., 12–14 листопада 2008р.: тези доп. - Дніпропетровськ: Вид-во Дніпропетровського ун-ту., 2008. - С. 199 – 200.


    16.         Тернов А.С. Исследование и разработка алгоритмов автоматического чтения по губам / А.С. Тернов // Сучасна інформаційна Україна: інформатика, економіка, філософія: міжнар. наук.-практ. конф., 14-15 травня 2009 р.: тези доп. - Донецьк: Наука і освіта, 2009. - Т. 1. - С. 76 – 79.


    17.         Крак Ю.В. Технология распознавания визем украинской речи в контексте задачи моделирования языка жестов / Ю.В. Крак, А.С. Тернов // Системы и средства искусственного интеллекта (ССИИ-2009): Международной научной молодежной школы, 28 сентября - 3 октября 2009 г., пос. Дивноморское, Геленждикский район Краснодарский край, Россия: тезисы докл. - Донецк: «Наука і освіта», 2009. - С. 129 – 131.


    18.         Крак Ю.В. Інформаційна технологія розпізнавання міміки губ при промовлянні слів українською мовою / Ю.В. Крак, А.С. Тернов // Математичне та програмне забезпечення інтелектуальних систем (MPZIS-2009): міжнар. наук.-практ. конф., 25-27 листопада 2009 р.: тези доп. - Дніпропетровськ, 2009. - С. 144 – 145.


    19.         Тернов А.С. Синтез процесса артикуляции для моделирования жестового языка / А.С. Тернов // Сучасна інформаційна Україна: інформатика, економіка, філософія: міжнар. наук.-практ. конф., 12-14 травня 2010 р.: зб. наук. праць за матеріалами. - Донецьк: Наука і освіта, 2010. - Т. 1. - С. 77 – 79.


    20.         Тернов А.С. Моделирование мимики и эмоций для визуализации жестового языка / А.С. Тернов // XIII Міжнародна наукова конференція імені академіка М. Кравчука. 13–15 травня 2010 р.: матеріали конф. – К.: НТУУ, 2010. – Т. 2. – С. 155.


    21.         Крак Ю.В. Синтез эмоциональной и артикуляционной составляющих для моделирования жестового языка / Ю.В. Крак, А.С. Тернов // Інтелектуальні системи прийняття рішень і проблеми обчислювального інтелекту (ISDMCI'2010) : зб. наук. пр. міжнар. наук. конф., 17-21 травня 2010 р., Євпаторія, Україна. - Херсон: Вид-во Херсон. нац. техн. ун-ту, 2010. - Т. 2. – Ч. 1. – С. 473 – 474.


    22.         Кривонос Ю.Г. Синтез візуальної складової зовнішньої артикуляції на обличчі людини з використанням морфів візем для моделювання жестової мови / Ю.Г. Кривонос, Ю.В. Крак, А.С. Тернов // Искусственный интеллект. Интеллектуальные системы (ИИ-2010): XI Междунар. науч.-практич. конф., 20-24 сентября 2010 г.: тезисы докл. - Донецк: ИПИИ «Наука і освіта», 2010. - С. 291294.


    23.         Кривонос Ю.Г. Підхід до синтезу зовнішньої артикуляції для задачі комп’ютерного відтворення української жестової мови / Ю.Г. Кривонос, Ю.В. Крак, А.С. Тернов // Математичне та програмне забезпечення інтелектуальних систем (MPZIS-2010): VIII Міжнар. наук.-практ. конф., 10-12 листопада 2010 р.: тези доп. - Дніпропетровськ, 2010. - С. 119 – 120.


    24.         Маслов Ю.С. Введение в языкознание / Ю.С. Маслов. – Учебник для филологических специальностей вузов. – М.: Высш. шк., 1987. – 272 с.


    25.         Педагогическое речеведение. Словарь-справочник. / [ред. Т.А. Ладыженской и А.К. Михальской; сост. А.А. Князьков.] – 2-е изд., испр. и доп. – М.: Флинта, Наука, 1998. – 312 с.


    Методы анимации лица. Мимика и артикуляция / Б. Флемінг, Д. Доббс ; пер. с англ. ДМК – М.: ДМК Пресс, 2002. 336 с.


    27.         Білодід І.К. Сучасна українська літературна мова / І.К. Білодід. – К.: Ін-т мовознавства ім. О.О. Потебні: Наукова думка, 1969. –  435 с.



    29.         Бельтюков В.И. Чтение с губ фонетических элементов речи / Бельтюков В.И. – М.: Просвещение, 1967. – 143 с.


    30.         Тоцька Н.І., Сучасна українська літературна мова. Фонетика, орфоепія, графіка, орфографія / Н.І. Тоцька. – Київ : Головне видавництво видавничого об'єднання "Вища школа", 1981. – 182 с.


    31.         Чистович Л. А. Речь. Артикуляция и восприятие / Л. А. Чистович, В. А. Кожевников // М.- Л.: Наука. 1965. – 242 с.


    32.         Українська мова. Енциклопедія / НАН України; Інститут мовознавства ім. О.О.Потебні; Інститут української мови / В.М. Русанівський (ред.). – К.: "Українська енциклопедія" ім. М.П.Бажана, 2000. – 750 с.


    33.         Fisher C.G. Confusion among visually perceived consonants / C.G. Fisher // Journal of Speech and Hearing Research. – 1968. – P 796 – 804.


    34.         Мурыгин К.В. Концепция системы распознавания речи на основе чтения по губам  / К.В. Мурыгин // Штучний інтелект.  2009. 2. – С. 116 – 123.


    35.         Мурыгин К.В. Особенности реализации алгоритма AdaBoost для обнаружения объектов на изображениях / К.В. Мурыгин // Искусственный интеллект. 2009. – 3. С. 573 581.


    36.         Мурыгин К.В. Обнаружение объектов на изображении на основе каскада классификаторов / К.В. Мурыгин // Искусственный интеллект. 2007. – № 2. – С.104108.


    37.         Давидов М.В. Алгоритм визначення форми губ під час артикуляції для української жестової мови / М.В. Давидов, Ю.В. Нікольський, С.М. Тиханський // Інформаційні системи та мережі. – Львів.: Видавництво Національного університету "Львівська політехніка", 2010. – № 673. – C. 267 – 273.


    38.         Ara V. Nefian Dynamic Bayesian Networks for Audio-Visual Speech Recognition / Ara V. Nefian, Luhong Liang, Xiaobo Pi [та інш.] // EURASIP Journal on Applied Signal Processing.  2002. № 11. P. 1 15. Режим доступу: http://www.cs.ubc.ca/~murphyk/Papers/avsr_journal.pdf


    39.         Audio-visual speech recognition: Final Workshop 2000 Report [Електронний ресурс] /Center for Language and Speech Processing, The Johns Hopkins University. Baltimore, Md, USA., 2000. – 84 p. Режим доступу: http://www.idiap.ch/ftp/reports/2000/com00-02.pdf.


    40.         Sascha F. Audiovisual speech: analysis, synthesis, perception and recognition / Sascha F. //16th International Congress of Phonetic Sciences., August 5–10 2007. – Saarbrucken, 2007. – P. 275 – 278.


    41.         Soldatov S. Lip Reading: Preparing Feature Vectors [Електронний ресурс] / Soldatov S. // International conference Graphicon. – M., 2003. – P. 254 256. Режим доступу: http://graphics.cs.msu.ru/ru/publications/text/gc2003s.pdf.


    42.         Automatic extraction of frontal facial features / Vezhnevets V., Soldatov S., Degtiareva A. [та інш.] // Sixth Asian Conference on Computer Vision (ACCV04) January 2730, Jeju, Korea. – 2004. – Vol. 2. – P. 1020 – 1025.


    43.         Vahideh Sadat Sadeghi Vowel Recognition using Neural Networks / Vahideh Sadat Sadeghi , Khashayar Yaghmaie // IJCSNS International Journal of Computer Science and Network Security. – 2006. – Vol.6, No. 12. – P. 154 159.


    44.         Mehran Yazdi Realtime Lip Contour Tracking For Audio-Visual Speech Recognition Applications / Mehran Yazdi, Mehdi Seyfi, Amirhossein Rafati, Meghdad Asadi Realtime // International Journal of Biological and Medical Sciences. – 2008. – Vol. 1, No. 4. – P. 190 – 193.


    45.         Chaloupka J. Automatic lips reading for audio-visual speech processing and recognition / Chaloupka J. //Proc. of ICSLP 2004. Jeju Island, Korea – October 2004. – P. 2505 – 2508.


    46.          Salah Werda. Lip Localization and Viseme Classification for Visual Speech Recognition / Salah Werda, Walid Mahdi, Abdelmajid Ben Hamadou // International Journal of Computing & Information Sciences. – April 2007. – Vol. 5, No. 1. – P. 62 – 75.


    47.         Simon Lucey. Audio-visual Speech Processing / Simon Lucey. –  Submitted in Fulfilment of the Requirements for the Degree of Doctor of Philosophy at the Queensland University of Technology, Speech Research Laboratory, School of Electrical & Electronic Systems Engineering. – Queensland, 2002. – 243 p.


    48.         T. Chan. HMM-based audio-visual speech recognition integrating geometric and appearance-based visual features /T. Chan // IEEE 2nd Workshop on Multimedia Signal Processing. – Oct 3–5, 2001. – P. 9 – 14.


    49.         Michael T. Chan. Real-Time Lip Tracking and Bimodal Continuous Speech Recognition / Michael T. Chan, You Zhang, Thomas S. Huang // IEEE 2nd Workshop on Multimedia Signal Processing. – Los Angeles, USA, 1998. – P. 65 – 70.


    50.         Lip recognition using morphological pattern spectrum / OMATA Makoto, HAMAMOTO Takayuki, HANGAI Seiichiro [та інш.] // International conference audio- and video-based biometric person authentification № 3. – Halmstad: SUEDE, 2007. –Vol. 2091. – P. 108 114.


    51.         Michiel Visser. Classifying Visemes for Automatic Lipreading / Michiel Visser, Mannes Poel, Anton Nijholt// International Workshop Text, Speech and Dialogue (TSD'99), 13-17 September, 1999. – Plzen, Czech republic, 1999. – P. 349 352.


    52.         Galatas G. Audio-visual speech recognition incorporating facial depth information captured by the kinect / G. Galatas, G. Potamianos, F. Makedon // 20th European Signal Processing Conference (EUSIPCO 2012): Bucharest, Romania, August 2731, 2012. – 2012. – P. 2714 –2717.


    53.         Роджерс Д. Математические основы машинной графики / Д. Роджерс, Дж. Адамс.   М.: "Мир”, 2001. – 604 с.


    54.         Jones J.P. and Palmer L.A. An evaluation of the two-dimensional gabor filter model of simple receptive fields in cat striate cortex [Електронний ресурс] // Journal of Neurophysiol. Vol. 58, No. 6. – U.S.A, 1987. . – P. 1233. – 1258. Режим доступу: http://www.neuro-it.net/pdf_dateien/summer_2004/Jones%201987.pdf


    55.         Yilmaz A. Object tracking: a survey / A. Yilmaz, O. Javed, M. Shah // ACM Computing Surveys. – Vol. 38(4). – 2006. – P. 1–45.


    56.         deBoor C. A Practical Guide to Splines / deBoor C. – New York: Springer-Verlag, 1978. – 392 p.


    Les. The NURBS Book, 2nd Edition / Piegl Les, Tiller Wayne. Berlin, Germany: Springer-Verlag, 1996. – 645 p.


    58.         Rogers D.F. An Introduction to NURBS/ Rogers D.F. – San Diego:Academic Press, 2001. – 344 p.


    59.         Stan Z. Li. Handbook of face recognition / Stan Z. Li, Anil K. Jain. – Springer-Verlag London Limited. – 2005. – 395 c.


    60.         Бармак О.В.  Використання  контурних  моделей  для  побудови  базису простору мімічних виразів емоцій / О.В. Бармак, Ю.В. Крак, Г.М. Єфімов // Математичне та програмне  забезпечення  інтелектуальних систем (MPZIS-2007):  п’ята  міжнар.  наук.-практ.  конф., 14–16 лист. 2007 р.: тези  доп. – Дніпропетровськ, 2007. – С. 17 – 18.


    Hennecke M.E. – Berlin: Springer, 1996. – 666 p.


    62.         Singular Value Decomposition / William H. Press, Saul A. Teukolsky, William T. Vetterling [та інш.]. // Numerical Recipes in C. – 2nd edition. – Cambridge: Cambridge University Press., 19881992. P. 59 71.


    63.         Хайкин Саймон.  Нейронные сети. Полный курс / Хайкин Саймон; Вильямс, 2-е изд., испр.: Пер. с англ. – М.: Вильямс, 2006. – 1104 с.


    64.         Аксенов С.В. Организация и использование нейронных сетей (методы и технологии) / С.В. Аксенов, В.Б. Новосельцев;  Под общ. ред. В.Б. Новосельцева. – Томск: НТЛ, 2006. – 128 с.


    65.         Херн Д. Компьютерная графика и стандарт OpenGL. / Д. Херн, М.П. Бейкер – М.: Вильямс, 2006. – 1118 с.


    66.         Parke F. Computer Facial Animation / Frederic I. Parke, Keith Waters. – A.K. Peters Ltd, Wellesley, 2008. – 446 p.


    67.         Ratner P. 3-D Human Modeling and Animation, Second Edition / Peter Ratner; John Wiley & Sons Inc., New York, 2003. – 336 p.


    68.         Дж. Ли Трехмерная графика и анимация / Ли Дж., Уер Б. – 2-е вид. – М.: Вільямс, 2002. – 640 с.


    69.         Autodesk 3ds Max Products [Електронний ресурс]: Веб-сторінка компанії Autodesk. – Режим доступу: http://usa.autodesk.com/3ds-max/. – Назва з екрану.


    70.         Autodesk Maya. 3D animation software [Електронний ресурс]: Веб-сторінка компанії Autodesk. – Режим доступу: http://usa.autodesk.com/maya/. – Назва з екрану.


    71.         Kessenih J. The OpenGL Shading Language  [Електронний ресурс] / J. Kessenih. – Inc. Ltd, 2006. – 87 p. Режим доступу:  http://www.opengl.org/registry/doc/GLSLangSpec.Full.1.20.8.pdf.


    72.         Moschos G. Anatomically-Based 3D Face and Oral Cavity Model for Creating Virtual Medical Patients / G. Moschos, N. Nikolaidis, I. Pitas // IEEE ICME Multimedia and Expo, 2004. ICME '04. 2004 IEEE International Conference. – June 2004. ‑ Vol. 2. ‑ P. 867 – 870.


    73.         Marras I. Virtual Dental Patient: A System for Virtual Teeth Drilling [Електронний ресурс] / Marras I., Papaleontiou L., Nikolaidis N., Lyroudia K., Pitas I.// IEEE International Conference on Multimedia and Expo. ICME(ICMCS). – 2006.– P. 665 – 668.Режим доступу: http://poseidon.csd.auth.gr/papers/PUBLISHED/CONFERENCE/pdf/Marras06a.pdf


    74.         3D-Doctor [Електронний ресурс]: Веб сторінка компанії Able software corporation. – Режим доступу: http://www.ablesw.com/3d-doctor/index.html. – Назва з титул. екрану.


    75.         Sagonas C. PROSOPON: A virtual anatomical 3D head model / C. Sagonas, I. Pitas, A. Kirgidis, K. Lyroudia // Image Information Processing (ICIIP), 2011 International Conference, 3–5 November, 2011. – 2011. – P. 1 – 6.


    76.         Rick Parent Computer Animation. Algorithms and techniques / Parent Rick. The Morgan Kaufmann Series in Computer Graphics, 2nd Edition. – San Francisco: Morgan Kaufmann Publishers Inc., 2007. – 624 p.


    77.         Відкритий міжнародний університет розвитку людини «Україна» [Електронний ресурс]: Режим доступу: http://www.vmurol.com.ua/ .– Назва з екрану.



    .


    Leeds. –2004. – P. 98 – 106.


    Developing an e-Learning platform for the Greek Sign Language / E. Efthimiou, G. Sapountzaki, K. Karpouzis, S-E. Fotinea //. In K. Miesenberger, J. Klaus, W. Zagler, D. Burger (Eds.), Springer Lecture Notes in Computer Science (LNCS), 2004. – Vol. 3118. –P. 1107– 1113.


    .



     Н.

  • Стоимость доставки:
  • 200.00 грн


ПОИСК ДИССЕРТАЦИИ, АВТОРЕФЕРАТА ИЛИ СТАТЬИ


Доставка любой диссертации из России и Украины