МОДЕЛЮВАННЯ ТА АНАЛІЗ НЕВЕРБАЛЬНИХ КАНАЛІВ КОМУНІКАЦІЇ ДЛЯ СТВОРЕННЯ НОВИХ ІНФОРМАЦІЙНИХ ТЕХНОЛОГІЙ

brief description

НАЦІОНАЛЬНА АКАДЕМІЯ НАУК УКРАЇНИ ІНСТИТУТ КІБЕРНЕТИКИ імені В.М. ГЛУШКОВА

На правах рукопису

Бармак Олександр Володимирович

УДК 004.92/.93/.94

МОДЕЛЮВАННЯ ТА АНАЛІЗ НЕВЕРБАЛЬНИХ КАНАЛІВ КОМУНІКАЦІЇ ДЛЯ СТВОРЕННЯ НОВИХ ІНФОРМАЦІЙНИХ ТЕХНОЛОГІЙ

05.13.06 – інформаційні технології

ДИСЕРТАЦІЯ
на здобуття вченого ступеня
доктора технічних наук

Науковий консультант
професор,
доктор фізико-математичних наук
Крак Юрій Васильович

Київ-2013

ЗМІСТ

ПЕРЕЛІК УМОВНИХ ПОЗНАЧЕНЬ 7
ВСТУП 8
РОЗДІЛ 1. СУЧАСНИЙ СТАН МОДЕЛЮВАННЯ ТА АНАЛІЗУ НЕВЕРБАЛЬНИХ КАНАЛІВ КОМУНІКАЦІЇ 18
1.1. Жестове мовлення – використання невербальних каналів комунікації 19
1.2. Системи запису жестових мов 23
1.3. Системи відтворення жестового мовлення 27
1.3.1. Системи відтворення жестового мовлення за допомогою тримірного актора 28
1.3.2. Огляд систем захоплення руху 30
1.4. Системи розпізнавання та перекладу жестового мовлення 38
1.4.1. Системи, що використовують механічні рукавиці 39
1.4.2. Системи, що використовують 3D-камери 40
1.4.3. Системи, що використовують дві камери 41
1.4.4. Системи, що використовують стерео-камеру 43
1.4.5. Системи, що використовують одну камеру 43
1.4.6. Системи розпізнавання статичних жестів дактильної абетки 45
1.4.7. Системи розпізнавання дактильних жестів у відео-потоці 46
1.4.8. Системи розпізнавання жестового мовлення у динаміці 47
1.5. Сучасні методи розпізнавання зображень 50
1.6. Огляд підходів до аналізу мімічної складової 51
1.6.1. Психологічні засади емоцій 52
1.6.2. Мімічна складова емоцій, підходи до розпізнавання 53
1.6.3. Артикуляційна складова емоцій 59
1.7. Підходи до побудови тримірних моделей 60
1.8. Висновки до розділу 63
РОЗДІЛ 2. МОДЕЛЮВАННЯ ВІРТУАЛЬНИХ ОБ’ЄКТІВ ЛЮДЕЙ ДЛЯ АНАЛІЗУ НЕВЕРБАЛЬНИХ КАНАЛІВ ПЕРЕДАЧІ ІНФОРМАЦІЇ 66
2.1. Аналіз каналів передачі інформації 67
2.1.1. Мімічна складова невербальної комунікації 67
2.1.2. Комунікація за допомогою жестів 69
2.1.3. Пантомімічний канал невербального спілкування 73
2.1.4. Структурна схема моделі людини для відтворення каналів передачі інформації 73
2.2. Імітаційна модель людини для комп’ютерного відтворення 74
2.2.1. Полігональний підхід для подання віртуальної моделі 75
2.2.2. Подання віртуальної моделі за допомогою нерівномірних базисних сплайнів 77
2.3. Моделювання та керування обличчям моделі віртуальної людини 79
2.3.1. Технологія створення 3D-моделі голови конкретної людини 79
2.3.2. Моделювання мімічної складової невербальної комунікації 87
2.3.3. Механізм інтегрального подання емоційної та артикуляційної складових міміки 90
2.4. Моделювання та керування рухами моделі віртуальної людини 92
2.4.1. Скелетна модель як засіб для подання жестової складової комунікації 92
2.4.2. Скінінг як механізм для відворення реалістичної кінематичної складової на віртуальній моделі людини 98
2.4.3. Технологія до отримання (оцифрування) реалістичних рухів 99
2.5. Комп’ютерний синтез тексту у звуковий мовленнєвий ряд 106
2.6. Анімація міміки та рухів для передачі інформації у невербальних каналах комунікації 112
2.7. Висновки до розділу 113

РОЗДІЛ 3. МОДЕЛЮВАННЯ ЖЕСТОВОГО МОВЛЕННЯ 115
3.1. Інформаційна технологія для невербального спілкування людей з вадами слуху 116
3.2. Розроблення методик формалізації жестоутворення 122
3.3. Формалізація синтезу жестових конструкцій-речень 131
3.4. Підходи до вирішення проблеми перекладу з української мови на жестову 134
3.5. Висновки до розділу 140
РОЗДІЛ 4. РОЗПІЗНАВАННЯ НЕВЕРБАЛЬНИХ КАНАЛІВ КОМУНІКАЦІЇ 141
4.1. Технологія розпізнавання обличчя людини в довільному ракурсі за допомогою 3D моделі 142
4.2. Методики аналізу мімічних проявів на обличчі людини при жестовому мовленні 144
4.3. Підхід до ідентифікації особи за контуром профілю носа 146
4.4. Використання стійких ознак зображення для ідентифікації конфігурації руки при жестовому мовленні 152
4.4.1. Застосування методу Speeded Up Robust Features для виявлення стійких ознак зображення 153
4.4.2. Методика з використанням методу гістограм орієнтованих градієнтів для ідентифікації конфігурації руки 162
4.5. Висновки до розділу 164
РОЗДІЛ 5. АЛГОРИТМІЧНА РЕАЛІЗАЦІЯ МОДЕЛЮВАННЯ НЕВЕРБАЛЬНОЇ КОМУНІКАЦІЇ 165
5.1. Інфологічна модель для реалізації синтезу віртуальних моделей людей 165
5.2. Алгоритм синтезу тексту у звуковий ряд за умови синхронізації з візуальним рядом мімічних проявів мовлення 168
5.3. Алгоритмічний підхід до побудови 3D моделі голови людини 170
5.4. Алгоритмічне подання віртуальної моделі людини, анімація 174
5.5. Використання багатоядерних процесорів для просторової анімації жестової мови 175
5.6. Технологія передачі жестової інформації у мережі Інтернет 181
5.6.1. Технологія постачання інтерактивної медіа інформації на комп’ютер клієнта 184
5.6.2. HTML-5 та WEBGL для відтворення віртуальних моделей в мережі Інтернет 193
5.7. Висновки до розділу 209
РОЗДІЛ 6. АЛГОРИТМІЧНА РЕАЛІЗАЦІЯ АНАЛІЗУ НЕВЕРБАЛЬНОГО МОВЛЕННЯ 210
6.1. Використання стійких ознак зображення в алгоритмічних підходах для ідентифікації конфігурації руки в жестовому мовленні 210
6.1.1. Технологія використання методу Speeded Up Robust Features для отримання особливостей зображення в задачі ідентифікації конфігурації руки 211
6.1.2. Технологія використання методу гістограм орієнтованих градієнтів для виявлення особливостей зображення при ідентифікації дактильної абетки 216
6.2. Алгоритмічні підходи до розпізнавання емоційних та артикуляційних складових на обличчі 218
6.3. Алгоритмічний підхід до ідентифікації особи за контуром профілю носа 224
6.4. Висновки до розділу 230
РОЗДІЛ 7. ЕКСПЕРИМЕНТАЛЬНЕ ТЕСТУАННЯ РОЗРОБЛЕНИХ ПІДХОДІВ 231
7.1. Експериментальні результати з побудови об’ємної моделі голови людини 232
7.2. Тестування інтегрального подання артикуляційної і емоційної мімічної складової та реалістичного відтворення жестів і жестових конструкцій 240
7.3. Експериментальні результати тестування механізму формалізації жестоутворення 243
7.4. Експеримент по ідентифікації особи за контуром профілю носа 249
7.5. Експериментальні реалізації по ідентифікації конфігурації руки в жестовому мовленні 250
7.5.1. Експеримент з використанням ідентифікації за допомогою методу Speeded Up Robust Features 251
7.5.2. Експеримент по використанню ідентифікації за допомогою методу гістограм орієнтованих градієнтів 256
7.6. Експериментальне тестування алгоритму розпізнавання емоційної складової на обличчі 257
7.7. Комп’ютерна система навчання українській жестовій мові 259
7.8. Система on-line доступу до ресурсів жестової мови 261
7.9. Висновки до розділу 263
ВИСНОВКИ 264
СПИСОК ВИКОРИСТАНИХ ДЖЕРЕЛ 268
ДОДАТОК А. Співвідношення алфавіту та його транскрипційних відповідників. Деякі випадки асиміляції. Можливі спрощення приголосних 298
ДОДАТОК Б. Формалізований опис жестового мовлення 312
ДОДАТОК В. Матеріали до експериментальних випробувань запропонованих підходів 332
ДОДАТОК Г. Акти впровадження 374

ПЕРЕЛІК УМОВНИХ ПОЗНАЧЕНЬ

ЖМ Жестове мовлення
ASL American sign language (американське жестове мовлення)
NURBS Non-uniform rational B-spline
НУРБС Нерівномірні раціональні базисні сплайни
BVH Формат файлів для передачі та подальшої обробки результатів motion capture - Biovision Hierarchy
WER оцінка помилок розпізнавання слів (Word error rate)
SURF Speeded Up Robust Features
HOG Histogram of oriented gradients

FACS Facial Action Coding System
МС Захват руху (Motion capture)
API Інтерфейс програмування застосувань (application programming interface)
СКБД Система керування базою даних

ВСТУП

Дисертаційна робота присвячена вирішенню проблеми, пов’язаної з розробкою інформаційної технології для формування математичного, алгоритмічного та технологічного опису процесу синтезу моделі віртуальної людини та аналізу реальних людей – об’єктів системи невербальної комунікації – як цілісної, взаємопов’язаної, формально та логічно визначеної процедури. Дослідження спрямоване на розробку нових, подальший розвиток та вдосконалення існуючих методів та засобів комп’ютерного моделювання, призначених для створення інформаційної технології для систем невербальної комунікації (жестового мовлення) для людей з вадами слуху.
Актуальність теми. У світі кількість нечуючих людей та людей з важкими формами втрати слуху складає близько 1,5 % від загальної чисельності населення – це десятки мільйонів людей, для яких необхідно створювати засоби рівноцінного спілкування у суспільстві. Пункт 7 Правила 5 Додатку до Резолюції ООН 48/96 «Стандартні правила забезпечення рівних можливостей для інвалідів» говорить: «Потрібно подбати про те, щоб мова жестів застосовувалась для навчання глухих дітей, в їх сім’ях та громадах. Потрібно також надавати послуги по сурдоперекладу для того, щоб сприяти спілкуванню глухих з іншими людьми».
В Україні більше півмільйона дітей з вадами слуху (http://surdopedagogika.com), а кількість нечуючих людей, для яких потрібно розробляти сучасні засоби навчання і спілкування відповідно до світового науково-технічного розвитку – становить сотні тисяч. Розвиток сучасної науки, комп’ютеризація суспільства, використання мультимедійних та інтернет-технологій створили достатні умови для розробки комп’ютерних систем комунікації цих людей у формах та образах, близьких і зрозумілих для них і для оточуючого середовища.
Основною формою спілкування нечуючих людей є жестова мова. Жестова мова має національні особливості (наприклад, англійська, французька, українська та інші мови), причому люди з вадами слуху використовують у спілкуванні дві жестові мови, які мають різну граматику й різний набір жестів:
• розмовну жестову мову, яка використовується у повсякденному спілкуванні і має власну граматику, досить відмінну від природної розмовної мови;
• калькуючу жестову мову, яка використовується в офіційній і діловій обстановці та містить у собі як знаки розмовної жестової мови, так і знаки дактильної абетки, яка служить для відтворення слів по буквах. Відзначимо, що калькуюча жестова мова не має власної граматики, а ґрунтується на граматичних правилах національної мови.
Важливою проблемою спілкування нечуючих людей з іншими людьми є вміння розпізнавати розмовну мову по губах, оскільки звичайні люди загалом не знають і не вивчають жестову мову. З цього погляду задачі візуального синтезу мови та розпізнавання по губах є альтернативою мовного спілкування для людей з вадами слуху.
Крім артикуляційної складової жестового мовлення, важливою проблемою є емоційна складова. Для синтаксису жестового мовлення характерна наявність немануального маркера: у запитальних реченнях, при загальному запитанні – піднятті брови, при окремому (приватному) запитанні – опущенні брови та нахилена вперед голова. При запереченні – негативні рухи головою, відповідний вираз обличчя. Для розповідних речень характерна наявність на обличчі емоційного забарвлення, що відповідає сенсу інформації, що передається.
Основними візуальними засобами, які відтворюють жестову мову, є фотографічні та відео зображення жестів. Створювати за допомогою цих засобів сучасні навчальні та комунікаційні комп’ютерні системи досить проблематично. Фотографічне зображення не відтворює потрібної динаміки жестів, а відео зображення досить громіздке і в ньому відсутня потрібна інтерактивність (неможливо подивитися на людину яка відтворює жест з інших ракурсів крім того, в якому проведений відеозапис).
Ці суттєві обмеження існуючих засобів відтворення жестової мови спонукають до розробки більш гнучких інформаційних технологій, з допомогою яких можна було б створювати нові комп’ютерні системи навчання та комунікації для людей з вадами слуху. Сучасний етап розвитку інформаційних технологій характеризується переходом від їх екстенсивного розвитку до інтенсивного використання. Для задач жестового мовлення екстенсивний розвиток полягав у накопиченні та відтворенні фото та відео-зображень жестів. Інтенсивний розвиток базується на залученні нових спеціальних підходів, моделей і алгоритмів.
Стрімкий розвиток обчислювальної техніки, її доступності у вигляді різноманітних мобільних пристроїв, розвиток відповідних технологій як створення програмного забезпечення так і експлуатації (розподілені бази даних, хмарні обчислення, інтернет-технології тощо) створює необхідні умови для їх використання в соціально-значимих сферах людської діяльності, вирішення яких раніше було проблематичним. Однією з таких проблем є запровадження інклюзії (включення) людей з вадами слуху в активне громадське життя, яка на сьогоднішній день не вирішена через нерозуміння і складність спілкування між глухими та чуючими людьми. Сучасним і проривним підходом до розв’язання цієї проблеми є створення інформаційних технологій для невербального спілкування людей з вадами слуху як важливого та актуального об’єкту наукових досліджень з чітко виділеними проблемними напрямами:
1) відтворення процесів невербальної комунікації (кінематичної, жестової складової) за допомогою віртуальних моделей людей;
2) відтворення на обличчі віртуальної моделі мімічних складових комунікації (артикуляція голосового промовляння, немануальні маркери комунікації, емоційне забарвлення);
3) створення нотацій жестового мовлення для письмової фіксації;
4) розпізнавання мімічних проявів невербальної комунікації у реальних людей;
5) розпізнавання кінематичних складових жестового мовлення.
Зазначеними напрямами досліджень займаються у багатьох провідних організаціях світу, зокрема у Галлодетському університеті (США), Інституті інформатики Макса Планка (Німеччина), Інституті комунікації та комп’ютерних систем Національного технічного університету в Афінах («Computer Vision, Speech Communication & Signal Processing Group»), Стокгольмському королівському технологічному інституті («Speech Communication & Technology Group»), Московському державному університеті імені М.В.Ломоносова («Лаборатория компьютерной графики и мультимедиа»), Санкт-Петербургзькому інституті інформатики і автоматизації («Speaking Information Group»), в університеті Мак-Юена (Канада), у наукових підрозділах корпорацій Intel, Microsoft тощо. В Україні дослідження по зазначених напрямках ведуться у Кібернетичному Центрі НАН України (м. Київ), Інституті проблем штучного інтелекту МОН України та НАН України (м. Донецьк), Київському національному університеті імені Тараса Шевченка, Національному університеті «Львівська політехніка» та інших наукових і навчальних закладах.
Актуальність проблеми підтверджена як її соціальною значимістю так і спробами узагальнення зазначених напрямів дослідження. Відомі підходи не пропонують універсальних формалізмів, які дозволили б з єдиних системних позицій подати моделювання і розпізнавання невербальних каналів комунікації.
Отже, наукова проблема створення інформаційних технологій, орієнтованих на синтез та аналіз невербальних каналів комунікації в системах для жестового мовлення, є актуальним напрямком наукових досліджень у галузі математичного, імітаційного, інфологічного моделювання. Основним напрямом дослідження є розробка і дослідження нових обчислювальних методів і алгоритмів, що враховують особливості реальних технологічних проблем та забезпечують створення ефективних програмних засобів комп’ютерної реалізації. Також пропонується розробка нових методів організації та оптимізації процесів моделювання, тобто використання моделюючих систем як носіїв досліджувальних моделей.
Зв'язок роботи з науковими програмами, планами, темами.
Дисертаційна робота виконана у відповідності до плану наукових досліджень відділу інтелектуальних інформаційних технологій інституту кібернетики ім. В.М.Глушкова НАН України в рамках науково-дослідних тем: «Розробити нові високоефективні математичні засоби інтелектуального інтерфейсу людини з комп’ютерним середовищем» (№ держреєстрації 0107U004766); «Розробка комп'ютерної системи віртуального спілкування людей з вадами зору та слуху. Підсистема спілкування людей українською мовою жестів та голосового синтезу української мови» (№ держреєстрації 0107U008421); «Розробити перспективні інформаційні технології віртуального спілкування користувача з комп’ютером (№ держреєстрації 0108U003513); «Розробити інформаційну технологію природного інтерфейсу користувача на основі мови жестів» (№ держреєстрації 0109U001603). У цих проектах автор був виконавцем.
Мета і завдання дослідження. Метою роботи є створення узагальненої інформаційної технології для невербального спілкування людей з вадами слуху, що використовує комп’ютерне моделювання віртуальної людини з основними каналами невербальної комунікації та використання отриманої при моделюванні інформації для розпізнавання невербальних потоків комунікації у реальних людей.
Мета дисертаційної роботи визначила необхідність виконання таких завдань:
• побудовати структурну схему комп’ютерної моделі людини для відтворення невербальних каналів комунікації;
• створити віртуальну модель людини та процес відтворення за допомогою цієї моделі невербального мовлення;
• розробити технології моделювання голови реальної людини;
• моделювати та керувати артикуляційною, немануальною та емоційною складовими невербального мовлення на обличчі віртуальної моделі людини;
• створити алгоритми моделювання та керування рухами віртуальної моделі людини;
• вдосконалити технології до отримання людиноподібних поз і рухів для реалістичного відтворення віртуальною моделлю людини;
• створити реалістичну анімацію процесу відтворення жестового мовлення (мімічна та кінематична складові);
• розробити методику формалізованого подання жестоутворення та синтезу жестових конструкцій-речень;
• розробити підходи до розпізнавання зображення обличчя людини в довільному ракурсі, аналізу мімічних проявів на обличчі людини при жестовому мовленні;
• створити методику ідентифікації конфігурації руки при жестовому мовленні;
• розробити інформаційну технологію для невербального спілкування людей з вадами слуху, що включає в себе віртуальну модель людини з невербальними каналами комунікації.
Об'єктом дослідження є процеси невербальної комунікації людей, зокрема жестова мова людей з вадами слуху.
Предметом дослідження є математичні та комп’ютерні (імітаційні) моделі віртуальних людей, невербальних каналів комунікації (мануальних та немануальних), відтворення (анімація) процесу невербального мовлення; формалізація (нотифікація) жестоутворення; підходи та алгоритми аналізу мануальних і немануальних складових жестового мовлення у людей.
Методи дослідження. Для вирішення проблеми комп’ютерного моделювання віртуальної людини з основними каналами невербальної комунікації використовувались методи на основі полігонального моделювання, моделювання за допомогою нерівномірних базисних сплайнів (NURBS), методи моделювання маніпуляційних і кінематичних систем (пряма і обернена задачі), методи відтворення процесу анімації віртуальних моделей людей. Для вирішення проблем розпізнавання невербальних каналів комунікації використовувались методи отримання особливостей зображення (Speeded Up Robust Features (SURF) та Histogram of Оriented Gradients (HOG)), методи оконтурення та скелетизації зображень.
Наукова новизна одержаних результатів. Наукова новизна отриманих результатів полягає в обґрунтуванні та вирішенні проблеми побудови інформаційної технології для невербального спілкування людей з вадами слуху на основі моделювання процесів відтворення жестового мовлення віртуальною моделлю людини, та використанні отриманої при моделюванні інформації для розпізнавання невербальних каналів комунікації у реальних людей. У процесі дослідження отримано такі наукові результати:
• вперше розроблено узагальнену інформаційну технологію для невербального спілкування людей з вадами слуху, що дозволило створити віртуальну модель людини з основними каналами невербальної комунікації, комп’ютерно відтворити процес жестового мовлення та використати отриману інформацію для розпізнавання невербальних каналів комунікації у реальних людей;
• отримали подальший розвиток технології моделювання об’ємної голови для реальних людей, що дозволило запропонувати власну технологію побудови об’ємної голови реальної людини за парою зображень з використанням проекції сітки;
• удосконалено підходи до моделювання процесу відтворення на обличчі віртуальної моделі людини артикуляційної, немануальної та емоційної складових при жестовому мовленні, що дозволило реалістично відтворювати мімічну складову невербального мовлення;
• отримали подальший розвиток підходи до моделювання процесу відтворення віртуальною моделлю людини кінематичної складової жесту, що дозволило реалістично відтворювати невербальне мовлення;
• удосконалено технологію для оцифрування процесу відтворення жесту реальною людиною, що дозволило отримувати параметри кінематичної складової жесту з реальних людей – носіїв жестового мовлення;
• вперше розроблено методику для формалізації жестоутворення та синтезу жестових конструкцій-речень українського жестового мовлення, за допомогою якої стало можливим конструювати довільні жести;
• удосконалено технологію розпізнавання зображення обличчя реальної людини (у довільному ракурсі й освітленості) за допомогою параметрів об’ємної моделі голови людини, що дозволило запропонувати ракурснонезалежне розпізнавання обличчя з великих баз даних;
• отримали подальший розвиток методики аналізу мімічних проявів на обличчі людини, що дозволило розпізнавати їх при жестовому мовленні;
• вперше запропоновано методику ідентифікації конфігурації руки при жестовому мовленні з використанням інформації, отриманої при синтезі жесту та з використанням методів, що враховують стійкі ознаки-особливості зображення, що дозволило створювати застосування для навчальних (тренажери) та комунікативних систем.
Практичне значення одержаних результатів. Отримані результати досліджень покладено в основу експериментальних програмних застосувань, що ілюструють можливості інформаційної технології невербального спілкування людей з вадами слуху: «Комп’ютерна система навчання українській жестовій мові», «Система on-line доступу до ресурсів жестової мови», «Побудовник жестів для української жестової мови». Створені програми, що демонструють можливість розподіленої мережевої обробки засобами Web-технологій. Наведене програмне забезпечення тестувалось у навчальному процесі у КНЗ «Житомирська спеціальна загальноосвітня школа-інтернат I-III ступенів №2» для глухих дітей.
Розроблені в результаті досліджень підходи та алгоритми покладені в основу розробки промислового програмного забезпечення у ТОВ «Науково-технічна фірма «Інфосервіс» (м. Хмельницький).
На основі виконаних досліджень здобувачем розроблено методичне забезпечення, яке використане в навчальному процесі в Хмельницькому національному університеті на кафедрі інформаційних технологій проектування при дипломному проектуванні та при викладанні дисциплін «Моделювання систем», «Мережеві системи автоматизації проектування», «Проектування інформаційних систем», «Інтелектуальний аналіз даних», «Сучасні математичні методи інформаційних технологій».
Особистий внесок здобувача. Усі наукові результати дисертаційної роботи отримані автором самостійно. У друкованих працях, опублікованих у співавторстві, автору належать: [1,2] – підходи для ідентифікації зображень облич людей з великих баз даних; [3] – підходи для використання апарату нерівномірних раціональних базисних сплайнів (NURBS) в задачах синтезу та аналізу; [4-7,23,30] – інформаційна технологія синтезу та аналізу емоційних складових на обличчі людини; [8,10,27-29] – інформаційна технологія невербального спілкування людей з вадами слуху; [9,13] – підходи до розпізнавання артикуляційної міміки губ при промовлянні слів українською мовою; [11,14] – підходи до оптимізації рендерінгу тримірної моделі за умови відтворення ЖМ в мережі Інтернет; [12,25] – підходи до моделювання тримірної моделі голови людини по фотографічним зображенням; [15,19] – інформаційна технологія для моделювання української жестової мови; [16,17] –підхід до ідентифікації особи за контуром профілю носа; [18,20] – підхід з використанням узагальнених граматичних конструкцій для автоматизованого перекладу з української мови на українське ЖМ; [21,24] – підхід для ідентифікації конфігурації руки в українському ЖМ; [22,26] – підхід до формалізації жестоутворення за допомогою тримірної моделі людини для українського ЖМ.
Апробація результатів дисертації. Основні результати наукових досліджень демонструвались на міжнародних виставках «CeBIT» (Ганновер, Німеччина, 2008, 2012), «Барвиста Україна» (Київ, 2008-2012), доповідалися на міжнародних та всеукраїнських наукових конференціях, зокрема: «Оброблення сигналів і зображень та розпізнавання образів УКРОБРАЗ» (Київ, 2004,2008,2010), «Питання оптимізації обчислень (ПО-XXXII)» (Кацивелі, 2005,2007,2009), «Искусственный интеллект. Интеллектуальные и многопроцессорные системы» (Росія, Дівноморскоє, 2006, 2007, 2009), «Математичне та програмне забезпечення інтелектуальних систем (MPZIS)» (Дніпропетровськ, 2006-2012), «Інтелектуальні системи прийняття рішень та прикладні аспекти інформаційних технологій» (Євпаторія, 2007, 2008, 2010-2012), «Dynamical System Modeling and Stability Investigation» (Київ, 2007, 2009), «Дискретна та глобальна оптимізація» (Ялта, 2008), «Теорія прийняття рішень» (Ужгород, 2008), CODATE Conference «Scientific Information for Society – from Today to the Future» (Київ, 2008), «Штучний інтелект» (Кацивелі, 2008, 2011), «Інформаційні і моделюючі технології (ІМТ-2009)» (Черкаси, 2009), «Сучасні проблеми прикладної математики та інформатики» (Львів, 2009), «УкрПрог» (Київ, 2010, 2012), «Системний аналіз та інформаційні технології SAIT» (Київ, 2010, 2011).
Результати дисертаційних досліджень доповідались на наукових семінарах відділу інтелектуальних інформаційних технологій інституту кібернетики імені В.М. Глушкова НАНУ та кафедри інформаційних технологій проектування Хмельницького національного університету (2004-2012).
Публікації. За результатами дисертаційних досліджень опубліковано 64 наукових праці, з них – 1 монографія, 26 публікацій – у фахових наукових виданнях (з них 2 у реферованих закордонних виданнях), 3 публікації – у закордонних виданнях, 34 публікації – матеріали і тези доповідей на міжнародних наукових конференціях.
Структура та обсяг роботи. Дисертаційна робота складається зі вступу, семи розділів, висновків, списку використаних джерел із 276 найменувань на 29 сторінках та 4 додатків. Загальний обсяг дисертації становить 376 сторінок, з них 267 сторінок основного тексту, 146 рисунків та 9 таблиць.

bibliography

ВИСНОВКИ

У дисертаційному дослідженні вирішена проблема, пов’язана з розробкою інформаційної технології невербального спілкування людей з вадами слуху. В межах цієї технології реалізовано системний підхід для моделювання та аналізу систем невербальної комунікації з метою створення застосувань для спілкування людей з вадами слуху як між собою, так і з загалом. При цьому отримані такі основні наукові та прикладні результати:
• подано огляд стану досліджень з теми моделювання та розпізнання ЖМ; зроблено загальний опис предметної області для ЖМ; подано огляд існуючих систем нотації для ЖМ; розглянуто технологію захоплення рухів для створення тримірного контенту; розглянуті сучасні підходи до розпізнавання зображень з метою використання їх при дослідженні розпізнавання ЖМ; зроблено огляд підходів до аналізу мімічної складової на обличчі людини; розглянуто підходи до побудови тримірних об’єктів-людей, що дало змогу на основі аналізу позитивних та негативних сторін підходів та технологій, які використовуються для автоматизації окремих функцій у ЖМ, сформулювати завдання дослідження;
• проаналізовані канали для передачі інформації людиною; виявлені основні фактори для моделювання невербальної комунікації – міміка та жести; запропонована структурна схема просторової моделі віртуальної людини для відтворення каналів передачі інформації, що дозволило вперше запропонувати узагальнену інформаційну технологію для невербального спілкування людей з вадами слуху, в рамках якої створено віртуальну модель людини з основними каналами невербальної комунікації, комп’ютерно відтворено процес жестового мовлення та використано отриману інформацію для розпізнавання невербальних каналів комунікації у реальних людей;
• запропоновані методики побудови об’ємної голови реальної людини за парою зображень з використанням проекційної сітки;
• створено механізм для інтегрального подання емоційної та артикуляційної складової міміки, в рамках якого отримали подальший розвиток підходи до моделювання процесу відтворення на обличчі віртуальної моделі людини артикуляційної, немануальної та емоційної складових при ЖМ, що дозволило реалістично відтворювати мімічну складову невербального мовлення;
• розроблено механізми для подання рухів та для відтворення реалістичних поз віртуальної моделі; для отримання реалістичних рухів запропонований механізм перенесення значень послідовностей змін кутів спрощеного узагальненого скелета людини, отриманих з рухів реальної людини – носія цих рухів, у рамках чого отримали подальший розвиток підходи до моделювання процесу відтворення віртуальною моделлю людини кінематичної складової жесту, а це дозволило реалістично відтворювати кінематичну складову невербального мовлення; отримав подальший розвиток підхід для оцифрування процесу відтворення жесту реальною людиною;
• запропонований механізм для відтворення анімації процесів невербальної комунікації віртуальною моделлю людини;
• створено алгоритм для отримання звукового мовного ряду зі текстової інформації за умови синхронізації його з візуальними змінами положень губ віртуальної моделі людини.
• розроблена концепція інформаційної технології невербального спілкування людей з вадами слуху, в основі якої лежить використання мультимедійних можливостей сучасної комп’ютерної техніки, а саме використання просторових моделей людей для відтворення ЖМ;
• вперше запропонована формалізація жестоутворення для українського ЖМ – що дозволило вперше розробити методику для формалізації жестоутворення та синтезу жестових конструкцій-речень українського ЖМ, за допомогою якої стало можливим конструювати довільні жести;
• вперше запропонована технологія для синтезу проміжних траєкторій-переходів між жестовими одиницями у конструкціях-речення, яка породжує траєкторію, що візуально близька до траєкторії людини при аналогічному переході;
• запропонована постановка задачі для реалізації автоматизованого перекладу з української мови на ЖМ: пропонується отримати узагальнюючі граматичні конструкції для обох мов та відповідності між словами і словосполученнями української мови та ЖМ;
• створено підхід для розпізнавання обличчя людини в довільному ракурсі, суть якого полягає в зведені задачі розпізнавання до задачі ідентифікації параметрів моделі обличчя: параметри моделі зберігаються у базу даних (БД); фотографічне зображення обличчя людини перетворюється на 3D-модель, отримані при моделюванні параметри ідентифікуються з множини параметрів раніше збережених моделей; для реалізації ракурсно-незалежного розпізнавання запропоновано зберігати у БД стани параметрів моделі, синтезовані в різних ракурсах; аналогічно, БД можна розширити і для синтезу моделей з різною освітленістю, тобто зробити алгоритм незалежним від освітлення фотографічного зображення;
• запропоновано підхід до ідентифікації особи за контуром профілю носа, який використовує той факт, відомий із фізіогноміки, живопису та криміналістичної експертизи, що профіль носа має декілька зон-особливостей, комбінація яких і дає відомі контури носа (грецький, римський, орлиний тощо); топологія кривої, що відтворює контур носа, має яскраво виражені чотири зони особливостей, які запропоновано використовувати у якості параметрів моделі для ідентифікації;
• запропоновано підхід до аналізу мімічних та артикуляційних проявів на зображеннях обличчя людини, у якому використання параметризації при моделюванні проявів на обличчі моделі віртуальної людини дозволило використати для ідентифікації відповідні ознаки, що створювались при моделюванні.
• запропоновано підхід до ідентифікації конфігурації руки при жестовому мовленні, що використовує множини елементів, на які декомпозується конфігурація руки при моделюванні жестоутворення, у якому враховуються особливості, що важливі для ЖМ: незалежність від масштабу, локалізації та фону, що дозволить створювати застосування для навчальних (тренажери) та комунікативних систем.
Отримані результати досліджень покладено в основу експериментальних програмних застосувань, що ілюструють можливості інформаційної технології невербального спілкування людей з вадами слуху: «Комп’ютерна система навчання українській жестовій мові», «Система on-line доступу до ресурсів жестової мови», «Побудовник жестів для української жестової мови». Створені програми, що демонструють можливість розподіленої мережевої обробки засобами Web-технологій. Наведене програмне забезпечення тестувалось у навчальному процесі у спеціальній загальноосвітній школі-інтернаті для глухих дітей. Розроблені в результаті досліджень підходи та алгоритми покладені в основу створення промислового програмного забезпечення.

СПИСОК ВИКОРИСТАНИХ ДЖЕРЕЛ

1. Крак Ю.В. Комп’ютерна габітоскопія / Ю.В.Крак, О.В.Бармак // Штучний інтелект. – 2006. – №1. – С.39-46.
2. Крак Ю.В. Ідентифікація портретних зображень облич людей з великих баз даних / Ю.В.Крак, О.В.Бармак // Вісник Київського національного університету. Серія: кібернетика. – 2006. – №7. – С.34-37.
3. Крак Ю.В. Застосування нерівномірних раціональних базисних сплайнів (NURBS) в задачах синтезу та аналізу / Ю.В.Крак, О.В.Бармак // Журнал обчислювальної та прикладної математики. – 2007. – №1(94). – С.3-12.
4. Крак Ю.В. Синтез мімічних виразів емоцій на основі формальної моделі / Ю.В.Крак, О.В.Бармак, Г.М.Єфімов // Штучний інтелект. – 2007. – №2. – С. 22-31.
5. Крак Ю.В. Використання контурних моделей для побудови базису простору мімічних виразів емоцій / Ю.В.Крак, О.В.Бармак, Г.М.Єфімов // Штучний інтелект. – 2007. – №4. – С. 288-296.
6. Крак Ю.В. Інформаційна технологія розпізнавання емоційної міміки на обличчі людини / Ю.В.Крак, О.В.Бармак, Г.М.Єфімов // Штучний інтелект. – 2008. – №1. – С. 102-109.
7. Кривонос Ю.Г. Моделювання та аналіз мімічних проявів емоцій / Ю.Г.Кривонос, Ю.В.Крак, О.В.Бармак [та ін.] // Доповіді НАНУ – 2008. – №12. – С. 51-55.
8. Кривонос Ю.Г. Інформаційна технологія невербального спілкування людей з вадами слуху / Ю.Г.Кривонос, Ю.В.Крак, О.В.Бармак [та ін.] // Штучний інтелект. – 2008. – №3. – С. 325-331.
9. Крак Ю.В. Информационная технология для автоматического чтения по губам украинской речи / Ю.В.Крак, О.В.Бармак, А.С.Тернов // Комп’ютерна математика. – 2009. – №1. – С. 86-95.
10. Кривонос Ю.Г. Інформаційна технологія для моделювання української мови жестів / Ю.Г.Кривонос, Ю.В.Крак, О.В.Бармак [та ін.] // Штучний інтелект. – 2009. – №3. – С. 186-197.
11. Крак Ю.В. Технологія оптимізованої передачі жестової мови в мережі Інтернет / Ю.В.Крак, О.В.Бармак, Б.А.Троценко // Проблеми програмування. – 2009. – №3. – С. 73-79.
12. Бармак О.В. Моделювання трьохмірної моделі голови людини по фотографічним зображенням / О.В.Бармак, К.М.Барабан // Вісник Хмельницького національного університету – 2009. – №5. – С. 87-93
13. Кривонос Ю.Г. Розпізнавання міміки губ при промовлянні слів українською мовою / Ю.Г.Кривонос, Ю.В.Крак, О.В.Бармак [та ін.] // Доповіді НАНУ – 2010. – №5. – С. 41-44.
14. Кривонос Ю.Г. Використання багатоядерних процесорів для просторової анімації жестової мови / Ю.Г.Кривонос, Ю.В.Крак, О.В.Бармак [та ін.] // Проблеми програмування. – 2010. – №2-3. С.561-566.
15. Кривонос Ю.Г. Моделювання рухів віртуального персонажа для просторового відтворення жестової мови / Ю.Г.Кривонос, Ю.В.Крак, О.В.Бармак // Реєстрація, зберігання і обробка даних. – 2010. – Т 12 № 2. – С. 181-189.
16. Бармак О.В. Про один підхід до ідентифікації особи за контуром профіля носа / О.В.Бармак, Ю.В.Крак, Ю.Г.Кривонос // Штучний інтелект. – 2010. – №3. – С.283-290.
17. Бармак О.В. Подход для моделирования структуры предметной области в виде n-мерного куба / О.В.Бармак, М.Л.Яновский // Управляющие системы и машины (УСиМ). – 2011. – №1. – С. 70-78
18. Крак Ю.В. Узагальнені граматичні конструкції для автоматизованого перекладу з української мови на українську жестову мову / Ю.В.Крак, О.В.Бармак, С.О.Романишин // Штучний інтелект – 2011. – № 3. – С.136-146.
19. Кривонос Ю.Г. Комп'ютерне моделювання української жестової мови / Ю.Г.Кривонос, Ю.В.Крак, О.В.Бармак // Системні дослідження та інформаційні технології. – 2011. – № 4. – С. 48-60
20. Бармак О.В. Комп’ютерна технологія для перекладу з української на жестову мову / О.В.Бармак, С.О.Романишин // Вісник Тернопільського національного технічного університету. – 2012. – №1(65). – С. 195-208
21. Бармак О.В. Стійкі ознаки зображення для ідентифікації конфігурації руки в українській жестовій мові / О.В.Бармак, Ю.В.Крак, Кручинін К.В. // Штучний інтелект –2012. – №2 – С. 157-164
22. Кривонос Ю.Г. Формалізація жестоутворення за допомогою трьохмірної моделі людини для української жестової мови / Ю.Г.Кривонос, Ю.В.Крак, О.В.Бармак [та ін.] // Проблеми програмування. – 2012. – №2-3. – С. 398-405
23. Кривонос Ю.Г. Моделювання мімічної складової для українського жестового мовлення / Ю.Г.Кривонос, Ю.В.Крак, О.В.Бармак [та ін.] // Штучний інтелект. – 2012. – №3. – С. 161-171
24. Бармак О.В. Synthesis and recognition of sign information based on basic elements approch / О.В.Бармак // Вісник Київського університету. Серія: фізико-математичні науки. – 2012. - №4. – С.83-86
25. Крак Ю.В. Использование NURBS-аппроксимации для построения пространственной модели лица человека / Крак Ю.В., Бармак О.В., Барабан К.М. // Проблемы управления и информатики. – 2011. - №1. – С.147-156. Переклад:
Krak Yuriy V. Usage of NURBS-approximation for Construction of Spatial Model of Human Face / Yuriy V. Krak, Alexander V. Barmak, Ekaterina M. Baraban // Journal of Automation and Information Sciences. Volume 43, Issue 2. – 2011. – P. 71-81
26. Кривонос Ю.Г. Конструирование и идентификация элементов жестовой коммуникации / Ю.Г.Кривонос, Ю.В.Крак, О.В.Бармак [та ін.] // Кібернетика і системний аналіз. – 2013. – №2. – С. 1-13
27. Крак Ю.В. Компьютерная система виртуального общения людей с проблемами слуха /Ю .В.Крак, О.В.Бармак // Advanced Studies in Software and Knowledge Engineering, International Book Series “INFORMATION SCIENCE & COMPUTING”, Number 4, Supplement to the International Journal “INFORMATION TECHNOLOGIES & KNOWLEDGE”, Volume 2. – 2008. – С.161-165
28. Krak Iu. Computer technology for sign language modeling / Iu. Krak, A.Barmak, Iu.Kryvonos // International Book Series “INFORMATION SCIENCE & COMPUTING”, Number 15, Supplement to the International Journal “INFORMATION TECHNOLOGIES & KNOWLEDGE”, Institute of information Theories and Applications FOI ITHEA, Sofia, Bulgaria, Volume 3. – 2009. – P.40-48.
29. Крак Ю. Моделирование реалистических движений и мимики для задач визуализации жестовой информации /Ю.Крак, Ю.Кривонос, А.Бармак // International Book Series “INFORMATION SCIENCE & COMPUTING”, Number 17, Natural and Artificial Intelligence, Sofia, Bulgaria. – 2010. P.137-143.
30. Крак Ю.В. Технологія синтезу та аналізу емоційних складових на обличчі людини / Ю.В.Крак, О.В.Бармак, Г.М.Єфімов // Перспективы развития техники и технологий в XXI веке. В 2 книгах. К 1. : монография / под общ. ред. С. В. Куприенко. – Одесса: Куприенко С.В., 2012. – С. 141-166
31. Крак Ю.В. Про розпізнавання облич, змодельованих NURBS-поверхнями / Ю.В.Крак, О.В.Бармак // Міжнародна конференція «Питання оптимізації обчислень (ПО-XXXII)». – Кацивеллі, 2005. – С.112-113
32. Крак Ю.В. Інформаційна система аналізу та синтезу голосових та візуальних образів людини / Ю.В.Крак, О.В.Бармак, О.С.Ганжа [та ін.] // Седьмая международная научно-техническая конференция «Искусственный интеллект. Интеллектуальные и многопроцессорные системы-2006». – Россия, Дивноморское, 2006. – С. 346-348
33. Крак Ю.В. Формальна модель та шляхи візуалізації мімічних проявів емоційних станів людини / Ю.В.Крак, О.В.Бармак, Єфімов Г.М. // Четверта міжнародна науково-практична конференція «Математичне та програмне забезпечення інтелектуальних систем (MPZIS-2006)». – Дніпропетровськ, 2006. – С. 11
34. Крак Ю.В. Аналіз і синтез мовних сигналів та вітруальних зображень голови людини / Ю.В.Крак, Ю.Г.Кривонос, О.В.Бармак [та ін.] // Науково-практична конференція «Інтелектуальні системи прийняття рішень та прикладні аспекти інформаційних технологій». – Євпаторія, 2007. – С. 151-152
35. Кривонос Ю.Г. Аналіз та синтез голосових і візуальних образів людини / Ю.Г.Кривонос, Ю.В.Крак, О.В.Бармак [та ін.] // Міжнародний симпозіум «Питання оптимізації обчислень». – Кацивелі, 2007. С. 147
36. Крак Ю.В. Моделювання голосових сигналів та зображень голови людини / Ю.В.Крак, О.В.Бармак, А.С.Тернов [та ін.] // International Conference “Dynamical System Modeling and Stability Investigation”. – Київ, 2007. С. 378
37. Крак Ю.В. Використання контурних контурних моделей для побудови базису простору мімічних виразів емоцій / Ю.В.Крак, О.В.Бармак, Г.М.Єфімов // Міжнародна науково-технічна конференція «Искусственный интеллект. Интеллектуальные системы». – Дивноморское, Россия, 2007. С. 218-221
38. Крак Ю.В. Використання контурних моделей для побудови базису простору мімічних виразів емоцій / Ю.В.Крак, О.В.Бармак, Г.М.Єфімов // П’ята міжнародна науково-практична конференція «Математичне та програмне забезпечення інтелектуальних систем (MPZIS-2007)». – Дніпропетровськ, 2007. С. 17-18
39. Крак Ю.В. Моделювання української мови жестів в системах побудови людино-комп’ютерного інтерфейсу / Ю.В.Крак, О.В.Бармак, А.С.Тернов [та ін.] // Міжнародна наукова конференція «Інтелектуальні системи прийняття рішень та проблеми обчислювального інтелекту». - Євпаторія, 2008. С.78-80
40. Kryvonos Yu.G. Some Problems of Data Smooth Approximation for Raelistic Models Analisis and Synthesis / Yu.G.Kryvonos, Yu.V.Krak, O.V.Barmak // Міжнародна конференція, присвячена 50-річчю Інституту кібернетики ім. В.М.Глушкова НАН України «Дискретна та глобальна оптимізація». Ялта, 2008. С.20
41. Крак Ю.В. Система комп’ютерного моделювання мови жестів для людей з вадами слуху / Ю.В.Крак, О.В.Бармак, А.С.Тернов // 4 міжнародна школа-семінар «Теорія прийняття рішень». - Ужгород, 2008. С. 98-99
42. Кривонос Ю.Г. Інформаційна технологія невербального спілкування людей з вадами слуху / Кривонос Ю.Г., Ю.В.Крак, О.В.Бармак [та ін.] // Міжнародна науково-практична конференція «Штучний інтелект-2008». - Кацивелі, 2008. С.39-43
43. Кривонос Ю.Г. Information technology for nonverbal communication of deaf people and people with damaged hearing / Кривонос Ю.Г., Ю.В.Крак, О.В.Бармак[та ін.] // 21st International CODATE Conference “Scientific Information for Society – from Today to the Future”. - Київ, 2008. С. 226
44. Крак Ю.В. Проблеми створення дружнього інтерфейсу образного комп’ютера на основі жестової, візуальної та голосової інформації / Ю.В.Крак, О.В.Бармак, А.С.Тернов [та ін.] // Дев’ята всеукраїнська міжнародна конференція “Оброблення сигналів і зображень та розпізнавання образів” УКРОБРАЗ’2008. - Київ, 2008. С. 197-200
45. Кривонос Ю.Г. Інформаційна технологія створення природного інтерфейсу на основі жестової, візуальної та голосової інформації / Кривонос Ю.Г., Ю.В.Крак, О.В.Бармак[та ін.] // Шоста міжнародна науково-практична конференція «Математичне та програмне забезпечення інтелектуальних систем (MPZIS-2008)». – Дніпропетровськ, 2008. С. 199-200
46. Кривонос Ю.Г. Моделювання та аналіз мімічних проявів емоцій / Кривонос Ю.Г., Ю.В.Крак, О.В.Бармак [та ін.] // Шоста міжнародна науково-практична конференція «Математичне та програмне забезпечення інтелектуальних систем (MPZIS-2008)». – Дніпропетровськ, 2008. С. 197-198
47. Крак Ю.В. Комп’ютерне моделювання української жестової мови / Ю.В.Крак, О.В.Бармак, А.С.Тернов [та ін.] // International Conference “Dynamical System Modeling and Stability Investigation”. – Київ, 2009. С. 333
48. Крак Ю.В. Комп’ютерне моделювання природніх рухів людини для реалізації української жестової мови / Ю.В.Крак, О.В.Бармак, А.С.Тернов [та ін.] // Друга міжнародна науково-технічна конференція «Інформаційні і моделюючі технології (ІМТ-2009)». – Черкаси, 2009. С. 32
49. Кривонос Ю.Г. Про розробку технології відеозахвату рухів людини для анімації на трьохмірних моделях / Кривонос Ю.Г., Ю.В.Крак, О.В.Бармак // Міжнародний симпозіум «Питання оптимізації обчислень (ПО ХХХV)». – Кацивелі, 2009. С. 370-375
50. Кривонос Ю.Г. Моделирование жестового языка глухих / Кривонос Ю.Г., Ю.В.Крак, А.В.Бармак [та ін.] // Международная научная молодежная школа «Системы и средства искусственного интеллекта (ССИИ-2009)». – Дивноморское, Россия, 2009. С. 27-29
51. Крак Ю.В. Комп’ютерна технологія для моделювання мови жестів / Ю.В.Крак, А.В.Бармак // XVI Всеукраїнська наукова конференція «Сучасні проблеми прикладної математики та інформатики». – Львів, 2009. С. 117
52. Кривонос Ю.Г. Комп’ютерна реалізація української жестової мови / Кривонос Ю.Г., Ю.В.Крак, А.В.Бармак [та ін.] // VII міжнародна науково-практична конференція «Математичне та програмне забезпечення інтелектуальних систем (MPZIS-2009)». – Дніпропетровськ, 2009. С. 148-149
53. Кривонос Ю.Г. Використання багатоядерних процесорів для просторової анімації жестової мови / Кривонос Ю.Г., Ю.В.Крак, А.В.Бармак [та ін.] // Сьома міжнародна науково-практична конференція з програмування «Укрпрог 2010». – Київ, 2010. С. 561-566
54. Крак Ю.В. Оптимізація відтворення просторовою моделлю дактильної жестової мови за допомогою багатоядерних процесорів / Ю.В.Крак, А.В.Бармак, Б.А.Троценко // Міжнародна наукова конференція «Інтелектуальні системи прийняття рішень і проблеми обчислювального інтелекту ISDMCI-2010». – Євпаторія, 2010. С. 473-474
55. Кривонос Ю.Г. Інформаційна технологія моделювання та відтворення жестів: комп’ютерна реалізація української жестової мови / Кривонос Ю.Г., Ю.В.Крак, А.В.Бармак // 12 міжнародна науково-технічна конференція «Системний аналіз та інформаційні технології SAIT 2010». – Київ, 2010. С. 27
56. Кривонос Ю.Г. Комп’ютерне моделювання української жестової мови / Кривонос Ю.Г., Ю.В.Крак, А.В.Бармак // 10 всеукраїнська міжнародна конференція «Оброблення сигналів і зображень та розпізнавання образів (Укробраз-2010)». – Київ, 2010. С. 7-10
57. Кривонос Ю.Г. До розробки системи on-line доступу до ресурсів жестової мови / Кривонос Ю.Г., Ю.В.Крак, А.В.Бармак // VIII міжнародна науково-практична конференція «Математичне та програмне забезпечення інтелектуальних систем (MPZIS-2010)». – Дніпропетровськ, 2010. С. 123-124
58. Крак Ю.В. Iдентифiкацiя елементiв дактильної абетки української жестової мови / Ю.В.Крак, А.В.Бармак, Д.В.Шкільнюк // Міжнародна науково-технічна конференція «Системный анализ и информационные технологии SAIT 2011». – Київ, 2011. С. 451
59. Крак Ю.В. Побудова системи автоматизованого перекладу з української на жестову мову / Ю.В.Крак, А.В.Бармак, С.О.Романишин // Міжнародна наукова конференція «Інтелектуальні системи прийняття рішень та проблеми обчислювального інтелекту ISDMCI-2011». – Євпаторія, 2011. С. 184-186
60. Крак Ю.В. Стійкі ознаки зображення для ідентифікації конфігурації руки в українській жестовій мові / Ю.В.Крак, А.В.Бармак // Міжнародна науково-технічна конференція «Искусственный интелект. Интелектуальные системи. ИИ-2011». – Кацивелі, 2011. С. 113-117
61. Крак Ю.В. Розробка автоматизованої ТЕКСТ_у_ЖЕСТ системи на основі граматичних конструкцій простих речень / Ю.В.Крак, А.В.Бармак, С.О.Романишин // IX Міжнародна науково-практична конференція «Математичне та програмне забезпечення інтелектуальних систем (MPZIS-2011)». – Дніпропетровськ, 2011. С. 143-144
62. Кривонос Ю.Г. Формалізація жестоутворення за допомогою трьохмірної моделі людини для української жестової мови / Кривонос Ю.Г., Ю.В.Крак, А.В.Бармак // Восьма міжнародна науково-практична конференція з програмування УкрПРОГ’2012. –Київ, 2012. С. 398-405
63. Крак Ю.В. Моделювання процесу жестоутворення для української жестової мови / Ю.В.Крак, А.В.Бармак, К.С.Кручинін // Міжнародна наукова конференція «Інтелектуальні системи прийняття рішень та проблеми обчислювального інтелекту». – Євпаторія, 2012. С. 28-29
64. Крак Ю.В. Синтез та аналіз віртуальної реальності в системах невербальної комунікації / Ю.В.Крак, А.В.Бармак // Десята міжнародна науково-практична конференція «Математичне та програмне забезпечення інтелектуальних систем (MPZIS-2012)». – Дніпропетровськ, 2012. С. 173--174
65. Мельник А.А. Как читать человека: Жесты, позы, мимика. М.: РИПОЛ классик, 2005. – 640 с.
66. Гейльман И.Ф. Специфические средства общения глухих. Дактилология и мимика. 4 т. — Л.: ЛВЦ ВОГ, 1975-1979. 840 с.
67. Гинзберг И. А. Азбука для неслышащего малыша / И. А. Гинзберг, С. В. Корсун. – М.: Олма-Пресс, 2005. – 128 с.
68. Іванюшева Н. В. Українська жестова абетка / Н. В. Іванюшева, С. В. Кульбіда. – К.: Київська Русь, 2005. – 64 с.
69. Краєвський Р. Г. Мова жестів глухих / Р. Г. Краєвський. – К.: Радянська школа, 1964. – 220 с.
70. Крамар Ю. Навчання глухих дітей жестової мови / Ю. Крамар // Дефектологія. – 2008. – № 3. – С. 42-44.
71. Кульбіда С. Білінгвальне навчання нечуючих: стан, перспективи розвитку / С. Кульбіда // Дефектологія. – 2006. – №3. – С. 2-3.
72. Ліферова М. Історія української жестової мови / М. Ліферова // Deafmir електронний ресурс. – 2008.
73. Маринина Р. Г. Азбука для неслышащего малыша / Р. Г. Маринина. – М.: ACT Сталкер, 2004. – 320 с.
74. Тищенко О. Жестова мова глухих як об'єкт наукового дослідження (історія питання) / О. Тищенко // Українська мова. – 2007. – № 4. – С. 42-52.
75. Stokoe W.C. Sign Language Structure: An Outline of the Visual Communication Systems of the American Deaf // Studies in Linguistics: Occasional papers. 1960. №8. 78 p.
76. Stokoe W. C. A Dictionary of American Sign Language on Linguistic Principles / W. C. Stokoe, D. C. Casterline, C. G. Croneberg. – Linstok Press, 1976. – 346 p.
77. Система жестової нотації SignWriting // Доступ: http://www.signwriting.org/about/
78. Димскис Л.С. Изучаем жестовый язик / Димскис Л.С. // М.: Академия, 2002. 128 c.
79. Prillwitz S. HamNoSys. Version 2.0; Hamburg Notation System for Sign Languages/ Prillwitz S., Hanke T., et al.// An introductory guide. Hamburg: Signum, 1989. 46 p.
80. Система жестової нотації Hamburg Notation System // Доступ: http://www.sign-lang.uni-hamburg.de/projects/hamnosys.html
81. Воскресенский А.Л. Cловарь RuSLED как інструмент семантических исследований / Воскресенский А.Л., Гуленко И.Е., Хахалин Г.К. // Материалы Междунар. конф. «Диалог-2009», 2009. С. 64–68.
82. Фрадкина Р.Н. Говорящие руки. Тематический словарь жестового языка глухих России. – М.: Московская городская организация ВОГ, 2001
83. Русский жестовый язык. Базовый курс. Компьютерная обучающая система. – М.: Истина, 2001
84. Интерактивный видеословарь «DigitGestus» // Доступ http://digitgestus.com/
85. Интерактивный видеословарь жестового языка европейского проекта Spreadthesign // Доступ http://www.spreadthesign.com/ua/
86. Проект «Сурдосервер 2.0» // Доступ http://surdoserver.ru
87. Трьохмірний аватар для відтворення американської жестової мови (ASL) // Доступ http://www.Vcom3D.com
88. 3D-анимация помогает в изучении языка жестов. // Доступ: http://soft.mail.ru
89. Molet T. A real-time converter for human motion capture/ T. Molet, R. Boulic, D. Thalmann // Eurographics Workshop on Computer Animation and Simulation, Proceedings of the Eurographics Workshop'96, 1996. Comput. Graphics Lab., Fed. Inst. of Technol., Lausanne, Switzerland. – 1996. Режим доступу: http://infoscience.epfl.ch/record/98827
90. Bodenheimer B. The process of motion capture: dealing with the data/ Bobby Bodenheimer, Charles Rose, Seth Rosenthal // Eurographics Workshop on Computer Animation and Simulation, Springer-Verlag, Wien, 1997. Режим доступу: http://www.vuse.vanderbilt.edu/ ~bobbyb/pubs/dealingdata97.html
91. Тимофеев А.В. Видеозахват и анимация движений людей и роботов / Тимофеев А.В., Гуленко И.Е., Андреев В.А. // Сборник трудов Международной выставки-конгресса «Мехатроника и робототехника–2007» (M&R’2007). – Санкт-Петербург, Россия, 2007. С.
92. Воскресенский А.Л. О распознавании жестов языка глухих / Воскресенский А.Л., Ильин С.Н., Milos Zelezny // Международная конференция по компьютерной лингвистике ДИАЛОГ-2010. – Москва, 2010. С. 76-81
93. Advantages Disadvantages of Motion Capture // Доступ: http://www.articlesbase.com
94. Products – Motion Capture // Доступ: http://http://www.naturalpoint.com/
95. Годич О.В. Комп’ютерне розпізнавання жестів: програмно алгоритмічний підхід: Монографія / Годич О.В., Давидов М.В., Нікольський Ю.В. [та ін.]. – Львів: «Компанія «Манускрипт», 2011. – 316 с.
96. Тестова база відеозаписів речень ASL // Доступ: http://www-i6.informatik.rwth-aachen.de/aslr/database-rwth-boston-104.php
97. Bungeroth J. The atis sign language corpus / J. Bungeroth, D. Stein, P. Dreuw, H. Ney, S. Morrissey, A. Way, L. van Zijl // Proceedings of the Sixth International Language Resources and Evaluation (LREC'08).— Marrakech, Morocco: European Language Resources Association (ELRA), 2008.— may. — http://www.lrec- con f. org / pr oceedi ngs / lrec2008/.
98. McCowan I. A. On the use of information retrieval measures for speech recognition evaluation: Idiap-RR Idiap-RR-73-2004 / L A. McCowan, D. Moore, J. Dines, D. Gat ica~ Perez, M. Flynn, P. Wellner, H. Bourlard. — Martigny, Switzerland: IDIAP, 2004.
99. Liang R.-H. A real-time continuous gesture recognition system for sign language / R.-H. Liang, M. Ouhyoung // Automatic Face and Gesture Recognition, IEEE International Conference on. — 1998. — Vol. 0. — P. 558.
100. Wang H. American sign language recognition using multi-dimensional hidden markov models / H. Wang, M. C. Leu, C. Oz // Journal Of Information Science And Engineering. — 2006. — no. 22. — P. 1109-1123.
101. Wang C. A real-time large vocabulary recognition system for Chinese sign language / C. Wang, W. Gao, J. Ma // GW ‘01: Revised Papers from the International Gesture Workshop on Gesture and Sign Languages in Human-Computer Interaction. — London, UK: Springer-Verlag, 2002. — P. 86-95.
102. Vamplew P. Recognition of sign language gestures using neural networks / P. Vamplew, A. Adams // Neuropsychological trends. — 2007. — Vol. 1. — P. 31-41.
103. Michael N. Spatial and temporal pyramids for grammatical expression recognition of american sign language / N. Michael, D. Metaxas, C. Neidle // Assets '09: Proceedings of the 11th international ACM SIGACCESS conference on Computers and accessibility. — NewYork, NY, USA: ACM, 2009. - P. 75-82.
104. Lytle A. M. Performance evaluation of a high-frame rate 3d range sensor for construction applications / A. M. Lytle, I. Katz, K. S. Saidi // International Symposium on Automation and Robotics in Construction. — 2005.
105. Holte M. Gesture recognition using a range camera: Tech. Rep. CVMT-07-01 / M. Holte, T. Moeslund: 2007.
106. Heap T. Towards 3d hand tracking using a deformable model / T. Heap, D. Hogg // FG '96: Proceedings of the 2nd International Conference on Automatic Face and Gesture Recognition (FG '96). — Washington, DC, USA: IEEE Computer Society, 1996. — P. 140.
107. Fujimura K. Us patent 7308112 - sign based human-machine interaction: Tech. rep. / K. Fujimura, X. Liu: 2005.
108. Latta S. G. Us patent application 20100199228 - gesture keyboarding: Tech. rep. / S. G. Latta, K. Tsunoda, K. Geisner, R. Markovic, D. A. Bennett, K. S. Perez: 2010.
109. Lichtenauer J. Person-independent 3d sign language recognition / J. Lichtenauer, G. ten Holt, M. Reinders, E. Hendriks // Advanced Video and Signal Based Surveillance. — September 5-7, 2007. — P. 435-440.
110. ten Holt G.A. Person-independent 3d sign language recognition / G. A. ten Holt, J. F. Lichtenauer, M. Reinders, E. Hendriks // 7th International Workshop on Gesture in Human-Computer Interaction and Simulation (GW2007).— Washington, DC, USA: Springer, 2007. — P. 69-80.
111. Myers C. S. A comparative study of several dynamic time-warping algorithms for connected word recognition / C. S. Myers, R. L. R. // CityplaceBell System Technical Journal. — 1981. - Vol. 60. - P. 1389-1409.
112. Salvador S. Toward accurate dynamic time warping in linear time and space / S. Salvador, P. Chan // Intelligent Data Analysis. — 2007. — Vol. 11, no. 5. — P. 561-580.
113. Abdulla W. Н. Cross-words reference template for dtw-based speech recognition systems / W. H. Abdulla, D. Chow, G. Sin // TENCON 2003: Conference on Convergent Technologies for Asia-Pacific Region. — 2003. — Oct. — Vol. 4. — P. 1576-1579.
114. Niels R. Using dynamic time warping for intuitive handwriting recognition / R. Niels, L. Vuurpijl // Advances in Graphonomics IGS'05. — 2005. — P. 217-221.
115. Hamada Y. Hand shape estimation using sequence of multi-ocular images based on transition network / Y. Hamada, N. Shimada, Y. Shirai // Vision Interface302.— 2002.— May. — P. 362-369.
116. Keskin C. Real time gestural interface for generic applications / C. Keskin, O. Aran, L. Akarun // European Signal Processing Conference, EUSIPCO.— 2005. — September.
117. Aran O. Recognizing two handed gestures with generative, discriminative and ensemble methods via fisher kernels / O. Aran, L. Akarun // International Workshop on Multimedia Content Representation Classification and Security (MRCS'06). — 2006. — September.
118. Just A. Hmm and iohmm for the recognition of mono- and bi-manual 3d hand gestures / A. Just, O. Bernier, S. Marcel // BMVC. — 2004. — September.
119. Zahedi M. Appearance-based recognition of words in american sign language / M. Zahedi, D. Keysers, H. Ney // Iberian Conference on Pattern Recognition and Image Analysis'05. - 2005. - P. 511-518.
120. Местецкий Л. М. Восстановлений в реальном времени пространственных характеристик гибкого объеката по стереопаре зображений / Л.М.Местецкий, А.К.Цискаридзе // Математические методы распознавания образов. 13-я Всероссийская конференция: Сборник докладов. — 2007. — С. 359-363.
121. Местецкий Л. М. Непрерывный скелет бинарного растрового изображения / Л. М. Местецкий // Труды межд. конф. Графикон-98. — 1998
122. Aran O. Sign language tutoring tool / O. Aran, C. Keskin, L. Akarun // eNTERFCE '06. Summer Workshop, on Multimodal Interfaces. — 2007
123. Raja Y. Tracking and segmenting people in varying lighting conditions using colour / Y. Raja, S. J. McKenna, S. Gong // Proceedings of the 3rd. International Conference on Face & Gesture Recognition. — 1998. — P. 228-233
124. Birk H. Real-time recognition of hand alphabet gestures using principal component analysis / H. Birk, Т. B. Moeslund, С. B. Madsen // SCI A 97. — P. 8.
125. Ong E.-J. A boosted classifier tree for hand shape detection / E.-J. Ong, R. Bowden // Sixth IEEE International Conference on Automatic Face and Gesture Recognition (FGR 2004). — 2004. — May. — P. 889-894.
126. Belongie S. Shape context: A new descriptor for shape matching and object recognition / S. Belongie, J. Malik, J. Puzicha // Neural Informaiton Processing Systems.— 2000.
127. Пападимитриу X. Комбинаторная оптимизация, алгоритмы и сложность / X. Пanaдимитриу, К. Стайглиц.— 1985.— С. 512
128. Lockton R. Real-time gesture recognition using deterministic boosting / R. Lockton, A. Fitzgibbon 11 In British Machine Vision Conf — 2002. — P. 817-826.
129. Ганебних С. Н. Представление полутоновых объектов с многоуровневым разрешением для ускоренного распознавания образов / С. Н. Ганебных // Математические методы распознавания образов. 13-я Всероссийская конференция: Сборник докладов. — 2007. — С. 295-299
130. Pashaloudi V.N. A performance study of a recognition system for greek sign language alphabet letters / V.N.Pashaloudi, K.G.Margaritis // SPECOM'2004:9th, Conference Speech and Computer. — 2004. — September
131. Burger T. Cued speech hand shape recognition / T.Burger, O.Aran, A.Urankar, A.Caplier // 2nd Int. Conf. on Computer Vision Theory and Applications, VISAPP. — 2007. — March. — P. 8.
132. Burger T. Cued speech gesture recognition: a first prototype based on early reduction / T.Burger, A.Caplier, P.Perret // Journal on Image and Video Processing.— 2007.— no. 4. — P. 1-19.
133. Hu M.K. Visual pattern recognition by moment invariants / M.K. Hu // IRE Trans. Info. Theory. - 1962. - Vol. IT-8. — P. 179-187.
134. Wachs J. Cluster labeling and parameter estimation for the automated setup of a hand-gesture recognition system / J.Wachs, H.Stern, Y.Edan // Systems, Man and Cybernetics, Part A: Systems and Humans, IEEE Transactions.— 2005.— Vol. 35, no. 6.— P. 932-944.
135. Coogan T. Real time hand gesture recognition including hand segmentation and tracking / T.Coogan, G.Awad, J.Han, A.Sutherland // ISVC 2006 - 2nd International Symposium on Visual Computing, — 2006. — November. — P. 10
136. Gui L. Finger-spelling recognition within a collaborative segmentation/behavior inference framework / L. Gui, J.-P. Thiran, N. Paragios // The 2008 European Signal Processing Conference (EUSIP CO-2008). — 2008. — August. — P. 5.
137. Wachs J. A real-time hand gesture system based on evolutionary search / J. Wachs, H. Stern, Y. Edan, M. Gillam, C. Feied, M. Smith, J. Handler // Vision. Dearborn, Mich.: Society of Manufacturing Engineers. — 2006. — Oct. — Vol. 22, no. 3. — P. 6
138. Stern H. Parameter calibration for reconfiguration of a hand gesture tele-robotic control system / H. Stern, J. P. Wachs, E. Y. // Proc. of JUSFA 2004 Japan - USA Symp. on Flexible Automat. — 2004. — July. — P. 8
139. Shamaie A. Accurate recognition of large number of hand gestures / A.Shamaie, A.Sutherland // In: 2nd Iranian Conference on Machine Vision and Image Processing. — 2003. — February. — P. 308-317
140. Tamura S. Recognition of sign language motion images / S.Tamura, S.Kawasaki // Pattern Recognition. — 1988. — Vol. 21, no. 4. — P. 343-353
141. Starrier T. Real-time american sign language recognition from video using hidden markov models / T.Starner, A.Pentland // In AAAI Fall Symposium on Disabilities. — 1996. — November. - P. 265-270
142. Starner T. Real-time american sign language recognition using desk and wearable computer based video / T.Starner, J.Weaver, A.Pentland // IEEE Transactions on Pattern Analysis and Machine Intelligence. — 1998. — Vol. 20, no. 12. — P. 1371-1375
143. Liu N. Gesture classification using hidden markov models and viterbi path counting / N.Liu, В.C.Lovell // Proc. Vllth Digital Image Computing: Techniques and Applications. — 2003. — Dec. — P. 273-282
144. Stein D. Hand in hand: automatic sign language to english translation / D.Stein, P.Dreuw, H.Ney, S.Morrissey, A.Way // Proceedings of the 11th International Conference on Theoretical and Methodological Issues in Machine Translation (TMI 2007). — 2007. - September. - P. 214-220
145. Mauser A. The rwth statistical machine translation system for the iwslt 2006 evaluation / A.Mauser, R.Zens, E.Matusov, S.Hasan, H.Ney //In International Workshop on Spoken Language Translation (IWSLT). — 2006. — November. — P. 103-110
146. Zahedi M. Appearance-based recognition of words in american sign language / M.Zahedi, D.Keysers, H.Ney // Iberian Conference on Pattern Recognition and Image Analysis'05. - 2005. - P. 511-518
147. Dreuw P. Speech recognition techniques for a sign language recognition system / P.Dreuw, D.Rybach, T.Deselaers, M.Zahedi, H.Ney // ISC A best student paper award Interspeech. — 2007. — August. — P. 2513-2516
148. Dreuw P. Efficient approximations to model-based joint tracking and recognition of continuous sign language / P. Dreuw, J. Forster, T. Deselaers, H. Ney // IEEE International Conference Automatic Face and Gesture Recognition. — 2008. — P. 6.
149. Dreuw P. Enhancing a sign language translation system with vision-based features / P.Dreuw, D.Stein, H.Ney, H.Hermann // Gesture in Human-Computer Interaction and Simulation (GW07). — 2007. — May. — P. 108-113
150. Farhadi A. Transfer learning in sign language / A.Farhadi, D.Forsyth, R.White // IEEE Conference on Computer Vision and Pattern Recognition CVPR '07.— 2007. — P. 1-8.
151. Derpanis K. Hand gesture recognition within a linguistics-based framework / K.Derpanis, R.Wildes, J.Tsotsos // European Conference on Computer Vision.— 2004. — May.— P. 282-296
152. Bowden R. Linguistic feature vector for the visual interpretation of sign language / R.Bowden, D.Windridge, T.Kadir, A.Zisserman, M.Brady // European Conference on Computer Vision'04. — 2004. – P. 390-401
153. Comon P. Independent component analysis, a new concept? / P. Comon // Signal Processing, Elsevier, Special issue on Higher-Order Statistics. — 1994. — Vol. 32.— P. 287-314.
154. Zieren J. Non-intrusive sign language recognition for human-computer interaction / J.Zieren, K.-F.Kraiss // Proceedings of the 9th IFAC/IFIP/IFORS/IEA Symposium on Analysis, Design, and Evaluation of Human-Machine Systems. — 2004. — P. 6
155. Bradski G. Computer vision face tracking for use in a perceptual user interface / G.Bradski // In Intel Technology Journal — 1998. — P. 15
156. Akyol S. Evaluation of asm head tracker for robustness against occlusion / S.Akyol, J.Zieren // Proceedings of the International Conference on Imaging Science, Systems, and Technology (CISST 02). — 2002. — Vol. 1
157. Zieren J. Robust person-independent visual sign language recognition / J.Zieren, K.-F.Kraiss // Proceedings of the 2nd Iberian Conference on Pattern Recognition and Image Analysis IbPRIA 2005. — June. — Vol. Lecture Notes in Computer Science LNCS 3522. — P. 8.
158. von Agris U. Rapid signer adaptation for isolated sign language recognition / U.von Agris, D Schneider, J.Zieren, , K.-F.Kraiss // In: Proceedings of the IEEE International Conference on Computer Vision and Pattern Recognition. — 2006. — June.— P. 6
159. Bay H. SURF: Speeded Up Robust Features" / Herbert Bay , Andreas Ess, Tinne Tuytelaars, Luc Van Gool, // Computer Vision and Image Understanding (CVIU). - 2008. Vol. 110, No. 3, p. 346-359
160. Vapnik, V.N. Statistical Learning Theory. New York: Wiley, 1998
161. Кириченко Н.Ф. Синтез систем нейрофункцональных преобразований в решении задач классификации / Кириченко Н.Ф., Кривонос Ю.Г., Лепеха Н.П. // Кибернетика и системній аналіз. – 2007. - №1. С. 47-56
162. Dalal, N. Histograms of Oriented Gradients for Human Detection. / N. Dalal, W. Triggs // IEEE Computer Society Conference on Computer Vision and Pattern Recognition CVPR05. – 2005. – Vol. 1(3). – P. 886-893.
163. Wang, X. An HOG-LBP Human Detector with Partial Occlusion Handling / X. Wang, T.X. Han // IEEE Computer Engineering. – 2009. – P. 32-39.
164. Ruta, A. In-vehicle camera traffic sign detection and recognition / A. Ruta, F. Porikli, S. Watanabe, Y. Li // Machine Vision and Applications. – 2011. – Vol. 22(2) – P. 359-375.
165. Леонтьев В.О. Классификация эмоций / Леонтьев В.О. – Одесса: Инновационно-ипотечный центр, 2002. – С.84
166. Ильин Е.П. Эмоции и чувства / Ильин Е.П. – Спб: Питер, 2001. – С. 752
167. Dufour Ph. Essai sur l'etude le l'homme considere sous le double point de vue de la vie animale et de la vie intellectuelle. 2 vol / Dufour Ph. – Paris: Person, 1883. Режим доступу: http://www.psychology-online.net/articles
168. Джемс У. Психология / Джемс У. – М.: Педагогика, 1991 – С. 368
169. Ланге Г. Душевные движения / Ланге Г. – СПб.: Изд-во Павленкова, 1986. – С. 89
170. Дарвин Ч. Выражение эмоций у человека и у животных. / Дарвин Ч. // Сочинения ; [пер. С.Л.Соболя под ред. акад. Е.Н. Павловского: в 8 т.] – М. : Изд. АН СССР – 1953. – Т.5.– C.431-480
171. Вундт В. Основы физиологической психологии. Чувства и аффекты / Вундт В. – СПб., 1880. - Вып. 55 (т. 3. Г- Л., XVI). - С. 216. Режим доступу: http://www.psychology-online.net/articles
172. Sherrington C.S. On the innervation of antagonistic muscles. Sixth note. Proc. Roy Soc. - London, 1900. - P. 66. Режим доступу: http://www.jstor.org/pss/116038
173. Кеннон В. Физиология эмоций. Телесные изменения при боли, голоде, страхе и ярости / Кеннон В. - Л.: Прибой, 1927. Режим доступу: http://psy.1september.ru/articlef.php?ID=200200413
174. Bard P. On emotional expression after decortication with some remarks on certain theoretical views/ Bard P. // Psychol. Rev. - 1934 - V. 41. - P. 309. Режим доступу: http://bjp.rcpsych.org/cgi/reprint/81/332/
175. Bard P. The neuro-humoral basis of emotional reactions/ Bard P. // Murchison C. (ed.) Handbook of General Experimental Psychology. - Worcester, 1934. Режим доступу: http://psycnet.apa.org/journals/rev/39/6/570/
176. Rapaport D. On the psychoanalytic theory of motivation/ Rapaport D. // M. R.Jones (ed.) Nebraska Symposium on Motivation. - Lincoln, NE.: University of Nebraska Press, 1960. - P. 173–257. Режим доступу: http://www.unl.edu/psypage/symposium/
177. Фрейд 3. Остроумие и его отношение к бессознательному. - СПб.; М.: Университетская книга, 1997. Режим доступу: http://www.gumer.info/bibliotek_Buks/Psihol/fr_ostr/index.php
178. Holt R.R. Beyond vitalism and mechanism: Freud,s concept of psychic energy / Holt R.R. // Science and Psychoanalysis. - N.Y.: Grune and Stratton, 1967. – P. 67
179. Adelman P.К. Facial efference and the experience of emotion / Adelman P.К., Zajonc R.В. // Ann. Rev. Psychol. - 1989. - V. 40. - P. 249-280. Режим доступу: http://arjournals.annualreviews.org/toc/psych/40/1
180. Анохин П. К. Эмоции // Большая медицинская энциклопедия. Т. 35. - М., 1964. -С. 339.
181. Анохин П. К. Проблема принятия решения в психологии и физиологии // Проблемы принятия решения. - М., 1976.
182. Фестингер Л Теория когнитивного диссонанса. - М., 2000.
183. Schachter S The interaction of cognitive and physiological determinants of emotional state // L. Berkowitz (ed.) Advances in experimental social psychology. - N.Y., 1964.
184. Arnold M.B. Emotion and Personality. V.I. Psychological aspects. V. 2. Neurological and physiological aspects. - N.Y., 1960.
185. Лазарус Р. Индивидуальная чувствительность и устойчивость к психологическому стрессу // Психологические факторы на работе и охрана здоровья. - М.; Женева, 1989.-С. 121-126.
186. Симонов П. В., Фролов М. В. Экспериментальное исследование эмоциональности студентов театрального вуза // Журнал высшей нервной деятельности. -1983. - Вып. 6. - С. 1019-1027.
187. Макаренко Ю. А., Симонов П. В., Масленникова Н. В., Сидорова О. А., Карпович Э. А. Стартов П. В, Распознавание мимики как метод изучения формирования эмоциональных реакций у детей // Методы исследования функций организма в онтогенезе (морфофункциональные особенности развития детей и подростков). - М., 1975. -С. 71-72.
188. Симонов П. В Метод К. С. Станиславского и физиология эмоций. - М., 1962.
189. Симонов П. В. Что такое эмоция? - М„ 1962.
190. Симонов П. В. Исследование эмоциональных реакций животных и человека в научных учреждениях США// Журнал высшей нервной деятельности. - 1968. -Вып. 5. - С. 836- 849.
191. Симонов П. В Теория отражения и психофизиология эмоций. - М., 1970.
192. Симонов П. В. Высшая нервная деятельность человека. Мотивационно-эмоцио-нальные аспекты. - М.: Наука, 1975.
193. Симонов П. В. Эмоциональный мозг. - М., 1981.
194. Симонов П. В Эмоции и воспитание (вопросы воспитания в свете информационной теории эмоций) // Вопросы философии. - 1981. - № 5. - С. 39-48.
195. Симонов П. В. Ответ профессору Б. И. Додонову (Еще раз о потребностно-инфор-мационном подходе к изучению эмоций) // Психологический журнал. - 1983. -№4.-С. 119-133.
196. Симонов П. В., Ершов П. М. Темперамен