СИНТЕЗ НЕЙРОЕЛЕМЕНТІВ І НЕЙРОМЕРЕЖ РЕАЛЬНОГО ЧАСУ ПАРАЛЕЛЬНО-ВЕРТИКАЛЬНОГО ТИПУ : СИНТЕЗ НЕЙРОЕЛЕМЕНТОВ И НЕЙРОСЕТЕЙ РЕАЛЬНОГО ВРЕМЕНИ ПАРАЛЛЕЛЬНО-ВЕРТИКАЛЬНОГО ТИПА

Краткое описание

Міністерство освіти і науки, молоді та спорту України
Національний університет «Львівська політехніка»

На правах рукопису
СКОРОХОДА ОЛЕКСА ВОЛОДИМИРОВИЧ
УДК 004.032.26
СИНТЕЗ НЕЙРОЕЛЕМЕНТІВ І НЕЙРОМЕРЕЖ РЕАЛЬНОГО ЧАСУ ПАРАЛЕЛЬНО-ВЕРТИКАЛЬНОГО ТИПУ
Спеціальність 05.13.23 – системи та засоби штучного інтелекту
Дисертація на здобуття наукового ступеня
кандидата технічних наук

Науковий керівник:
Цмоць Іван Григорович
д.т.н., професор

Ідентичність всіх примірників дисертації
ЗАСВІДЧУЮ:
Вчений секретар
спеціалізованої вченої ради                                                           А.Є. Батюк

Перелік умовних скорочень............................................................................. 5
Вступ................................................................................................................... 6
Розділ 1         Аналіз галузей застосування, архітектур, компонентів і засобів реалізації нейромереж реального часу........................................................................... 13
1.1. Основні типи нейромережевих задач та галузі застосування нейромережевих технологій................................................................................................... 13
1.1.1. Основні типи нейромережевих задач............................................ 13
1.1.2. Галузі застосування нейромережевих технологій........................ 17
1.2. Моделі штучного нейрона.................................................................... 21
1.3. Архітектури штучних нейромереж...................................................... 26
1.4. Засоби та варіанти реалізації нейроалгоритмів................................... 32
1.5. Елементна база для реалізації нейромереж реального часу............... 36
1.6. Особливості нейротехнологій реального часу та їхній операційний базис         41
1.7. Формулювання наукової задачі та завдань досліджень...................... 49
Висновки до розділу.................................................................................... 50
Розділ 2         Моделі нейрона та метод синтезу нейромереж реального часу паралельно-вертикального типу........................................................................................ 53
2.1. Формування вимог до засобів реалізації штучних нейронних мереж реального часу............................................................................................................. 53
2.2. Методи паралельно-вертикального опрацювання даних у нейромережах         56
2.3. Принципи побудови апаратних штучних нейронних мереж реального часу     60
2.4. Компонентно-ієрархічний підхід до розробки апаратних штучних нейронних мереж реального часу................................................................................ 63
2.5. Розробка моделей формального нейрона паралельно-вертикального типу       66
2.6. Вдосконалення методу синтезу нейромереж реального часу паралельно-вертикального типу.................................................................................... 73
2.7. Базові НВІС-структури нейромереж паралельно-вертикального типу 81
Розділ 3         Синтез нейроелементів паралельно-вертикального типу...... 91
3.1. Нейроелемент паралельно-вертикального типу з мультиплексованими шинами..................................................................................................................... 91
3.2. Нейроелемент паралельного-вертикального типу із суміщенням процесів надходження і формування часткових результатів.................................. 96
3.3. Нейроелемент паралельно-вертикального типу з табличним формуванням макрочасткових результатів.................................................................... 102
3.4. Оцінка розроблених структур пристроїв обчислення скалярного добутку        106
3.5. Методи та структури реалізації групового підсумовування............. 109
3.6. Реалізація пристрою паралельно-послідовного та послідовно-паралельного перетворення............................................................................................ 116
3.7. Реалізація пристрою обчислення функції активації........................... 117
Висновки до розділу.................................................................................. 118
Розділ 4         Синтез нейромережі на основі моделі геометричних перетворень         121
4.1. Вибір парадигми нейронної мережі для реалізації нейромережевого спектрального аналізу....................................................................................................... 121
4.2. Розробка нейроемулятора для реалізації нейромережевого спектрального аналізу................................................................................................................... 123
4.3. Адаптація нейромережевого спектрального аналізу для задачі збільшення точності давачів відстані......................................................................................... 126
4.4. Синтез апаратної нейронної мережі для реалізації нейромережевого спектрального аналізу....................................................................................................... 130
4.5. Метод та структура апаратного компоненту для реалізації пристрою визначення максимального числа з групи чисел........................................................ 136
4.6. Моделювання базових компонентів для синтезу нейромереж реального часу   139
4.7. Етапи проектування апаратних нейронних мереж реального часу.. 143
Висновки до розділу.................................................................................. 146
Висновки......................................................................................................... 148
Література...................................................................................................... 150
Додаток А Впровадження результатів дисертаційної роботи у навчальний процес.......................................................................................................................... 165
Додаток Б Впровадження результатів дисертаційної роботи у держбюджетні теми ДБ/МЕМС і ДБ/Робот.................................................................................... 166
Додаток В Текст програмної реалізації нейроемулятора на мові програмування С#.......................................................................................................................... 168

скорочень

Скорочення, термін, позначення

Пояснення

АЗ

апаратні засоби

БК

блок керування

БСм

багатовходовий суматор

БШП

багатошаровий перцептрон

ВУ

вузол управління

МГП

модель геометричних перетворень

НВІС

надвелика інтегральна схема

ОЗП

оперативний запам’ятовуючий пристрій

ПЕ

процесорний елемент

ПерК

перетворювач кодів

ПЗП

постійний запам’ятовуючий пристрій

ПЛІС

програмовані логічні інтегральні схеми

ПЦОС

процесор цифрової обробки сигналів

Рг

регістр

СВ

суматор-віднімач

См

суматор

ФМЧР

формувач макрочасткових результатів

ФЧР

формувач часткових результатів

ШНМ

штучна нейронна мережа

ШФ

шинний формувач

теми.
На сучасному етапі розвитку нейротехнологій реального часу розширяються галузі їхнього застосування, більшість з яких потребують опрацювання інтенсивних потоків даних на апаратних засобах, що задовольняють обмеження відносно габаритів, маси, енергоспоживання тощо. До таких галузей належить промисловість (управління технологічними процесами та складними об’єктами), енергетика (оптимізація навантаження в електромережах), військова (технічний зір, управління рухом мобільного робота), автомобільна (управління рухом і двигуном), медична (діагностика захворювань) і приладобудівна (розпізнавання образів і оптимізація управління). Більшість нейромережевих засобів мають структурну організацію універсального типу, яка функціонально та структурно є надлишковою, не враховує вимог конкретних застосувань щодо продуктивності, габаритів, споживаної потужності та має невисоку ефективність використання обладнання.
Створення високоефективних нейромережевих засобів реального часу потребує широкого використання сучасної елементної бази, розроблення нових моделей нейрона, орієнтованих на реалізацію у надвеликих інтегральних схемах (НВІС), методів, алгоритмів і спеціалізованих НВІС-структур для реалізації нейроелементів та нейромереж. З огляду на це особливої актуальності набуває завдання синтезу нейроелементів і нейромереж, орієнтованих на опрацювання даних у реальному часі та НВІС-реалізацію з високою ефективністю використання обладнання.
Режим реального часу та НВІС-реалізація нейромереж з високою ефективністю використання обладнання забезпечується розпаралелюванням і конвеєризацією процесів обчислень, апаратним відображенням структури нейромережевих алгоритмів у архітектуру, яка адаптована до інтенсивності надходження потоків даних. Орієнтація структур нейроелементів і нейромереж на НВІС-реалізацію вимагає зменшення кількості виводів інтерфейсу, міжнейронних зв’язків і апаратних витрат. Забезпечити ці вимоги можна використанням паралельно-вертикальних методів опрацювання та структур нейроелементів і нейромереж з багатооперандним обчисленням даних, що надходять розрядними зрізами.
Для синтезу нейроелементів і нейромереж реального часу з високою ефективністю використання обладнання необхідно розробити нові моделі нейронів, методи опрацювання потоків даних, НВІС-структури і метод їхнього синтезу. Розробляти такі нейроелементи і нейромережі найдоцільніше за допомогою інтегрального підходу, який охоплює сучасну елементну базу, моделі нейроелементів, методи реалізації нейромережевих обчислень, архітектури нейромереж, враховує вимоги конкретних застосувань та інтенсивність надходження даних.
Синтезовані у цій роботі нейроелементи та нейромережі реального часу з високою ефективністю використання обладнання ґрунтуються на напрацюваннях відомих зарубіжних та українських вчених, які розробили теоретичні та практичні засади проектування нейромереж, зокрема Н. Айзенберга, Є. Бодянського, А. Галушкіна, В. Грицика, Т. Кохонена, В. Кожем’яка, Н. Куссуль, В. Литвиненка, О. Михальова, О. Палагіна, О. Рєзніка, Ф. Розенблата, Ю. Романишина, П. Тимощука, Л. Тимченка, Р. Ткаченка, Р. Хемінга, Д. Хопфілда та ін.
Тому актуальним завданням є розроблення нових моделей формального нейрона, вдосконалення методу синтезу та створення нейромереж реального часу паралельно-вертикального типу з високою ефективністю використання обладнання.
Зв'язок роботи з науковими програмами, планами, темами.
Тема дисертаційної роботи відповідає планам науково-дослідної та навчальної роботи кафедри автоматизованих систем управління та кафедри інформаційних технологій видавничої справи Національного університету «Львівська політехніка». Дисертація виконувалася в межах держбюджетних науково-дослідних робіт «Високошвидкісні інформаційні технології опрацювання даних в мікроелектромеханічних системах на основі вбудованих штучних нейронних мереж» (номер держ. реєстр. 0111U001218) та «Розвиток теорії синтезу нейронних мереж на НВІС-структурах для обробки сигналів в робототехнічних системах» (номер держ. реєстр. 0112U001204).
Мета і завдання дослідження.
Метою дисертаційної роботи є розроблення моделей формального нейрона, вдосконалення методу синтезу та створення нейромереж реального часу паралельно-вертикального типу з високою ефективністю використання обладнання.
Для досягнення поставленої мети необхідно вирішити такі завдання:
·     проаналізувати методи та засоби реалізації нейромереж, виділити нейромережевий операційний базис та визначити основні напрями розвитку засобів реалізації нейромереж реального часу;
·     сформулювати вимоги, вибрати засоби реалізації та принципи побудови нейромереж реального часу;
·     розробити метод паралельно-вертикального опрацювання даних у нейромережах;
·     розробити моделі формального нейрона паралельно-вертикального типу;
·     синтезувати орієнтовані на НВІС-реалізацію нейроелементи паралельно-вертикального типу;
·     вдосконалити метод синтезу нейромереж реального часу;
·     вдосконалити й орієнтувати на апаратну реалізацію метод нейромережевого спектрального аналізу;
·     синтезувати нейромережу з високою ефективністю використання обладнання для підвищення точності динамічного вимірювання відстані у реальному часі.
Об’єктом дослідження є процеси нейромережевого опрацювання даних у реальному часі.
Предметом дослідження є моделі нейрона, методи синтезу нейроелементів і апаратних нейромереж реального часу.
Методи дослідження. Для розв’язання поставлених у дисертаційній роботі задач використано: теорію та методи моделювання штучних нейромереж, елементи теорії графів, теорію та методи розпаралелювання алгоритмів, теорію проектування напівзамовних і замовних НВІС.
Наукова новизна отриманих результатів.
За результатами виконаних теоретичних та експериментальних досліджень розв’язано актуальну наукову задачу – розроблено моделі формального нейрона, вдосконалено метод синтезу та створено нейромережу реального часу паралельно-вертикального типу з високою ефективністю використання обладнання. При цьому отримано такі нові результати:
вперше:
·     розроблено метод паралельно-вертикального опрацювання даних у нейромережах (нейроелементах), який завдяки використанню багатооперандного підходу, порозрядного надходження даних та суміщення процесів надходження даних з виконанням обчислень забезпечує зменшення кількості виводів інтерфейсу, розрядності міжнейронних зв’язків і витрат обладнання та підвищує швидкодію обчислень;
·     розроблено моделі формального нейрона паралельно-вертикального типу, які відрізняються від відомих порозрядним надходженням та опрацюванням вхідних даних і вагових коефіцієнтів, табличною реалізацією функції активації і порозрядним формуванням результату, що забезпечило орієнтацію моделей на НВІС-реалізацію та адаптацію нейрона до вимог конкретного застосування;
·     синтезовано орієнтовані на НВІС-реалізацію нейроелементи паралельно-вертикального типу, в яких завдяки узгодженню та суміщенню процесів паралельно-порозрядного надходження та опрацювання вхідних даних і вагових коефіцієнтів забезпечено високу ефективність використання обладнання;
вдосконалено:
·     метод синтезу нейромереж реального часу паралельно-вертикального типу, за яким, із урахуванням засобів реалізації, вимог конкретних застосувань та інтенсивності надходження вхідних даних і вагових коефіцієнтів, можна синтезувати апаратні нейромережі з високою ефективністю використання обладнання;
·     метод нейромережевого спектрального аналізу шляхом його орієнтації на обчислення з фіксованою комою та апаратну реалізацію, що забезпечує його НВІС-реалізацію з високою ефективністю використання обладнання.
Практичне значення отриманих результатів.
·     використання вдосконаленого методу синтезу нейромереж реального часу забезпечує формалізацію процесу синтезу, зменшення часу і вартості їх розроблення;
·     використання вдосконаленого методу нейромережевого спектрального аналізу дало змогу зменшити похибку динамічного вимірювання відстані у 2,4 рази;
·     використання нейроелементів паралельно-вертикального типу для побудови нейромереж забезпечує зменшення кількості виводів нейроелементів, розрядності міжнейронних зв’язків та вартості реалізації;
·     використання швидкодіючої табличної реалізації обчислення функції активації розширює функціональні можливості нейроелементів.
Результати дисертаційної роботи впроваджені у навчальний процес кафедри АСУ Національного університету «Львівська політехніка» для студентів напряму підготовки «Інформаційні управляючі системи та технології» (шифр – 8.05010101) (Додаток А), а також використані у держбюджетних науково-дослідних роботах «Високошвидкісні інформаційні технології опрацювання даних в мікроелектромеханічних системах на основі вбудованих штучних нейронних мереж» (номер держ. реєстр. 0111U001218) та «Розвиток теорії синтезу нейронних мереж на НВІС-структурах для обробки сигналів в робототехнічних системах» (номер держ. реєстр. 0112U001204) (Додаток Б).
Особистий внесок здобувача.
Усі наукові результати дисертаційної роботи автор отримав самостійно. У працях, опублікованих у співавторстві, здобувачеві належать: вертикально-паралельні алгоритми, базова структура пристрою обчислення скалярного добутку на основі попередніх обчислень та пристрій обчислення функції активації табличним методом [1], структура проблемно-орієнтованої обчислювальної системи для реалізації багатошарового перцептрона з неітераційним навчанням [2], аналіз способів реалізації нейромереж реального часу [3], аналіз вимог та вибір принципів побудови нейромереж реального часу [4], методи паралельно-вертикального обчислення скалярного добутку [5], розроблення нейромережевих засобів сингулярного спектрального аналізу для збільшення точності динамічного вимірювання відстані [6, 19], метод групового підсумовування для нейроелемента [7], нейроелемент з різницевим вертикальним таблично-алгоритмічним обчисленням [8], вибір засобів реалізації, метод синтезу апаратних нейромереж реального часу, метод просторово-часового відображення нейроалгоритмів в узгоджено-паралельні структури [9], метод обчислення скалярного добутку та реалізація блоку попередніх обчислень [10], НВІС-структура пристрою для реалізації нейроелемента [11], вдосконалення таблично-алгоритмічного способу реалізації нейромереж [12], аналіз особливостей апаратної реалізації нейромереж [13], структура нейроелемента паралельно-вертикального типу з табличним формуванням макрочасткових результатів [14], аналіз та вибір типу програмованих логічних інтегральних схем (ПЛІС) для апаратної реалізації нейромереж реального часу [15], паралельно-вертикальний метод обчислення базових операцій нейроелемента [16], етапи побудови нейромереж на основі ПЛІС [17], методологія розроблення апаратних нейромереж реального часу [18].
Апробація результатів дисертації.
Про основні результати наукових досліджень автор неодноразово доповідав на міжнародних та всеукраїнських науково-технічних конференціях, зокрема: Шостій міжнародній науково-технічній конференції MEMSTECH’2010 (м. Поляна, 20–23 квітня 2010 р.); Міжнародній науковій конференції «Інтелектуальні системи прийняття рішень та проблеми обчислювального інтелекту ISDMCI’2010» (м. Євпаторія, 17–21 травня 2010 р.); науково-технічній конференції «Обчислювальні методи і системи перетворення інформації» (м. Львів, 7–8 жовтня 2010 р.); П’ятій міжнародній конференції «Комп’ютерні науки та інформаційні технології CSIT’2010» (м. Львів, 14–16 жовтня 2010 р.); Сьомій міжнародній науково-технічній конференції MEMSTECH’2011 (м. Поляна, 11–14 травня 2011 р.); Міжнародній науковій конференції «Інтелектуальні системи прийняття рішень та проблеми обчислювального інтелекту ISDMCI’2011» (м. Євпаторія, 16–20 травня 2011 р.); Шостій міжнародній конференції «Perspective Technologies and Technical Conference CSIT’2011» (м. Львів, 16–19 листопада 2011 р.); Міжнародній науковій конференції «Інтелектуальні системи прийняття рішень та проблеми обчислювального інтелекту ISDMCI’2012» (м. Євпаторія, 27–31 травня 2012 р.); Шостій міжнародній науково-технічній конференції «Фотоніка ОДС-2012» (м. Вінниця, 1–4 жовтня 2012 р.). Матеріали дисертації також регулярно представлялися та обговорювалися впродовж 2010–2012 років на наукових семінарах кафедри автоматизованих систем управління Національного університету «Львівська політехніка».

Публікації. Основні результати дисертаційної роботи опубліковано в 19 друкованих працях, серед яких 9 статей у наукових журналах, що входять до переліку фахових видань України, 9 публікацій у збірниках матеріалів наукових конференцій, 1 патент України на корисну модель.

Список литературы

У дисертаційній роботі на основі виконаних теоретичних та експериментальних досліджень розв’язано актуальну наукову задачу – розроблено нові моделі формального нейрона, вдосконалено метод синтезу та створено нейромережу реального часу паралельно-вертикального типу з високою ефективністю використання обладнання для реалізації нейромережевого спектрального аналізу. При цьому отримано такі основні результати:
1.  Визначено особливості нейротехнологій реального часу, виділено нейромережевий операційний базис та обґрунтовано необхідність синтезу нейроелементів і апаратних нейромереж реального часу паралельно-вертикального типу.
2.  Вдосконалено та використано для оцінювання нейроелементів і нейромереж критерій ефективності використання обладнання, який пов’язує продуктивність із витратами обладнання. Для проектування нейроелементів і апаратних нейромереж вибрано інтегрований підхід з використанням таких принципів: паралелізму, модульності, спеціалізації та адаптації апаратно-програмних засобів до структури алгоритмів опрацювання та інтенсивності надходження даних, програмованості архітектури за допомогою використання репрограмованих ПЛІС.
3.  Розроблено метод паралельно-вертикального опрацювання даних у нейромережах (нейроелементах), який завдяки порозрядному надходженню даних та використанню багатооперандного підходу забезпечує зменшення кількості виводів інтерфейсу, розрядності міжнейронних зв’язків і витрат обладнання та підвищує швидкодію за рахунок суміщення процесів введення даних з виконанням обчислень.
4.  Розроблено моделі формального нейрона паралельно-вертикального типу, які відрізняються від відомих порозрядним надходженням та опрацюванням вхідних даних і вагових коефіцієнтів, табличною реалізацією функції активації і порозрядним формуванням результату, що забезпечило орієнтацію моделей на НВІС-реалізацію та адаптацію нейрона до вимог конкретного застосування.
5.  Синтезовано орієнтовані на НВІС-реалізацію нейроелементи паралельно-вертикального типу, в яких завдяки узгодженню та суміщенню процесів паралельно-порозрядного надходження та опрацювання вхідних даних і вагових коефіцієнтів забезпечено високу ефективність використання обладнання.
6.  Вдосконалено метод синтезу нейромереж реального часу, який завдяки узгодженню інтенсивності надходження даних з обчислювальною здатністю апаратних засобів на всіх етапах опрацювання даних забезпечує створення апаратних нейромереж реального часу з високою ефективністю використання обладнання.
7.  Вдосконалено метод нейромережевого спектрального аналізу за допомогою реалізації обчислень з фіксованою комою та орієнтації його на НВІС-реалізацію, що забезпечило його апаратну реалізацію з високою ефективністю використання обладнання.
8.  Синтезовано на основі нейроелемента паралельно-вертикального типу з табличним формуванням макрочасткових результатів нейромережу реального часу для підвищення точності динамічного вимірювання відстані, що працює з тактом, який дорівнює часу зчитування з пам’яті та спрацьовування суматора, у якій використання вдосконаленого нейромережевого спектрального аналізу дало змогу зменшити похибку вимірювання у 2,4 рази.

Література
1.             Цмоць І.Г. Реалізація нейронного елемента на основі попередніх обчислень / І.Г. Цмоць, О.В. Скорохода, Б.І. Балич // Вісник Нац. ун-ту. «Львівська політехніка»: Комп’ютерні науки та інформаційні технології. – Львів, 2011. – № 710. – С. 11–18.
2.             Цмоць І.Г. Синтез високоефективних багатошарових перцептронів з неітераційним навчанням / І.Г. Цмоць, Р.О. Ткаченко, О.В. Скорохода // Вісник Нац. ун-ту. «Львівська політехніка»: Комп’ютерні науки та інформаційні технології. – Львів, 2009. – № 650. – С. 45–56.
3.             Цмоць І.Г. Принципи побудови та способи НВІС-реалізації нейромереж реального часу / І.Г. Цмоць, О.В. Скорохода, І.Є. Ваврук // Наук. вісник НЛТУ України: зб. наук.-техн. праць. – Львів: РВВ НЛТУ України, 2012. – Вип. 22.6. – C. 292–300.
4.             Скорохода О.В. Особливості реалізації нейромереж реального часу / О.В. Скорохода, І.Г. Цмоць, Б.І. Сенах // Науково-публіцистичний часопис «Технічні вісті». – Львів, 2011. – № 1(33)–2(34). – С. 28–30.
5.             Цмоць І.Г. Методи та НВІС-структури пристроїв паралельно-вертикального обчислення сум парних добутків / І.Г. Цмоць, Б.І. Балич, О.В. Скорохода // Відбір і обробка інформації. – Львів, 2011. – № 33 (109). – С. 109–116.
6.             Скорохода О.В. Засоби оцінювання параметрів динамічних об’єктів на основі нейромережевого сингулярного спектрального аналізу / O.B. Скорохода, Б.Р. Андрієцький, І.Г. Цмоць, Р.О. Ткаченко // Наук. вісник НЛТУ України: зб. наук.-техн. праць. – Львів: РВВ НЛТУ України, 2012. – Вип. 22.11. – C. 362–369.
7.             Цмоць І.Г. Модифікований метод та НВІС-структура пристрою групового підсумовування для нейроелемента / І.Г. Цмоць, О.В. Скорохода, Б.І. Балич // Вісник Нац. ун-ту «Львівська політехніка»: Комп’ютерні науки та інформаційні технології. – Львів, 2012. – № 732. – С. 51–57.
8.             Ткаченко Р.О. Програмно-апаратна реалізація багатошарового перцептрона з неітераційним навчанням на базі різницевого вертикального таблично-алгоритмічного методу / P.O. Ткаченко, І.Г. Цмоць, О.В. Скорохода, Б.І. Балич // Вісник Нац. ун-ту «Львівська політехніка»: Комп’ютерні науки та інформаційні технології. – Львів, 2010. – № 686. – С. 65–71.
9.             Цмоць І.Г. Інтегрований підхід до синтезу високоефективних апаратних засобів нейромережевих технологій реального часу / І.Г. Цмоць, Я.П. Кісь, О.В. Скорохода // Наук. вісник НЛТУ України: зб. наук.-техн. праць. – Львів: РВВ НЛТУ України, 2009. – Вип. 19.9. – C. 269–279.
10.         Пат. № 66138, Україна, МПК G06F 7/38. Пристрій для обчислення сум парних добутків: Патент на корисну модель / І.Г. Цмоць, О.В. Скорохода; заявник і патентовласник Національний університет «Львівська політехніка». – № u201106811; заявл. 30.05.2011; опубл. 26.12.2011, Бюл. № 24. – 8 с.
11.         Tsmots I. Methods and VLSI-structures for neural element implementation / I. Tsmots, O. Skorokhoda // Proc. of the VI International Scientific and Technical Conference «MEMSTECH’2010», Polyana, 20–23 April 2010. – Lviv, 2010. – P. 135.
12.         Скорохода О.В. Таблично-алгоритмічна реалізація штучних нейромереж / О.В. Скорохода, П.В. Романюк, О.Р. Якимів // Матеріали міжнародної наукової конференції «Інтелектуальні системи прийняття рішень та проблеми обчислювального інтелекту ISDMCI'2010», Євпаторія, 17–21 травня 2010 р. – Євпаторія, 2010. – Т. 1. – С. 398.
13.         Грицик В.В. Особливості технології нейрокомп'ютингу реального часу / B.В. Грицик, Р.О. Ткаченко, І.Г. Цмоць, О.В. Скорохода // Матеріали науково-технічної конференції «Обчислювальні методи і системи перетворення інформації», Львів, 7–8 жовтня 2010 р. – Львів, 2010. – С. 229–232.
14.         Skorokhoda O. Vertical-tabular implementation of neural element for the synthesis of multilayer perceptron with non-iterative learning / O. Skorokhoda, B. Balych, R. Tkachenko, I. Tsmots // Proc. of the V International Scientific and Technical Conference «CSIT’2010», Lviv, 14–16 October 2010. – Lviv, 2010. – P. 41.
15.         Tsmots I. Hardware implementation of the real time neural network components / I. Tsmots, O. Skorokhoda // Proc. of the VII International Scientific and Technical Conf. «MEMSTECH’2011», Polyana, 11–14 May 2011. – Lviv, 2011. – P. 124–126.
16.         Скорохода О.В. Вертикально-паралельний метод та структури для реалізації базових компонентів нейроелемента з використанням попередніх обчислень / О.В. Скорохода, І.Г. Цмоць, Я.П. Кісь // Матеріали міжнародної наукової конференції «Інтелектуальні системи прийняття рішень та проблеми обчислювального інтелекту ISDMCI’2011», Євпаторія, 16–20 травня 2011 р. – Євпаторія, 2011. – Т. 1. – С. 311–313.
17.         Skorokhoda O. Stages of FPGA-Based Neural Networks Construction / O. Skorokhoda, I. Tsmots // Proc. of the V International Scientific and Technical Conference «CSIT’2011», Lviv, 16–19 November 2011. – Lviv, 2011. – P. 28.
18.         Скорохода О.В. Методологія розробки апаратних нейромереж реального часу / О.В. Скорохода, І.Г. Цмоць, Р.О. Ткаченко // Матеріали міжнародної наукової конференції «Інтелектуальні системи прийняття рішень та проблеми обчислювального інтелекту ISDMCI’2012», Євпаторія, 27–31 травня 2012 р. – Євпаторія, 2012. – С. 415–416.
19.         Андрієцький Б.Р. Bикористання нейромережевого сингулярного спектрального аналізу в задачах оцінювання та прогнозування параметрів динамічних об’єктів / Б.Р. Андрієцький, О.В. Скорохода, І.Г. Цмоць // Збірник тез доповідей шостої міжнародної науково-технічної конференції «Фотоніка ОДС-2012», Вінниця, 1–4 жовтня 2012 р. – Вінниця, 2012. – С. 48.
20.         Haykin S. Neural networks and learning machines. Third Edition. / S. Haykin. – New York: Prentice Hall, 2009. – 936 p.
21.         Круглов В.В. Искусственные нейронные сети. Теория и практика. 2-е изд. / В.В. Круглов, В.В. Борисов. – М.: Горячая линия-Телеком, 2002. – 382 с.
22.         Галушкин А.И. Нейрокомпьютеры. Книга 3. / А.И. Галушкин. – М.: ИПРЖР, 2000. – 528 с.
23.         Тимощук П.В. Штучні нейронні мережі: навч. посібник / П.В. Тимощук. - Львів: Видавництво Львівської політехніки, 2011. - 444 с.
24.         Осовский С. Нейронные сети для обработки информации / С. Осовский; [пер. с польского]. – М.: Финансы и статистика, 2002. – 344 с.
25.         Рутковская Д. Нейронные сети, генетические алгоритмы и нечеткие системы / Д. Рутковская, Л. Пилиньский, Л. Рутковский. [пер. с польского]. – М.: Горячая линия-Телеком, 2007. – 452 с.
26.         Руденко О.Г., Бодянський Є.В. Штучні нейронні мережі / О.Г. Руденко, Є.В. Бодянський. – Харків: ТОВ «Компанія СМІТ», 2006. – 404 с.
27.         Applications of adaptive systems [Електронний ресурс]. – Режим доступу: http://www.peltarion.com/doc/index.php?title=Applications-of-adaptive-systems
28.         Nguyen N. Predicting housing value: a comparison of multiple regression analysis and artificial neural networks / N. Nguyen, A. Cripps // Journal of Real Estate Research. – 2001. – Vol. 22, Issue 3. – pp. 314–336.
29.         Литвиненко В.І. Методологія синтезу колективу радіально-базисних мереж для розв'язання задач класифікації за допомогою алгоритму клонального відбору / В.І. Литвиненко, А.О. Фефелов, О.О. Дідик // Наукові праці: Науково-методичний журнал. - Миколаїв: Вид-во ЧДУ ім. П. Могили, 2009. - Т.106, Вип. 93. - С. 114-126.
30.         Мисюрёв А.В. Использование искусственных нейронных сетей для распознавания рукопечатных символов / А.В. Мисюрёв // Интеллектуальные технологии ввода и обработки информации. – М.: Эдиториал УРСС, 1998. – 164 с.
31.         Su T.-J. Medical Image Noise Reduction Using Cellular Neural Networks / T.-J. Su, J.-W. Jhang // IIH-MSP '06 International Conference on Intelligent Information Hiding and Multimedia Signal Processing, December, 2006. – pp. 228–231.
32.         Bashir Z.A. Applying Wavelets to Short-Term Load Forecasting Using PSO-Based Neural Networks / Z.A. Bashir, M. E. El-Hawary // Power Systems. – 2009. – Vol. 24 , Issue 1. – pp. 20–27.
33.         Інформаційні критерії параметричної ідентифікації динамічних систем / О.І. Михальов, А.І. Гуда // Адапт. системи автомат. упр.: Міжвід. наук.-техн. зб. – 2003. – № 6. – С. 105-112.
34.         Анисимов А.А. Идентификация электромеханических систем с использованием искусственной нейронной сети / А.А. Анисимов, М.Н. Горячев // Вестник ИГЭУ. – 2008. – № 3. – С. 55–58.
35.         Aizenberg N.N. Extraction and localization of important features on gray-scale images: implementation on the CNN NN / Aizenberg N.N., Aizenberg I.N., Belikova T.P. // Proc. of the Third IEEE International Workshop on Cellular Neural Networks and their Applications (CNNA-94). - Rome, 1994. - P. 207-212.
36.         Dhar S. Performance evaluation of Neural Network approach in financial prediction: Evidence from Indian Market / S. Dhar, T. Mukherjee, A.K. Ghoshal // International Conference on Communication and Computational Intelligence (INCOCCI), December, 2010. – pp. 597–602.
37.         Huang S.Y. Unsupervised neural networks approach for understanding fraudulent financial reporting / S.Y. Huang, R.H. Tsaih, W.Y. Lin // Industrial Management & Data Systems. – 2012. – Vol. 112, Issue 2. – pp. 224–244.
38.         Bigné E. Mature market segmentation: a comparison of artificial neural networks and traditional methods / Bigné E., Aldas-Manzano J., Küster I., Vila N // Neural Computing and Applications. – 2010. – Vol. 19, Issue 1. – pp. 1–11.
39.         Angelini E. A neural network approach for credit risk evaluation / E. Angelini, G. Di Tollo, A. Roli // The Quarterly Review of Economics and Finance. – 2008. – Vol. 48, Issue 4. – pp. 733–755.
40.         Friesen D.D. A comparison of multiple regression and neural networks for forecasting real estate values / D.D. Friesen, M. Patterson, R. Harmel // Regional Business Review. – 2011. – Vol. 30. – pp. 114–136.
41.         Kelemenis A. Support managers’ selection using an extension of fuzzy TOPSIS / A. Kelemenis, K. Ergazakis, D. Askounis // Expert Systems with Applications. – 2011. – Vol. 38, Issue 3. – pp. 2774–2782.
42.         Irwin, George William, Kevin Warwick, and Kenneth J. Hunt, eds. "Neural network applications in control." Institution of Electrical Engineers, 1995.
43.         Fierro R. Control of a nonholonomic mobile robot using neural networks / R. Fierro, F.L. Lewis // Neural Networks, IEEE Transactions on. – 1998. – Vol. 9, Issue 4. – pp. 589–600.
44.         Walter J.A. Implementation of self-organizing neural networks for visuo-motor control of an industrial robot / J.A. Walter, K.I. Schulten // Neural Networks, IEEE Transactions on. – 1993. – Vol. 4, Issue 1. – pp. 86–96.
45.         Johnston S.P. An FPGA hardware/software co-design towards evolvable spiking neural networks for robotics application / S.P. Johnston, G. Prasad, L. Maguire, T.M. McGinnity // International journal of neural systems. – 2010. – Vol. 20, Issue 6. – pp. 447–461.
46.         Application of artificial neural networks for the prediction of performance and exhaust emissions in SI engine using ethanol-gasoline blends / M.K. Deh Kiani, B. Ghobadian, T. Tavakoli [et al.] // Energy. – 2010. Vol. 35, Issue 1. – pp. 65–69.
47.         Lucas C. Intelligent modeling and control of washing machine using locally linear neuro‐fuzzy (llnf) modeling and modified brain emotional learning based intelligent controller (BELBIC) / C. Lucas, R.M. Milasi, B.N. Araabi // Asian Journal of Control. – 2006. – Vol. 8, Isue 4. – pp. 393–400.
48.         Applications of Cellular Neural Networks to Noise Cancelation in Gray Images Based on Adaptive Particle-swarm Optimization / T.J. Su, J.C. Cheng, M.Y. Huang [et al.] // Circuits, Systems, and Signal Processing. – 2011. – Vol. 30, Issue 6. – pp. 1131–1148.
49.         Smart meter systems detection & classification using artificial neural networks / [T. Bier, D.O. Abdeslam, J. Merckle, D. Benyoucef] // “IECON 2012” - 38th Annual Conference on IEEE Industrial Electronics Society, October, 2012. – pp. 3324–3329.
50.         Köse E. The investigation of effects of digital proofing systems used in colour management on print quality with neural networks / E. Köse, T. Şahinbaşkan, I. Güler // Expert Systems with Applications. – 2009. – Vol. 36, Issue 1. – pp. 745–754.
51.         Go J. Interpolation using neural networks for digital still cameras / J. Go, K. Sohn, C. Lee // Consumer Electronics, IEEE Transactions on. – 2000. – Vol. 46, Issue 3. – pp. 610–616.
52.         Ince T. Evaluation of global and local training techniques over feed-forward neural network architecture spaces for computer-aided medical diagnosis / T. Ince, S. Kiranyaz, J. Pulkkinen, M. Gabbouj // Expert Systems with Applications. – 2010. – Vol. 37, Issue 12. – pp. 8450–8461.
53.         Lancashire L.J. An introduction to artificial neural networks in bioinformatics—application to complex microarray and mass spectrometry datasets in cancer studies // L.J. Lancashire, C. Lemetre, G.R. Ball // Briefings in bioinformatics. – 2009. – Vol. 10, Issue 3. – pp. 315–329.
54.         Edwards I. R. Adverse drug reactions: definitions, diagnosis, and management / I.R. Edwards, J.K. Aronson // The Lancet. – 2000. – Vol. 356 (9237). – pp. 1255–1259.
55.         Ripley B.D. Neural networks as statistical methods in survival analysis / B.D. Ripley, R.M. Ripley // Clinical applications of artificial neural networks. – 2001 – pp. 237–255.
56.         Куссуль Н.М. Виявлення аномальної діяльності користувачів комп'ютерних систем на основі нейромережного прогнозування / Н.М. Куссуль, О.М. Рєзнік, А.М. Соколов // Abstracts of International Conference “Prediction and Decision Making under Uncertainties”. - Київ, 2001. - С. 116-117
57.         Chen C.Y. The exploration of internet marketing strategy by search engine optimization: a critical review and comparison / C.Y. Chen, B.Y. Shih, Z.S. Chen, T.H. Chen // African Journal of Business Management. – 2011. Vol. 5, Issue 12. – pp. 4644–4649.
58.         Ripley B.D. Pattern recognition and neural networks / B.D. Ripley. – Cambridge university press, 2008. – 416 p.
59.         Neural network ensembles for video game AI using evolutionary multi-objective optimization / [T.G. Tan, J. Teo, P. Anthony et al.] // 11th International Conference on Hybrid Intelligent Systems (HIS), December, 2011. – pp. 605–610.
60.         McCulloch W.S. A logical calculus of the ideas immanent in nervous activity / W.S. McCulloch, W. Pitts // The Bulletin of Mathematical Biophysics. – Vol. 5, Issue 4. – pp. 115–133.
61.         ADALINE (Adaptive linear) [Електронний ресурс]. – Режим доступу: http://www.cs.utsa.edu/~bylander/cs4793/learnsc32.pdf
62.         Fukushima K. Cognitron: A self-organizing multilayered neural network / K Fukushima // Biological cybernetics. – 1975. – Vol. 20, Issue 3-4. – pp. 121–136.
63.         Hopfield, J.J. Neural networks and physical systems with emergent collective computational abilities / J.J. Hopfield // Proceedings of the national academy of sciences. – 1982. – Vol. 79, Issue 8. – pp. 2554–2558.
64.         Cao J. Boundedness and stability for Cohen–Grossberg neural network with time-varying delays / J. Cao, J. Liang // Journal of Mathematical Analysis and Applications. – 2004. – Vol 296, Issue 2. – pp. 665–685.
65.         Нейронные сети [Електронний ресурс]. – Режим доступу: http://www.statsoft.ru/home/textbook/modules/stneunet.html
66.         Rosenblatt F. Principles of neurodynamics: perceptrons and the theory of brain mechanisms / F. Rosenblatt. – Spartan Books, 1962. – 616 p.
67.         Chen S. Orthogonal least squares learning algorithm for radial basis function networks / S. Chen, C.F.N. Cowan, P.M. Grant // Neural Networks, IEEE Transactions on. – 1991. – Vol. 2, Issue 2. – pp. 302–309.
68.         Specht D.F. Probabilistic neural networks / D.F. Specht // Neural networks. – 1990. – Vol. 3, Issue 1. – pp. 109–118.
69.         Specht D.F. A general regression neural network / D.F. Specht // Neural Networks, IEEE Transactions on. – 1991. – Vol. 2, Issue 6. – pp. 568–576.
70.         Neighborhood behavior: a useful concept for validation of “molecular diversity” descriptors / D.E. Patterson, R.D. Cramer, A.M. Ferguson [et al.] // Journal of medicinal chemistry. – 1996. – Vol. 39, Issue 16. – pp. 3049–3059.
71.         Bishop C.M. Neural networks for pattern recognition / C.M. Bishop. Oxford university press, 1995. – 482 p.
72.         Kohonen T. The self-organizing map / T. Kohonen // Proceedings of the IEEE. – 1990. – Vol. 78, Issue 9. – pp. 1464–1480.
73.         Хайкин С. Нейронные сети: полный курс / С. Хайкин; [пер. с англ]. – М.: Вильямс, 2006. – 1104 с.
74.         Fausett L.V. Fundamentals of neural networks: architectures, algorithms, and applications / L.V. Fausett. – Englewood Cliffs: Prentice-Hall, 1994. – 461 p.
75.         Ткаченко Р.О. Нова парадигма штучних нейронних мереж прямого поширення / Р.О. Ткаченко // Вісник Державного університету “Львівська політехніка”: Комп’ютерна інженерія та інформаційні технології. – 1999. –№ 386. – С. 43–54.
76.         Ткаченко Р.О. Моделювання методами нейронних мереж: навч.-метод. посібник / Р.О. Ткаченко, П.Р. Ткаченко, Н.О. Мельник. – Львів: ЛІБС УБС НБУ, 2010. – 114 с.
77.         Ткаченко Р.О. Неітераційне навчання нейронних мереж прямого поширення / Р.О. Ткаченко, І.Ю. Юрчак, Ю.В. Цимбал // Вісник Державного університету “Львівська політехніка”: Комп’ютерна інженерія та інформаційні технології. – Львів. – 1999. – № 380. – С. 109–115.
78.         Байков В.Д. Специализированные процессоры: Интегральные алгоритмы и структуры / В.Д. Байков, В.Б. Смолов. – М.: Радио и связи, 1985. – 288 с.
79.         СуперЭВМ. Аппаратная и программная организация / под ред. С. Фернбаха; [пер. с англ]. – М.: Радио и связь, 1991. – 320 с.
80.         Кун С. Матричные процессоры на СБИС / С. Кун. – М.: Мир, 1991. – 672 с.
81.         Параллельная обработка информации: Т.4. Высокопроизводительные системы параллельной обработки информации / под ред. В.В. Грицыка. – Киев: Наук. думка, 1988. – 272 с.
82.         Мельник А.А. Процессоры обработки сигналов / А.А. Мельник. – Львов, 1989. – 63 с. – (Препринт / АН УССР, ИППММ; 29-89).
83.         Цмоць І.Г. Особливості проектування спеціалізованих комп’ютерних систем для обробки інтенсивних потоків даних / І.Г. Цмоць // Збірник наукових праць. Моделювання та інформаційні технології. – 1999. – Випуск 4. – С. 113–118.
84.         Корнеев В.В. Современные микропроцессоры. 3-е изд. / В.В. Корнеев, А.В. Киселев. – СПб.: БХВ-Петербург, 2003. – 448 с.
85.         Комарцова Л.Г. Нейрокомпьютеры: учеб. пособие для вузов / Л.Г. Комарцова, А.В. Максимов. – М.: Изд-во им. Н.Э.Баумана, 2004. – 400 с.
86.         An electrically trainable artificial neural network (ETANN) with 10240 ‘‘floatinggate’’ synapses / [M. Holler, S. Tam, H. Castro, R. Benson] // IEEE International Joint. Conference on Neural Networks, 1989. – Vol. 2. – pp. 191–196.
87.         Misra J. Artificial neural networks in hardware: A survey of two decades of progress / J. Misra, I. Saha // Neurocomputing. – 2010. – Vol. 74, Issue 1. – pp. 239–255.
88.         Hammerstrom D. A VLSI architecture for high-performance, low-cost, on-chip learning / D. Hammerstrom // Proceedings of the International Joint Conference on Neural Networks, SanDiego, CA, 1990. – pp. 537–544.
89.         Parallel FPGA implementation of self-organizing maps / [K. Ben Khalifa, B. Girau, F. Alexandre, M.H. Bedoui] // ICM Proceedings. The 16th International Conference on Microelectronics/ – 2004. – pp. 709–712.
90.         Artificial neural network implementation on a single FPGA of a pipelined on-line back-propagation / [R. Gadea, J. Cerda, F. Ballester, A. Macholi] // Proceedings of the 13th International Symposium on System Synthesis. – 2000. – pp. 225–230.
91.         Зотов. В. Особенности архитектуры нового поколения ПЛИС с архитектурой FPGA фирмы Xilinx / В. Зотов // Компоненты и технологии. – 2010. – № 12. – С. 17–24.
92.         Грушвицкнй Р.И. Проектирование систем на микросхемах программируемой логики / Р.И. Грушвицкнй, А.Х. Мурсаев, Е.П. Угрюмов. – СПб.: БХВ-Петербург, 2002. – 608 с.
93.         Accelerating Integer Neural Networks On Low Cost DSPs / [T. Behan, Z. Liao, L. Zhao, Ch. Yang] // World Academy of Science, Engineering and Technology. – 2008. – Vol. 24 – pp. 439–442.
94.         Singh K. Video Framework Considerations for Image Processing on Blackfin Processors / K. Singh, R. Babu // ADI Engineer to Engineer Note. – Rev 1. – September 8, 2005. – pp. 1–6.
95.         Delong P. Face Detection by DSP Using Directly Connected Camera / P. Delong, B. Polikarpov, M. Krumnikl // 17th International Conference “Radioelektronika 2007”, April, 2007. – pp. 1–3.
96.         Охрименко В. Blackfin – сигнальные процессоры для встраиваемых приложений / В. Охрименко // Электронные компоненты. – 2005. – № 7. – С. 16–23.
97.         Kaminski M. Comparison of DSP and FPGA realization of neural speed estimator for 2-mass system / M. Kaminski, T. Orlowska-Kowalska // IEEE International Symposium on Industrial Electronics (ISIE), June, 2011. – pp. 1543–1548.
98.         Искусственная нейронная сеть [Електронний ресурс]. – Режим доступу: http://ru.wikipedia.org/wiki/искусственная_нейронная_сеть.
99.         Буй Т.Т. Алгоритмическое и программное обеспечение для классификации цифровых изображений с помощью вейвлет-пребразования Хаара и нейронных сетей / Т.Т. Буй, Н.Х. Фан, В.Г. Спицын // Известия ТПУ. – 2011. – №5. – C. 103–106.
100.     Цмоць І.Г. Інформаційні технології та спеціалізовані засоби обробки сигналів і зображень у реальному часі / І.Г. Цмоць. – Львів: УАД, 2005. – 227 с.
101.     Рабинович З.Л. Типовые операции в вычислительных машинах / З.Л. Рабинович, В.А. Раманаускас. – К.: Техніка, 1980, –240 с.
102.     Минский М. Персептроны / М. Минский, С. Пейперт. – М.: Мир, 1971. – 266 с.
103.     Боюн В.П. Высокопроизводительные средства обработки информации для систем реального времени / В.П. Боюн, Л.Г. Козлов. – К.: Знание, 1985. – 163 с.
104.     Боюн В.П. Управляющая вычислительная техника и системы реального времени в Украине. Состояние, проблемы, перспективы / В.П. Боюн // УСиМ. – 1998. – №4. – С. 64–67.
105.     Мельник А.О. Сучасні ситуативно-методологічні аспекти створення спеціалізованих комп’ютерних систем / А.О. Мельник, В.П. Тарасенко // Наукові вісті. Національний технічний університет КПІ. – 1997. – №1. – С. 18–21.
106.     Палагин А. Реконфигурируемые вычислительные системы / А. Палагин, В. Опанасенко. – К.: Просвіта, 2006. – 280 с.
107.     Воеводин В.В. Параллельные вычисления / В. Воеводин, Вл. Воеводин. – СПб.: БХВ-Петербург, 2002. – 608 с.
108.     Батюк А.Є. Методи синтезу спеціалізованих обчислювальних систем для розв’язання задач у реальному часі / А.Є. Батюк, І.Г. Цмоць // Інформаційні технології і системи. – 1999. – Т. 2, № 1. – С. 155–161.
109.     Введение в кибернетическую технику. Параллельные структуры и методы / [Малиновский Б.Н., Боюн В.П., Козлов Л.Г.; отв. ред. Палагин А.В.]. – К.: Наук. думка, 1989. – 248 с.
110.     Цмоць І.Г. Принципи розробки і оцінка основних характеристик високопродуктивних процесорів на надвеликих інтегральних схемах / І.Г. Цмоць // Вісник Державного університету “Львівська політехніка”: Комп’ютерна інженерія та інформаційні технології. – Львів, 1998. – № 349. – С. 5–