Дехтяренко Олексій Костянтинович. Розробка і дослідження методів побудови неповнозв'язних асоціативних нейронних мереж

brief description

Дехтяренко Олексій Костянтинович. Розробка і дослідження методів побудови неповнозв'язних асоціативних нейронних мереж : Дис... канд. наук: 05.13.23 2006

Дехтяренко О.К. Неповнозв’язні асоціативні нейронні мережі. Рукопис.
Дисертація на здобуття наукового ступеня кандидата технічних наук за спеціальністю 05.13.23 Системи і засоби штучного інтелекту. Інститут проблем математичних машин і систем НАН України, Київ, 2006.
Дисертаційна робота присвячена розробці методів побудови асоціативної пам’яті на базі неповнозв’язних нейронних мереж Хопфилда. В роботі розглядаються методи навчання, які максимізують асоціативні якості мереж за умови певних архітектурних обмежень.
Запропоновано і досліджено вдосконалення псевдоінверсного методу навчання мереж із заданою архітектурою, яке дозволило позбутися нестабільності обчислень та підвищити ємність пам’яті. Отримані теоретичні оцінки атракторних якостей і характеристик вагових матриць для неповнозв’язних мереж. Запропоновано метод побудови мереж з адаптивною архітектурою, що залежить від даних, які зберігаються в мережі. Виявлено і піддано теоретичному і експериментальному аналізу явище фазового переходу в асоціативний стан для мереж з адаптивною архітектурою. Запропоновано новий спосіб побудови асоціативної нейронної мережі з архітектурою «тісного світу», який покращив асоціативні якості мережі при збереженні відомих переваг цієї моделі.
Створено алгоритмічне та програмне забезпечення, що реалізує розроблені в роботі методи побудови неповнозв’язних асоціативних нейронних мереж. Ефективність розроблених моделей продемонстровано на прикладі задачі розпізнавання хімічних образів.

Результатом дисертаційної роботи є розробка нових методів побудови асоціативної пам’яті на базі неповнозв’язних нейронних мереж типу Хопфілда. Ці методи охоплюють як етап побудови архітектури мережі, так і етап знаходження ваги міжнейронних зв’язків, дозволяючи збільшити ємність пам’яті моделей ННАП при обмеженнях на густину зв’язків або на густину і загальну протяжність зв’язків. У практичному плані використання одержаних в роботі результатів дозволяє підвищити ефективність роботи неповнозв’язних асоціативних нейромереж; дозволяє моделювання і апаратну побудову мереж з більшою кількістю нейронів; може бути використаним для моделювання асоціативної поведінки неповнозв’язних структур нейронів мозку.
Головні наукові та практичні результати:

Для моделі ННАП з фіксованою архітектурою запропонована модифікація псевдоінверсного алгоритму навчання, яка полягає у відмові від процедури симетризації, тим самим дозволяючи поліпшити асоціативні якості мережі (збільшити обсяг пам’яті в 2-3 рази) і будувати мережі з несиметричними архітектурами.
Вперше отримані теоретичні оцінки для асоціативних властивостей і характеристик вагової матриці (значення сліду, ступінь виродження) ННАП з проекційним і псевдоінверсним алгоритмами навчання.
Розроблено методику побудови мережі з адаптивною архітектурою, що дозволило збільшити ємність пам’яті ННАП в 2-4 рази у порівнянні з мережею з фіксованою архітектурою.
Виявлено і досліджено явище фазового переходу в мережах ННАП з адаптивною архітектурою, яке проявляється в різкому виникненні асоціативних властивостей мережі при малих змінах в її архітектурі.
Отримала подальшого розвитку модель ННАП з архітектурою «тісного світу», що дозволило покращити асоціативні якості відповідної мережі в 3-10 разів при збереженні всіх відомих переваг даної архітектури.
Розроблено підсистему мереж асоціативної пам’яті програмного нейрокомп’ютера NeuroLand, яка включає як одномодульні, так і багатомодульні мережі.
Створено алгоритмічну бібліотеку неповнозв’язних мереж з розвиненими засобами тестування й аналізу.
Експериментально показані можливість застосування і переваги моделей ННАП на прикладі задачі класифікації сигналів сенсорів запаху (система типу «Електронний ніс»).