Винокурова Олена Анатоліївна. Прогнозування та емуляція нестаціонарних послідовностей за допомогою штучних вейвлет-нейронних мереж

brief description

Винокурова Олена Анатоліївна. Прогнозування та емуляція нестаціонарних послідовностей за допомогою штучних вейвлет-нейронних мереж: дис... канд. техн. наук: 05.13.23 / Харківський національний ун-т радіоелектроніки. - Х., 2005

Винокурова О. А. Прогнозування та емуляція нестаціонарних послідовностей за допомогою штучних вейвлет-нейронних мереж. Рукопис.
Дисертація на здобуття наукового ступеня кандидата технічних наук за спеціальністю 05.13.23 системи та засоби штучного інтелекту. Харківський національний університет радіоелектроніки, Харків, 2005.
Дисертацію присвячено розробці інтелектуальних методів прогнозування та емуляції нестаціонарних послідовностей за умов апріорної та поточної невизначеності в реальному часі за допомогою штучних вейвлет-нейронних мереж. Розглянуто існуючі моделі нейронних мереж для вирішення задач прогнозування та емуляції та сформульовано їх недоліки. Модифіковано архітектуру гібридної вейвлет-нейронної мережі для вирішення задач прогнозування та емуляції. Запропоновано адаптивну модифікацію методу стохастичної апроксимації та методу одночасної дії за стаціонарних і нестаціонарних умов навчання, що відрізняються швидкодією та невисокою обчислювальною складністю. Уперше запропоновано генератори аналітичних парних і непарних вейвлетів, які дозволяють одержувати різні види вейвлетів і можливість настроювання їх параметрів при навчанні нейронних мереж. Розроблено архітектуру вейвлет-нейрона для рішення задачі прогнозування. Запропоновано новий оптимальний за швидкодією метод навчання вейвлет-нейрона на основі градієнтних методів зі згладжуванням, який відрізняється тим, що забезпечує настроювання в реальному часі не тільки синаптичних ваг, але й параметрів розтягання й зсуву дочірніх вейвлетів. Уперше запропоновано метод навчання на точках повороту вейвлет-нейрона на основі оптимізації гібридного критерію якості, що дозволяє не тільки мінімізувати квадратичну похибку прогнозу, а й ефект зсуву, що є істотним у вирішенні задач прогнозування нестаціонарних сигналів. Запропоновано метод навчання на основі алгоритмів еволюційного планування, що відрізняється швидкодією й обчислювальною простотою та має захист від «застрягання» у локальних мінімумах за рахунок введення випадкового блукання в сполученні із самонавчанням. Розроблено пакет програм для моделювання роботи розроблених спеціалізованих гібридних вейвлет-нейромережевих моделей та їх методів навчання.

В дисертаційній роботі представлені результати, які у відповідності з поставленою метою є вирішенням актуальної задачі розробки ефективних методів прогнозування та емуляції нестаціонарних послідовностей за умов апріорної та поточної невизначеності в реальному часі, що основані на використанні апарату гібридних вейвлет-нейронних мереж. Отримані результати мають важливе наукове і практичне значення для створення ефективних систем прогнозування, емуляції і діагностики як вже функціонуючих, так і знов створених об’єктів. Проведені дослідження дозволили зробити такі висновки.
1. У результаті аналізу сучасного стану проблеми прогнозування та емуляції нестаціонарних процесів за умов апріорної та поточної невизначеності відзначено ряд недоліків відомих стандартних і вейвлет-нейромережевих систем, які знижують ефективність їх застосування. Так, відомі вейвлет-нейромережеві системи прогнозування та емуляції, що побудовані на архітектурі багатошарового персептрону, мають громіздку структуру. Крім того, методи навчання на основі зворотного поширення похибки, що традиційно використовуються, мають низьку швидкість збіжності та неефективні при роботі у реальному часі, а процедури емуляції на основі рекурентного методу найменших квадратів або не мають адаптивних властивостей, або нестійкі при роботі в реальному часі. В цьому випадку доцільною є розробка методів прогнозування та емуляції на основі гібридних вейвлет-нейромережевих моделей, які мають переваги за рахунок кратномасштабних властивостей вейвлет-активаційних функцій. Це й обумовило вибір напрямку досліджень, формулювання мети та задач дисертаційної роботи.
2. Модифіковано архітектуру гібридної вейвлет-нейронної мережі для вирішення задач прогнозування та емуляції, яка відрізняється обчислювальною простотою й зручністю реалізації за рахунок переваг вейвлет-активаційних функцій, що дозволяє використати її для вирішення задач у реальному часі.
3. Запропоновано адаптивну модифікацію методу стохастичної апроксимації та методу одночасної дії в стаціонарних і нестаціонарних умовах навчання, що відрізняються швидкодією й невисокою обчислювальною складністю. Запропоновані методи навчання гібридної вейвлет-нейронної мережі призначені для настроювання синаптичних ваг за умов нестаціонарності та збуреності оброблюваних сигналів, мають фільтруючі та слідкуючі властивості, прості щодо реалізації та стійкі за будь-яких значень параметра забування. Показано, що варіювання величини пам'яті дозволяє домогтися необхідного компромісу між слідкуючими і фільтруючими властивостями запропонованих методів. Досліджено збіжність методів навчання.
4. Розглянуто та проаналізовано існуючі вейвлет-активаційні функції. Уперше запропоновано генератори аналітичних парних і непарних вейвлетів, які дозволяють одержувати різні види вейвлетів і можливість настроювання їх параметрів при навчанні нейронних мереж. Проведено імітаційне моделювання запропонованих генераторів і показано, що за їх допомогою може бути реалізований широкий спектр можливих вейвлетів.
5. Розроблено архітектуру вейвлет-нейрона для вирішення задачі прогнозування, що відрізняється обчислювальною простотою й зручністю реалізації. Вейвлет-нейрон може використовуватися як самостійно, так й у складі штучних нейронних мереж.
6. Запропоновано новий оптимальний за швидкодією метод навчання вейвлет-нейрона на основі градієнтних методів зі згладжуванням, який відрізняється тим, що забезпечує настроювання в реальному часі не тільки синаптичних ваг, але й параметрів розтягання й зсуву дочірніх вейвлетів. Метод має як слідкуючі так і згладжуючі властивості та характеризується високою швидкістю збіжності в порівнянні з відомою процедурою зворотного поширення помилок на основі методу найшвидшого спуска й меншою обчислювальною складністю в порівнянні з відомими процедурами нелінійної оптимізації другого порядку.
7. Уперше запропоновано метод навчання на точках повороту вейвлет-нейрона на основі оптимізації гібридного критерію якості, що дозволяє мінімізувати не тільки квадратичну похибку прогнозу, а й ефект зсуву, що є істотним у вирішенні задач прогнозування нестаціонарних сигналів.
8. Запропоновано метод навчання на основі алгоритмів еволюційного планування, що відрізняється швидкодією й обчислювальною простотою та має захист від «застрягання» у локальних мінімумах за рахунок введення випадкового блукання в сполученні із самонавчанням.
9. Проведено імітаційне моделювання розроблених структур і методів навчання гібридних вейвлет-нейромережевих моделей. Показано їх переваги перед відомими архітектурами і методами навчання як за точністю, так і за швидкодією в задачах емуляції та прогнозування нестаціонарних послідовностей за умов апріорної та поточної невизначеності. Вирішено практичну задачу прогнозування часового ряду погодинного енергоспоживання.
10. Вирішено практичну задачу аналізу нестаціонарних біологічних процесів, що відбуваються в період гібернації теплокровних тварин (а саме пацюків-самців Ratus Norvegius Vistar) і задачу аналізу нестаціонарних біологічних процесів, що відбуваються у період зимової сплячки ховрашка Citellius Mayor. Аналіз отриманих результатів дозволяє сподіватися, що розроблений у дисертації підхід буде ефективним при отриманні механізмів функціонування центральної нервової системи та інших органів людини і тварин за екстремальних умов, зокрема, при зниженні температури, що має велике значення для експериментальної біології та медицини у зв’язку з розвитком методів лікування, що використовують штучне охолодження організму.
11. Результати досліджень впроваджено в процесі виконання договору про наукове співробітництво між Інститутом проблем кріобіології і кріомедицини НАН України і Харківським національним університетом радіоелектроніки №01-01, що підтверджено відповідним актом про впровадження. Наукові положення, висновки і рекомендації, які викладенні в дисертації, були використанні при підготовці і читанні курсу «Нейронні мережі та еволюційні алгоритми навчання. Методи пошуку і оптимізації» у 2003/2004 навчальному році та «Штучні нейронні мережі: архітектури, навчання і застосування» у 2004/2005 навчальному році на кафедрі штучного інтелекту Харківського національного університету радіоелектроніки, що підтверджено відповідним актом впровадження в навчальний процес.
12. Розроблені в дисертаційній роботі методи і моделі можуть бути використанні для прогнозування та емуляції широкого класу нестаціонарних динамічних стохастичних послідовностей і об’єктів за умов апріорної та поточної невизначеності щодо їх структури і параметрів.