Прогнозування нестаціонарних часових рядів на основі ШТУЧНИХ нейронних мереж з елементами часової затримки : Прогнозирование нестационарных временных рядов на основе ИСКУССТВЕННЫХ нейронных сетей с элементами временной задержки



  • Название:
  • Прогнозування нестаціонарних часових рядів на основі ШТУЧНИХ нейронних мереж з елементами часової затримки
  • Альтернативное название:
  • Прогнозирование нестационарных временных рядов на основе ИСКУССТВЕННЫХ нейронных сетей с элементами временной задержки
  • Кол-во страниц:
  • 171
  • ВУЗ:
  • Харківський національний універсітет радіоелектроніки
  • Год защиты:
  • 2013
  • Краткое описание:
  • Міністерство освіти і науки, молоді та спорту України


     


    Харківський національний універсітет радіоелектроніки


     


     


     


    Чепенко Тетяна Євгеніївна


     


    УДК 004.032.26


     


     


     


    Прогнозування нестаціонарних часових рядів


    на основі ШТУЧНИХ нейронних мереж


    з елементами часової затримки


     


     


    05.13.23 – системи та засоби штучного інтелекту


     


     


     


     


    дисертація на здобуття наукового ступеня
    кандидата технічних наук


     


     


     


     


     


    Харків – 2013










     СОДЕРЖАНИЕ


     


































































































































































    Введение…………………………………………………………………….....



    4



    Раздел 1. Обзор состояния проблемы и постановка задачи исследования………………………………………………………………...



     


    10



    1.1. Методы регрессионного анализа……………………………………….



    10



    1.2. Методы оценивания параметров систем одновременных уравнений..


    1.3. Задачи нелинейной настройки систем…….…………………………...



    20


    27



    1.4. Нелинейные методы оптимизации……………………………...……...



    32



    1.5. Нейросетевые методы прогнозирования………...……...……………..



    35



    1.6. Постановка задачи исследования……………………………...……….



    37



    Выводы по разделу 1…………………………………………………………



    39



    Раздел 2. Адаптивное прогнозирование нестационарных временных рядов………………………………………………………………………….



     


    40



    2.1. Адаптивное прогнозирование и настройка динамических нелинейных систем………………………………...………………………...



     


    40



    2.2. Адаптивные градиентные процедуры………………………………….



    51



    2.3. Быстрые адаптивные процедуры……………………………………….



    57



    2.4. Блочная адаптивная фильтрация……………………………………….



    65



    2.5. Адаптивные методы прогнозирования многомерных рядов…………



    70



    Выводы по разделу 2…………………………………………………………



    74



    Раздел 3. Прогнозирующие искусственные нейронные сети ………...



    75



    3.1. Исследование многослойной искусственной нейронной сети ………


    3.2. Построение линейной прогнозирующей модели искусственной нейронной сети……………………………………………………………….



    75


     


    80



    3.3. Метод обучения искусственной нейронной сети на основе минимизации робастного критерия оценивания Вэлша…………………...



     


    84



    Выводы по разделу 3…………………………………………………………



    98



    Раздел 4. Методы обучения прогнозирующих искусственных нейронных сетей на динамических нейронах и
    нейронах-фильтрах…………………………………………………………



     


     


    99



    4.1. Методы адаптивной фильтрации в задачах прогнозирования.............



    99



    4.1.1. Прогнозирующая искусственная нейронная сеть с прямой передачей информации.……………………………………………………..



     


    101



    4.1.2. Динамическая модель нейрона…………………………………



    103



    4.1.3. Метод обучения нейронной сети на динамических нейронах……………………………………………………..…..…..…..…....



     


    105



    4.2. Рекурсивная адаптивная фильтрация…………………………………..



    112



    4.2.1. Локально-рекуррентная нейронная сеть..………………………..



    114



    4.2.2. Динамическая модель нейрона-фильтра………………………



    116



    4.2.3. Метод обучения нейронной сети на
    нейронах-фильтрах…………………………………………………………...



     


    120



    Выводы по разделу 4…………………………………………………………



    125



    Раздел 5. Результаты имитационного моделирования и решение практической задачи……………………………………………………….



     


    126



    5.1. Имитационное моделирование работы нейронных сетей ……………



    126



     Имитационное моделирование линейных методов прогнозирования многомерных временных рядов………………………...



     


    131



    5.1.2. Имитационное моделирование методов прогнозирования на основе искусственной нейронной сети с динамическими нейронами…………………………………………………………………….



     


     


    134



    5.1.3. Имитационное моделирование методов прогнозирования на основе искусственной нейронной сети с
    нейронами-фильтрами………………………………………………………



     


     


    138



    5.2. Практическое использование разработанных методов обучения искусственных нейронных сетей…………………………………………...



     


    140



    Выводы по разделу 5…………………………………………………………



    152



    Заключение…………………………………………………………………..



    153



    Список использованных источников…………………………………….



    156



    Приложение А. Акты о внедрении………………………………………..



    167














    ВВЕДЕНИЕ


     


    Актуальность темы. В теории и практике технических, экономических, медико-биологических исследований часто возникает задача прогнозирования временных рядов различных показателей. Традиционные подходы к этой задаче базируются, как правило, на гипотезе стационарности прогнозируемых последовательностей и линейности описывающих их моделей и требуют больших объемов априорной информации. Учитывая различные факторы, определяющие поведение сложных систем, такие как, нестационарность, высокий уровень априорной и текущей неопределённости, нелинейность, непредсказуемые «скачки» в показателях, традиционные подходы могут оказаться неэффективными. Альтернативой могут быть методы нейросетевого прогнозирования. Сложность использования нейросетевых моделей определяется тем, что, во-первых, модели многосвязных систем могут иметь специфические формы (например структурные и приведенные), а
    во-вторых, обучение нейросетей требует больших обучающих выборок и достаточно много времени.


    Эти обстоятельства требуют исследования архитектур нейронних сетей с элементами внешней и внутренней задержки, предназначенных для прогнозирования рядов показателей, описывающих поведение реальных систем и разработки методов их обучения.


    Проблемами нейросетевого прогнозирования успешно занимаются ученые E.A.Wan, A.D. Back, A.C. Tsoi, K. S. Narendra, K. Parthasarathy, D. T Pham., X Liu, T. Masters, H. Braun, J. Feulner, R. Malaka, A. Beltratti, S. Margarita., P. Terna, R. Zbikowski, K. J. Hunt, J. S. Zirilli, J. Kingdom.


    Связь работы с научными программами, планами, темами. Диссертационная работа выполнена в рамках госбюджетных тем НИР № 132 «Разработка теоретических основ и математического обеспечения нейро-фаззи систем ранней диагностики, прогнозирования и моделирования в условиях априорной и текущей неопределенности» (№ ГР 0101U001762), № 177 «Интеллектуальный анализ и обработка данных в реальном времени на основе средств вычислительного интеллекта» (№ ГР 0104U003432), № 214 «Синтез методов обработки информации в условиях неопределенности на основе самообучения и мягких вычислений» (№ ГР 0107U003028), № 245 «Эволюционные гибридные системы вычислительного интеллекта со сменной структурой для интеллектуального анализа данных» (№ ГР 0110U000458), которые выполнены согласно приказам Министерства образования и науки, молодежи и спорта Украины по результатам конкурсного отбора проектов научных исследований.


    Цели и задачи исследования. Целью работы является разработка методов обучения прогнозирующих нейронных сетей с элементами временной задержки, предназначенных для прогнозирования нестационарных стохастических рядов показателей, которые отличаются повышенным быстродействием и сглаживающими свойствами и могут быть использованы для моделирования и прогнозирования поведения сложных многосвязных систем в условиях нестационарности и текущей неопре­деленности относительно их структуры и параметров.


    Для достижения поставленной цели решаются следующие задачи:


     обоснование возможности применения методов адаптивной настройки динамических систем, а также методов обучения искусственных нейронных сетей в задачах прогнозирования и моделирования;


     разработка архитектуры искусственной нейронной сети c прямой передачей информации, облададающей робастными свойствами в условиях возмущений с неизвестным распределением;


     разработка метода обучения искусственной нейронной сети, c прямой передачей информации для использования в режиме реального времени;


     разработка методов обучения искусственных нейронных сетей c элементами временной задержки, предназначенных для моделирования и прогнозирования сложных систем;


     практическое применение предложенных архитектур и методов обучения искусственных нейронных сетей для моделирования и прогнозирования поведения сложных систем.


    Объект исследованиянелинейные процессы, описываемые нестационарными стохастическими временными последовательностями.


    Предмет исследованияпрогнозирующие нейронные сети с элементами временной задержки и методы прогнозирования нестационарных временных последовательностей.


    Методы исследования методы идентификации систем, линейная алгебра, теория вероятностей, методы математической статистики и эконометрии для разработки и исследования предложенных методов обучения; аппарат искусственных нейронных сетей для исследования прогнозирующих нейронных сетей с элементами временной задержки; имитационное моделирование – для подтверждения достоверности полученных результатов.


    Научная новизна полученных результатов:


    1.      Впервые предложен метод обучения прогнозирующих рекуррентных нейронных сетей на динамических нейронах с конечной импульсной характеристикой, который характеризуется повышенными сглаживающими свойствами и быстродействием, что позволяет использование в режиме реального времени.


    2.      Впервые предложен метод обучения прогнозирующих рекуррентных нейронных сетей на динамических нейронах-фильтрах с бесконечной импульсной характеристикой, который характеризуется высокой скоростью сходимости благодаря оптимальному выбору шага поиска, что позволяет повысить стабильность при обработке «зашумленных» данных.


    3.      Усовершенствована архитектура искусственной нейронной сети с прямой передачей информации, отличающаяся робастными свойствами в условиях возмущений с неизвестным распределением благодаря организации дополнительного слоя, который осуществляет сглаживание полученных оценок, что дает возможность использования в условиях дефицита информации о стохастических свойствах полезных сигналов и помех.


    4.      Усовершенствован метод обучения искусственной нейронной сети с прямой передачей информации на основе минимизации робастного критерия оценивания Вэлша, который отличается вычислительной простотой, что дает возможность использования в режиме реального времени и работы в условиях негауссовских помех.


    Практическое значение полученных результатов. Разрабо­танные в диссертационной работе методы обучения прогнозирующих нейронных сетей и усовершенствованная нейросеть могут быть использованы в различных отраслях, в которых данные представлены в числовой форме в виде временных рядов и поступают на вход системы в пакетном или последовательном режиме в условиях нестационарности и текущей неопределенности.


    Предложеные в работе методы обучения, основанные на нейросетевых методах для нейронных сетей с элементами внешней и внутренней задержки, доведены до программной реализации и реализованы на базе открытого программного пакета прикладных математических программ. Разработанные методы подтвердили свою эффективность при решении зада­чи построения прогноза в режиме реального времени для системы охранной сигнализации, что является важным для обработки предоставленной информации, анализа и прогнозирования поведения подконтрольных объектов. Результа­ты исследований внедрены в рамках договора о научном сотрудничестве между Харьковским представительством государственного закрытого акционерного общества (ХП ГЗАО) «Охрана-Комплекс» и Харьковским национальным университетом радиоэлектроники, что подтверждено справкой об использовании программного средства от 05.01.2005 и в подразделении Государственной службы охраны г. Харькова, что под­тверждено актом внедрения от 2.04.2012 г. Научные положения, выводы и рекомендации, изложенные в дисертации были использованы при подготовке курса «Искусственные нейронные сети: архитектура, обучение и применение», который преподается студентам специальности «Системы искусственного интеллекта» Харьковского национального университета радиоэлектроники, что подтверждается актом внедрения от 2.04.2012 г., а также в
    научно-исследовательских работах Харьковского национального университета радиоэлектроники, что подтверждается актом внедрения от 3.04.2012 г.


    Личный вклад соискателя. Основные положения и результаты диссертационной работы, получены автором самостоятельно. В работах, написанных с соавторами, автору принадлежат: [65] процедура настройки параметров фильтра, в [66] градиентная процедура настройки фильтра, в [67] – метод оценивания параметров объекта с помощью адаптивной процедуры обучения модели, в [68] выбор процедуры обучения комбинированной искусственной нейронной сети, в [70] процедура обучения прогнозирующей модели на основе градиентной процедуры минимизации, [74] одношаговая адаптивная процедура обучения прогнозирующей модели, в [78] – процедура обучения искусственной нейронной сети, в [86] усовершенствованная нейронная сеть и усовершенствованный метод обучения нейронной сети, в
    [99]
    метод обучения нейронной сети на динамических нейронах, в [109] метод обучения искусственной нейронной сети, построенной на
    нейронах-фильтрах, в [112] – реализация процедуры настройки синаптических весов нейронных сетей, [115] – процедура настройки синаптических весов нейронных сетей.


    Апробация результатов диссертации. Результаты работы работы докладывались и обговаривались на таких конференциях и форумах: 6-й – 9-й Международных конференциях "Теория и техника передачи, приема и обработки информации" (Харьков 2000 – 2002, Харьков Туапсе 2003), Международной конференции "Автоматика 2001" (Одесса, 2001), 1-м Международном радиоэлектронном форуме "Прикладная радиоэлектроника. Состояние и перспективы" (Харьков, 2002), 6-м, 7-м и 13-м Международном молодежном форуме "Радиоэлектроника и молодежь в XXI веке" (Харьков, 2002, 2003, 2009). Международной научно-практической конференции "Научные исследования современности (Киев, 2011), 6-й научно-практической конференции с международным участием "Математическое и имитационное моделирование систем. МОДС '2011" (Чернигов, 2011).


    Публикации. Результаты выполненных исследований опубликованы в 17 научных работах, в том числе 6 статьях, из них 5 в специализированных журналах Украины по техническим наукам, а также в сборниках докладов научных конференций и форумов.


    Структура и объем диссертации. Диссертационная работа состоит из введения, пяти разделов, выводов, списка использованных источников и приложения. Общий объем диссертации составляет 171 страницу (из них 146 страниц основного текста), включает 35 рисунков, из которых 24 рисунка на 14 отдельных страницах, приложение на 4 страницах, список использованных источников включает 117 наименований на 11 страницах.

  • Список литературы:
  • ЗАКЛЮЧЕНИЕ


     


    Проведенные исследования в рамках диссертационной работы характеризуются решением актуальной научно-практической задачи интеллектуального анализа данных на основе обучения прогнозирующих нейронных сетей с элементами временной задержки, предназначенных для прогнозирования нестационарных стохастических рядов показателей. В диссертационной работе обоснована возможность применения методов адаптивной настройки динамических систем и методов обучения искусственных нейронных сетей в задачах прогнозирования и моделирования. Получены такие научные результаты.


    1.      Новый метод обучения прогнозирующих рекуррентных ИНС на динамических нейронах, который характеризуется повышенным быстродействием и сглаживающими свойствами. Установлено, что прогнозирующая адаптивная нейросеть с динамическими нейронами, имея стандартную архитектуру многослойной ИНС с прямой передачей информации, имеет меньшее количество настраиваемых синаптических весов, отличается высокой скоростью обучения и простотой использования, как в процессе настройки, так и в процессе прогнозирования. Показано, что предложенный метод обучения локально рекуррентной ИНС обладает как сглаживающими, так и следящими свойствами и высокой скоростью сходимости благодаря оптимальному выбору шага поиска.


    2.      Новый метод обучения прогнозирующих рекуррентных ИНС на нейронах-фильтрах, который характеризуется повышенной скоростью сходимости и повышенной стабильностью при обработке «зашумленных» данных. Установлено, что ИНС на базе нейронов-фильтров имеет расширенные функциональные возможности при решении задач настройки и прогнозирования нестационарных нелинейных процессов, что обусловлено запоминанием не только прошлых входных значений процесса и прошлых внутренних состояний сети, но и наличием локальных динамических рекуррентных связей.


    3.      Усовершенствованная архитектура многослойной ИНС с прямой передачей информации, которая отличается робастными свойствами в условиях возмущений с неизвестным распределением. С целью повышения помехоустойчивости, в сети организован дополнительный слой, в котором осуществляется сглаживание получаемых оценок, что позволяет с ростом выборки стабилизировать коэффициенты настраиваемой модели.


    4.      Усовершенствованный метод обучения искусственных нейронов многослойных ИНС с прямой передачей информации на основе робастного критерия оценивания Вэлша. Установлено, что метод обучения, являющийся многошаговой процедурой, который применяется для обучения ИНС, требует обработки на каждом такте всей выборки наблюдений, что затрудняет использование в реальном времени, поэтому целесообразным является применение метода обучения, основанного на одношаговой процедуре обучения.


    5.      Проведено имитационное моделирование процесса одношагового прогнозирования на основе линейной модели, многомерного ряда на основе ИНС с динамическими нейронами, а также моделирование методов прогнозирования на основе ИНС на нейронах-фильтрах. Показано преимущество применения ИНС на динамичесих нейронах-фильтрах по сравнению с нейросетью с аналогичными свойствами, реализованной на основе многослойного персептрона с элементами задержки на входах сети, так как эта сеть имеет меньшее число настраиваемых параметров и характеризуется повышенной скоростью обучения и простотой использования в процессе настройки и в режиме прогнозирования.


    6.      Экспериментально доказана эффективность проведенных исследований при решении практической задачи построения прогнозирующей модели системы охранной сигнализации. Предложена прогнозирующая ИНС на динамических нейронах, позволяющая строить прогноз выходных данных на интервале, для которого задаются входные переменные. Показано, что прогнозируемая последовательность несущественно отличается от реальной выборки данных и используемая нейросетевая модель позволяет достичь достаточно высокой степени точности прогноза.


    Установлено, что разработанные в диссертационной работе методы обучения прогнозирующих нейросетей с элементами временной задержки, отличающиеся повышенным быстродействием и повышенными сглаживающими свойствами, могут быть использованы для дальнейшего решения перспективных задач моделирования и прогнозирования поведения динамических многосвязных систем в условиях априорной и текущей неопределенности относительно их структуры и параметров.

















    СПИСОК ИСПОЛЬЗОВАННЫХ ИСТОЧНИКОВ


    1.      Эйкхофф П. Основы идентификации систем управления / П. Эйкхофф. – М.: Мир, 1975. – 688 с.


    2.      Гроп Д. Методы идентификации систем / Д. Гроп. – М.: Мир, 1979. – 304  с.


    3.      Перельман И. И. Оперативная идентификация объектов управления/ И. И. Перельман. – М.: Энергоатомиздат, 1982. – 272 с.


    4.      Льюнг Л. Идентификация систем. Теория для пользователя / Л. Льюнг. – М.: Наука, 1991. – 432 с.


    5.      Дюк В. Data mining / В. Дюк, А. Самойленко. – СПб: Питер, 2001. 368 с.


    6.      Мудров В. И. Методы обработки измерений / В. И. Мудров, В. Л. Кушко. – М.: Сов. Радио, 1976. 192 с.


    7.      Rey J. W. W. Robust Statistical Methods / J. W. W. Rey.Berlin
    Heidelberg New York: Springer-Verlag, 1978. – 128 p.


    8.      Смоляк С. А. Устойчивые методы оценивания / С. А. Смоляк, Б. Г. Титаренко. – М.: Статистика, 1980. – 208 с.


    9.      Holland P. Robust regression using iteratively reweighted least squares / P. Holland, R. Welsh // Comm. Statist. Theory and Methods. – 1977. – A6. –
    P. 813–827.


    10.    Цыпкин Я. З. Основы информатизационной теории идентификации / Я. З. Цыпкин. – М.: Наука, 1984. – 320 с.


    11.    Доугерти К. Введение в эконометрику / К. Доугерти; пер. с англ. – М.: Инфра-М, 2006. – 432 с.


    12.    Greene W. H. Econometric Analysis / William H. Greene – 6th ed.
    Prentice Hall, 2007. – 1178 p.


    13.    Лизер С. Эконометрические методы и задачи / С. Лизер. – М.: Статистика, 1971. – 141 с.


    14.    Браверман Э. М. Структурные методы обработки эмпирических данных / Э. М. Браверманн, И. Б. Мучник. – М.: Наука. Главная редакция
    физико-математической литературы, 1983. – 464 с.


    15.    Маленво Э. Статистические методы эконометрии / Э. Маленво. – М.: Статистика, 1976. – Вып.2. – 325 с.


    16.      Пирогов Г. Г. Проблемы структурного оценивания в эконометрии / Г. Г. Пирогов, Ю. П. Федоровский. – М.: Статистика, 1979. – 327 с.


    17.      Zellner A. Three Stage Least Squares: Simultaneous Estimation for Simultaneous Equations / A. Zellner, H. Theil // Econometrica. – 1962. – V. 30. –
    P. 54–78.


    18.      Wold H. Nonlinear estimation by iterative least square pro­cedures / H. Wold // Research paper in statistics. – N. Y.: Wiley, 1966. – P. 411–444.


    19.      Wold H. Nonlinear iterative partial least squares (Nipuls) modelling: some current developments / H. Wold // Multivariate ana­lysis. – 1973. – III. – P. 383–407.


    20.      Wold H. On the Specification Error in regression analysis / H. Wold, A. Faxer// Annals of mathematical statistics. – 1957. – V. 28, № 1.


    21.      Wold H. Ends and means in econometric model building. Basic considerations reviewed / H. Wold // Probability and Statistics The Herald Cramer Vol. – N. Y.:
    Wi­ley, 1960. – P. 355434.


    22.      Mosbaek E. Interdependent Systems: Structure and Estimation / E. Mosbaek, H. Wold. – North-Holland, 1970. – 542 p.


    23.      Nelles O. Nonlinear System Identification / O. Nells. – Berlin: Springer,
    2001. – 785 p.


    24.      Dennis J. E. Non-linear least squares and equations / J. E. Dennis // The State of Art in numerical Analy­sis. New York: Academic Press, 1977. – P. 269–312.


    25.      Демиденко Е. З. Оптимизация и регрессия / Е. З. Демиденко. – М.: Наука. Гл. ред. физ.-мат. лит., 1989. – 296 с.


    26.      Ortega J. M. Iterative Solution of Nonlinear Equations in Several Variables / J. M. Ortega, W. C. Rheinboldt. – Society for Industrial & Applied, 2000. – 572 p.


    27.      Demidenko E. Mixed Models: Theory and Applications / E. Demidenko, E. Z. Demidenko // John Wiley. – Wiley-Interscience, 2004. – 736 p.


    28.      Hartley N. О. The modified Gauss-Newton method for the fitting of nonlinear regression functions by least squares / N. О. Hartley // Technometrics. – 1961. –
    V. 3, N 2.


    29.      Isidori A. Nonlinear decoupling via feedback: A dillcrential geometric approach / A. Isidori, A. J. Kroner, G. C. Gori // IEEE Trans. Automat. Coiur. –
    1981. – Vol. AC26. – P. 331345.


    30.      Gallman P. G. Identification of nonlinear sys­tems using a Uryson model / P. G. Gallman, K. S Narendra.  – New Haven: Becion Center. Yale University, 1971. – CT. tech. rep. CT – 38.


    31.      Demidenko E. Criteria for global minimum of sum of squares in nonlinear regression / E. Demidenko. Computational Statistics & Data Analysis – 2006. – 51(3) – P. 1739 – 1753.


    32.      Levenberg K. A method for the solution of certain nonlinear problems in least squa­res / K. Levenberg // Quarterly of Appl. Math. – 1944. – Vol. 2, 2.


    33.      Marquardt D. W. An algorithm for least squares estimation of non-linear parameters / D. W. Marquardt // J. Soc. of Appl. Math. – 1963. – Vol. 2. – P. 431441.


    34.      Уоссермен Ф. Нейрокомпьютерная техника: теория и практика / Ф. Уоссермен. М.: Мир, 1992. 240 с.


    35.      Бодянский Е. В. Искусственные нейронные сети: архитектуры, обучение, применения: [ моногр. ] / Е. В. Бодянский, О.Г. Руденко. – Х.: ТЕЛЕТЕХ,
    2004. – 372 с.


    36.    G. Dreyfus Neural Networks: Methodology and Applications. – 2005. – 497 p


    37.    Taylor B. J. Methods and Procedures for the Verification and Validation of Artificial Neural Networks / Brian J. Taylor, Spiro Skias. Birkhäuser. – 2006. – 277 p.


    38.    Patan K. Artificial Neural Networks for the Modelling and Fault Diagnosis of Technical Processes / K. Patan // Springer, 2008 – 206 p.


    39.    Artificial Neural Networks ICANN 2008: 18th International Conference, Prague, Czech Republic, September 36, 2008 Springer, 2008 1026 p.


    40.    Applications and Innovations in Intelligent Systems XV: Proceedings of AI 2007, the Twenty-seventh SGAI International Conference on Innovative Techniques and Applications of Artificial Intelligence / Birkhäuser, 2008. – 350 p.


    41.      Lapedes A. Nonlinear Signal Processing Using Neural Networks: Pre­diction and System Modeling / A. Lapedes, R. Farber. – Technical Report LA-UR-87-2662, Los Alamos National Laboratory, 1987.


    42.      Weigend A. Predicting the future: a connectionist approach / A. Weigend, B. Huberman, D. Rumelhart // International Journal of Neural Systems. – 1990. – V. 7, №34. – P. 403–430.


    43.      Billings S. A. Identification of nonlinear systems using parameter estimation techniques / S. A. Billings, I. J. Leontaritis // Proceedings of the IEEE Conference on Control and Its Applications. – Warwick, 1981. – P. 183–187.


    44.    Montgomery D. C. Forecasting & Time Series Analysis / D. C. Montgomery, L. A. Johnson, J. S. Gardiner. – N.Y.: McGrow-Hill, Inc Publishing Company, 1990. – 381 p.


    45.      Weigend A. S. Back-Propagation, Weight Elimination and Time Series Prediction / A. S. Weigend, D. E. Rumelhart, B. A. Huberman // Connectionist. Models Summer School. – San Mateo, CA: Morgan Kaufmann, 1990. – P. 105–116.


    46.      Chen S. Recursive prediction error estimator for nonlinear models / S. Chen, S. A. Billings // International Journal of Control. – 1989. – V 49. – P. 569594.


    47.      Руденко О. Г. Адаптивный алгоритм прогнозирования случайных последовательностей / О. Г. Руденко, Е. В. Бодянский, И. П. Плисс // Автоматика. – 1979. – №1. – С 54–57.


    48.      Hornik K. Multilayer feedforward networks are universal approximators / K. Hornik, M. Stindcombe, H. White // Neural Networks. – 1989. – 2. – P. 359366.


    49.      Cybenko G. Approximation by superpositions of a sigmoidal functions / G. Cybenko // Mathematics of Control, Signals and Systems. – 1989. – 2. –№4. –
    P. 303314.


    50.      Parlos A. Application of the recurrent multilayer perceptron in modeling complex process dynamics / A. Parlos, K. Chong, A. Atiya. – IEEE, 1994. – P. 255266 – (Prepr./ IEEE Transactions on Neural Networks, 1994 – 5(2).)


    51.      Kalouptsidis N. Adaptive System Identification and Signal Processing Algorithms / N. Kalouptsidis, S. Theodoridis. – Prentice Hall, 1993. – 560 p.


    52.      Ljung L. Theory and Practice of Recursive Identification / L. Ljung., T. Söderström. – MIT Press, 1983. – 544 p.


    53.      Söderström T. System Identification / T. Söderström, P. Stoica. – Prentice Hall, 1989. – 612 p.


    54       Speedy C. B. Control Theory: Identification and Optimal Control / C. B. Speedy, G. C. Goodwin, R. F. Brown. – Prentice Hall, 1970. – 293 p.


    55.      Statistical and Adaptive Signal Processing: Spectral Estimation, Signal Modeling, Adaptive Filtering and Array Processing / D. G. Manolakis, V. K. Ingle, S. Kogan, S. M. Kogan. – McGraw-Hill College, 2000. – 796 p.


    56.      Stearns S. D. Signal Processing Algorithms / S. D. Stearns, R. A. David. – Prentice Hall, 1988. – 349 p.


    57.    Söderström T. Errors-in-variables methods in system identification / T.  Söderström // Automatica, survey paper. – 2007. – V. 43. – 6. – P 939958.


    58.      Larsson E. K. Estimation of Continuous-time Stochastic System Parameters / E. K. Larsson, M. Mossberg, T. Söderström // In H. Garnier and L. Wang, eds.: Identification of Continuous-time Models from Sampled Data. – Springer-Verlag, 2008.


    59.      Widrow B. Least-Mean-Square Adaptive Filters / B. Widrow, S. Haykin. – John Wiley & Sons Inc, 2003. – 325 p.


    60.      Werbos P. J. Building and Understanding Adaptive Systems: a Statistical/Numerical Approach to Factory Automation and Brain Research / P. J. Werbos // IEEE Transactions on Systems, Man and Cybernetics. – 1987. – SMC 17(1). – P. 7–19.


    61.      Ljung L. Stochastic Approximation and Optimiza­tion of Random Sytems / L. Ljung, G. Pflug, H. Walk. – Birkhauser Verlag, 1992. – 113 p.


    62.      Glentis G.-O. Efficient Least Squares Adaptive Algorithms For FIR Transversal Filtering / G.-O. Glentis, K. Berberidis, S. Theodoridis // IEEE Signal Processing Magazine. – 1999. – №13. – P.13–39.


    63.      Marti K. Dynamic Stochastic Optimization / K. Marti, G. Pflug. –
    Springer
    -Verlag, 2004. – 336 p.


    64.      Nevelson M. Stochastic Approximation and Recursive Estimation / M. Nevelson. – American Mathematical Society, 1976. – 244 p.


    65.      Чапланов А. П. Алгоритм обучения искусственного нейрона при наличии ограничений на настраиваемые параметры / А. П. Чапланов, Т. Е. Чепенко // Актуальні проблеми сучасної науки в дослідженнях молодих вчених м. Харкова: Вісник Харківського університету. – 2001. – № 506. – Ч.2. – С. 105–107.


    66.      Королькова Е. Е. Нейросетевой резонансный фильтр / Е. Е. Королькова, С. В. Попов, А. П. Чапланов, Т. Е. Чепенко // Теория и техника передачи, приема и обработки информации (Новые информационные технологии): 6-я Международная конференция: тезисы докл. – Харьков, 2000. – С. 362–363.


    67.      Островская Ж. П. Адаптивный локально–оптимальный регулятор с ограничениями на вектор состояний / Ж. П. Островская, И. П. Плисс, Т. Е. Чепенко // Автоматика 2001: Міжнародна конференція з управління: тези доп. – Одеса, 2001. – Т. 1. – С. 110111.


    68.      Королькова Е. Е. Комбинированная ИНС для классификации и прогнозирования временных рядов / Е. Е. Королькова, А. П. Чапланов, Т.  Е. Чепенко // Радиоэлектроника и молодежь в XXI веке: 6-й Международный молодежный форум: тезисы докл. – Харьков, 2002. – С. 24–25.


    69.      Kalouptsidis N. Signal Processing Systems: Theory and Design / N. Kalouptsidis // John Wiley. – Wiley-Interscience, 1997. – 840 p.


    70.      Плисс И. П. Адаптивная прогнозирующая эконометрическая модель / И. П. Плисс, С. В. Попов, Т. Е. Чепенко // Теория и техника передачи, приема и обработки информации: 7-я Международная научная конференция: тезисы докл. – Харьков, 2001. – С. 398399.


    71.      Бодянский Е. В. Нейросетевой упредитель многомерных стохастических последовательностей / Е. В. Бодянский, С. В. Попов, А. Штефан // Автоматика 2000: міжнар. конф. з автоматичного управління: тези допов. – Львів: Державний НДІ інформаційної інфраструктури, 2000. – С. 4042.


    72.      Cames P. E. Adaptive control with recursive identification for stochastic linear system / P. E. Cames, S. Lafortune // IEEE Trans. on Autom. Contr. – 1984. – 29. –
    № 4. – P. 312–321.


    73.      Peterka V. A. A square-root filter for real time multivariate regression / V. A. Peterka // ZKI-Informationen. Vortage der 2. Arbeitstagung "Algorithmisierte Prozessanalyse". – Berlin, 1974. – Band 1. – S. 59–77.


    74.      Плисс И. П. Об одном адаптивном методе прогнозирования многомерных эконометрических рядов / И. П. Плисс, С. В. Попов, ТЕЧепенко // Прикладная радиоэлектроника. Состояние и перспективы развития. 1-й Международный радиоэлектронный форум: тезисы докл. – Харьков, 2002. – Ч. 2. – С. 182–184.


    75.      Haykin S. Neural Networks. A Comprehensive Foundation. Upper Saddle River / S. Haykin. – N.Y.: Prentice Hall, Inc.,1999. – 842 p.


    76.      Narendra K. S. Identification and control of dynamical systems using neural networks / K. S. Narendra, K. Parthasarathy // IEEE Trans. on Neural Networks. – 1990. – 1. – P. 427.


    77.      Bodyanskiy Ye. Fault Diagnosis of Machines Based on Use Artificial Neural Networks / Ye. Bodyanskiy, S. Popov, A. Stephan // Proc. 44-th International Scientific Colloquium Technical University of Ilmenau. – Ilmenau, 1999. – P. 495-500.


    78.      Попов С. В. Адаптивное прогнозирование процессов со скрытыми периодическими компонентами / С. В. Попов, Т. Е. Чепенко // Теория и техника передачи, приема и обработки информации (Интегрированные информационные системы, сети и технологии): 8-ая Международная научная конференция: тезисы докл. – Харьков, 2002 – С. 524526.


    79.    Chen S. Non-linear systems identification using neural networks / S. Chen, S. A. Billings, P. M. Grant // International Journal of Control. – 1990. – V 51. – P. 1191– 1214.


    80.      O'Leary D. P. Robust regression computation using iteratively reweightid least squares / D. P. O'Leary // SIAMJ. Matrix Anal. Appl. – 1990. – 11. – P. 466480.


    81.      Ham F. M. Principles of Neurocomputing for Science and Engineering / F. M. Ham, I. Kostanic. – N.Y.: Mc Graw–Hill, Inc.,2001. – 642 p.


    82.      Welsh R. E. Nonlinear statistical data analysis / R. E. Welsh // Proc. Comp. Sci. and Statist. Tenth Ann. Symp. Interface. Held at Nat'l Bur. Stds.Gaithersburg, MD. 977. – P. 77–86.


    83.      Cichocki A. Adaptive analogue network for real time estimation of basic waveforms of voltages and currents / A. Cichocki, T. Lobos // IEEE Proc. – 1992. – 139. – Part C. – P. 343350.


    84.      Cichocki A. Neural Networks for Optimization and Signal Processing / A. Cichocki, R. Unbehauch. – Stuttgart: Teubner, 1993. – 526 p.


    85.      Goodwin G. C. A globally convergent adaptive predictor / G. C. Goodwin, P. J. Ramadge, P. E. Caines // Automatica. – 1981. – №1. – P. 135140.


    86.      Плисс И. П. Нейросетевая робастная идентификация объекта управления / И. П. Плисс, А. П. Чапланов, Т. Е. Чепенко // Радиоэлектроника и информатика. –2002. – №2 (19). – С. 52 54.


    87.      Адаптивные фильтры / [под ред. К. Ф. Н. Коуэна, П. М. Гранта]. – М.: Мир, 1988. – 392 с.


    88.      Soverini U. Identification methods of dynamic systems in presence of input noise / U. Soverini, T. Söderström // Proc. SYSID 2000, IFAC 12th Symposium on System Identification. – Santa Barbara, California, 2000.


    89.      Packard N. Geometry from a time series / N. Packard, J. Crutchfield, J. Farmer, R. Shaw // Phys. Rev. Zett. – 1980. – № 45. – P. 712–716.


    90.      Wan E. Temporal backpropagation for FIR neural networks / E. Wan // Zut. Joint. Conference on Neural Networks. – San Diego, 1990. – V.1. – P. 575–580.


    91.    Wan E. Temporal backpropagation: an efficient algorithm for finite impulse response neural networks / E. Wan // Proceedings of the 1990 Connectionist Models Summer School. – Mor­gan Kaufmann, 1990. – P. 131–140.


    92.    Wan E. A. A new formulation for nonlinear forward-backward smoothing / A. S. Paul, E. A. Wan // Acoustics, Speech and Signal Processing. IEEE International Conference on March 31 2008 April 4 2008 – ICASSP, 2008. – P. 3621 – 3624.


    93.      Wan E. A. Time series prediction by using a connectionist network with internal delay lines / E. A. Wan // Time Series Prediction. Forecasting the Future and Understanding the Past. Ed. by A. Weigend, N. Gershenfeld. – SFI Studies in the Sciences of Complexity Reading: Addison – Wesley, 1994. – Vol. XVII. – P. 195 – 218.


    94.      A unifying view of some training algorithms for multilayer perceptrons with FIR filter synapses / A. D. Back, E. A. Wan, S. Lawrence, A. C. Tsoi // Neural Networks and Signal Processing. – N.Y.: IEEE Press, 1994. – № 4. – P. 146 – 154.


    95.      Yu H.-Y. An improved time series prediction by applying the ayer-by-layer learning method to FIR neural networks / H.-Y. Yu, S.-Y. Bang // Neural Networks. – 1997. – № 10. – P. 17171729.


    96.      Бодянский Е. В. Адаптивный нейрорегулятор для нелинейного динамического объекта / Е. В. Бодянский, О. В. Запорожец // Изв. РАН. Теория и системы управления. – 2002. – №2. – С. 92–96.


    97.      Bodyanskiy Ye. An adaptive learning algorithm for a neuro-fuzzy network / Ye. Bodyanskiy, V. Kolodyazhniy, A. Stephan // Computational Intelligence. Theory and Applications. – Berlin - Heidelberg - New York: Springer, 2001. – P. 68–75.


    98.      Wan E. A. Finite Impulse Response Neural Networks with Applications in Time Series Prediction: PhD Dissertation / E. A. Wan. – Stanford University, 1993.


    99.    Бодянский Е. В. Прогнозирующая адаптивная нейронная сеть с динамическими нейронами–фильтрами / Е. В. Бодянский, С. В. Попов, Т. Е. Чепенко // Радиоэлектроника и информатика. – 2003. – №2 (23). – С. 48–51.


    100.    Уидроу Б. Адаптивная обработка сигналов / Б. Уидроу, С. Стирнз – М.: Радио и связь, 1989. – 440 с.


    101.    Back A. D. FIR and IIR synapses, a new neural network architecture for time series mode ling / A. D. Back, A. C. Tsoi // Neural Computation. – 1991. – № 3. – P. 375385.


    102.    Back A. D. Nonlinear system identification using multilayer perceptrons with locally recurrent synaptic structure / A. D. Back, A. C. Tsoi // Neural Networks for Signal Processing 2. – N.Y.: IEEE Press, 1992. – P. 444453.


    103.    Back A. D. A simplified gradient algorithm for HR synapse multilayer perceptron / A. D. Back, A. C. Tsoi // Neural Computation. – 1993. – № 5. –
    P. 456
    462.


    104.    Tsoi A. C. Locally recurrent globally feedforward networks: a critical review of architectures / A. D. Back, A. C. Tsoi // IEEE Trans, on Neural Networks. – 1994. – № 5. – P 229–239.


    105.    Johnson C. J. Adaptive IIR filtering: current results and open issues / C. J. Johnson // IEEE Trans. on Inform Theory. – 1984. – № 30. – P. 237–250.


    106.    On–line learning algorithm for locally recurrent neural networks / [P.  Campolucci, A. Uncini, K. Piazza, B. D. Rao ] // IEEE Trans. on Neural Networks. – 1999. – № 10. – P. 253–269.


    107.    Бодянский Е. В. Обнаружение разладок в нелинейных стохастических последовательностях с помощью рекуррентных искусственных нейронных сетей / Е. В. Бодянский // Проблемы бионики. 1998. – Вып. 49. – С. 23–33.


    108.    Shepherd A. J. Second-Order Methods for Neural Networks / A. J.  Shepherd London Springer-Verlag, 1997. – 145 p.


    109.    Бодянский Е. В. Алгоритм обучения локально рекуррентной нейронной сети в задаче идентификации нелинейных динамических объектов / Е. В. Бодянский, С. В. Попов, Т. Е. Чепенко // Автоматизированные системы управления и приборы автоматики. – 2004. – Вып. 126. – С.17–22.


    110.    Чепенко Т. Е. Методы прогнозирования временных рядов на основе искусственных нейронных сетей с элементами временной задержки / Т.Е. Чепенко // Автоматизированные системы управления и приборы автоматики. – 2011. – Вып. 157. – С.4148.


    111.  Prechelt L., PROBEN1 – A Set of Neural Network Problems and Benchmarking // Technical Report 21/94. – University of Karlsruhe, Germany, 1994.


    112.    Попов С. В. Адаптивный выбор порядка КИХ-нейронов в прогнозирующей нейронной сети / С. В. Попов, Т. Е. Чепенко // Теория и техника передачи, приема и обработки информации: 9-я Международная научная конференция: тезисы докл. – Харьков Туапсе, 2003. – С. 325–326.


    113.    Чепенко Т. Е. Прогнозирующая нейронная сеть на базе КИХ-нейронов / Т. Е. Чепенко // Радиоэлектроника и молодежь в XXI веке: 7-й Международный молодежный форум: тезисы докл. – Харьков, 2003. – С. 531.


    114.    Чепенко Т. Е. Построение прогнозирующей модели системы охранной сигнализации / Т. Е. Чепенко // Радиоэлектроника и молодежь в XXI веке:
    13-й
    Международный молодежный форум: тезисы докл. – Харьков, 2009. – С. 350.


    115.  Попов С. В. Прогнозирование нестационарного многомерного временного ряда на основе специализированной нейронной сети / С. В. Попов, Т. Е. Чепенко // Сборник научных трудов ХУВС. – Харьков, 2009. – Вып. 2 (20). – С. 88 – 94.


    116.  Чепенко Т. Е. Прогнозирующая модель сложной многосвязной системы / Т. Е. Чепенко // Научные исследования современности: Международная научно-практическая конференция: тезисы докл. – Киев, 2011. – Вып.1. – Ч. 1. –
    С. 86–89.


     


    117.  Чепенко Т. Е. Моделирование и прогнозирование многомерного ряда показателей / Т.Е. Чепенко // Математическое и имитационное моделирование систем. МОДС ' 2011:  6 - ая Международная научно-практическая конференция: тезисы докл. – Чернигов, 2011.

  • Стоимость доставки:
  • 200.00 грн


ПОИСК ДИССЕРТАЦИИ, АВТОРЕФЕРАТА ИЛИ СТАТЬИ


Доставка любой диссертации из России и Украины