Кузнецов, Александр Владимирович. Применение нейросетевых методов для обработки сигналов в каналах с помехами

brief description

Кузнецов, Александр Владимирович. Применение нейросетевых методов для обработки сигналов в каналах с помехами : диссертация ... кандидата технических наук : 05.13.17.- Москва, 2000.- 362 с.: ил. РГБ ОД, 61 00-5/648-1

ИНСТИТУТ КРИПТОГРАФИИ СВЯЗИ И ИНФОРМАТИКИ
На правах рукописи УДК 621.391:355.40
КУЗНЕЦОВ АЛЕКСАНДР ВЛАДИМИРОВИЧ
ПРИМЕНЕНИЕ НЕЙРОСЕТЕВЫХ МЕТОДОВ ДЛЯ ОБРАБОТКИ СИГНАЛОВ В КАНАЛАХ С ПОМЕХАМИ
Специальность 05.13.17 — "Теоретические основы
информатики"

Диссертация на соискание ученой степени кандидата технических наук
Научный руководитель: доктор технических наук,
) академик РАЕН, академик МАИ,
доцент Никонов Владимир Глебович
Москва - 2000
ОГЛАВЛЕНИЕ
СПИСОК СОКРАЩЕНИЙ И ОБОЗНАЧЕНИЙ 5
ВВЕДЕНИЕ 8
ГЛАВА 1. АНАЛИЗ МЕТОДОВ ПОСТРОЕНИЯ СИСТЕМ РАСПОЗНАВАНИЯ И СУЩЕ¬СТВУЮЩИХ МЕТОДОВ ОБРАБОТКИ СИГНАЛОВ 21
1.1. Анализ технических проблем обработки сигналов в системах переда¬чи информации 24
1.2. Виды априорной неопределенности при обработке сигналов систем передачи информации 29
1.3. Общая постановка задачи обработки сигналов как задачи распозна¬вания образов 36
1.4. Концепции и методология построения устройств автоматического приема и обработки сигналов 39
1.5. Анализ состояния теории и практики распознавания типов модуляций сигналов 46
1.5.1. Корреляционные методы 50
1.5.2. Спектральные методы 51
1.5.3. Параметрические методы 52
1.6. Выводы 55
ГЛАВА 2. МЕСТО И РОЛЬ НЕЙРОСЕТЕВЫХ ТЕХНОЛОГИЙ В ЗАДАЧАХ ТЕХНИЧЕСКО¬ГО АНАЛИЗА СИГНАЛОВ СИСТЕМ ПЕРЕДАЧИ ИНФОРМАЦИИ 57
2.1. Классификация нейроподобных элементов и нейронных сетей 60
2.1.1. Классификация нейронных сетей по виду входящих в их состав нейронов 63
2.1.2. Классификация нейронных сетей по архитектуре 65
2.1.3. Классификация нейронных сетей по типам обучения 6В
2.2. Сравнительный анализ основных моделей нейронных сетей 72
2.3. Сравнение нейросетевых классификаторов со статистическими клас-сификаторами 77
2.4. Ожидаемый выигрыш при реализации основных алгоритмов техни¬ческого анализа сигналов на основе нейронных сетей 82
2.5. Выводы 86
ГЛАВА 3. ПРИНЦИПЫ ПРИМЕНЕНИЯ И СИНТЕЗ НЕЙРОННОЙ СЕТИ ДЛЯ РЕШЕНИЯ
ЗАДАЧ ДОДЕТЕКТОРНОЙ ОБРАБОТКИ СИГНАЛОВ СПИ 89
3.1. Системный подход как средство разработки и описания моделей нейронных сетей и нейросетевых алгоритмов 89
3.1.1 Нейросетевой алгоритм, формальная постановка задачи 89
3.1.2. Методика решения задачи на нейросетевом вычислителе 90
3.1.3, Системный подход как методология описания нейросети при решении задачи 91
3.2. Формализация задачи обработки сигналов СПИ в нейросетевом бази¬се. Адекватность нейросетевого подхода решаемой задаче 92
3.3. Синтез нейросетевого классификатора сигналов СПИ 99
3.3.1. Разработка нейросетевого алгоритма классификации сигналов в условиях априорной неопределенности 100
3.3.2. Принцип работы и свойства нейросетевого классификатора со случайными порогами 109
3.3.3. Алгоритм выделения признаков обрабатываемого сигнала и уменьшения размерности входного вектора ..112
3.4. Синтез иерархической нейронной сети классификации сигналов СПИ
по типам модуляции ,...122
3.5. Выводы 126
ГЛАВА 4. ЭКСПЕРИМЕНТАЛЬНЫЕ ИССЛЕДОВАНИЯ. ОЦЕНКА ЭФФЕКТИВНОСТИ
ПРЕДЛОЖЕННЫХ АЛГОРИТМОВ КЛАССИФИКАЦИИ СИГНАЛОВ СИСТЕМ ПЕРЕДАЧИ ИНФОРМАЦИИ 130
4.1. Сравнение классификатора на основе нейронной сети со случайными порогами с другими классификаторами 130
4.2. Моделирование основных типов сигналов систем передари информа¬ции 138
4.2.1. Синтез программной реализации имитатора сигналов СПИ 140
4.3. Результаты экспериментальных исследований программной эмуляции нейросетевого классификатора сигналов СПИ и их оценка 146
4.4. Оценивание эффективности процесса идентификации сигналов сис¬тем передачи информации на основе нейронной сети со случайными порогами 156
4.4.1. Показатели качества операции 156
4.4.2. Показатели качества процесса идентификации сигналов систем передачи информации по типам модуляций 158
4.4.3. Выбор критерия оценки качества нейросетевых классификаторов .161
4.4.4. Оценка емкостной и временной сложности нейросетевых классификаторов 163
4.5. Возможные области применения нейросетевых классификаторов 165
4.6. Выводы 167 
ЗАКЛЮЧЕНИЕ
172
ЛИТЕРАТУРА 178
ПРИЛОЖЕНИЯ 188
Приложение I. Анализ современного состояния и направлений совер¬шенствования методов и алгоритмов технического ана¬лиза автоматизированного приема и обработки сигналов
систем передачи информации 188
Приложение II. Анализ основных положений теории искусственных
нейронных сетей 200
Приложение III. Результаты анализа характеристик подходов приме¬няемых при нейросетевом методе решения задач сиг¬нальной обработки 241
Приложение IV. Анализ моделей сигналов СПИ, их свойств и
мешающих влияний в каналах связи 242
Приложение V. Алгоритмы работы и параметры программной реализации классификатора на основе нейронной сети сослучайными порогами. Описание настроек, форматов файлов и протоколов работы программного комплекса
сигналов СПИ 299
Приложение VI. Описание пакета прикладных программ для модели¬рования телекоммуникационных сигналов с различны¬ми параметрами, характеристиками, типами модуляций, видами работ при различных соотношениях сигнал/шум
и сигнал/помеха 334
Приложение VII. Реализация нейросетевого алгоритма идентификации сигналов систем передачи информации на сети сиг¬нальных процессоров IMS А100 356
СПИСОК СОКРАЩЕНИЙ И ОБОЗНАЧЕНИЙ
AM - амплитудная модуляция;
АМн - амплитудная манипуляция;
АПОС - автоматический прием и обработка сигналов;
АПК - антенно-приемный комплекс;
АФМ - амплитудно-фазовая манипуляция;
АЦКП - аналого-цифровой квадратурный преобразователь;
АЦП - аналого-цифровой преобразователь;
БПФ - быстрое преобразование Фурье;
ВРЕ - back propagation error, алгоритм обратного распространения ошибки; ВР - нейросетевая парадигма с алгоритмом обучения ВРЕ;
ВУ - временное уплотнение;
ВЧ - высокочастотный;
ГСО - геостационарная орбита;
ДОФ - двойная относительная фазовая манипуляция;
ДПФ - дискретное преобразование Фурье;
ДЧС - дискретные частотные сигналы;
ДЭФ - дискретные экспоненциальные функции;
ИНС - искусственная нейронная сеть;
К AM - квадратурная амплитудная манипуляция;
КВ - короткие волны;
КК - корректирующий код;
ЛКК - линейный корректирующий код;
ЛКС - линейные кодовые структуры;
ЛПЭ - линейный пороговый элемент;
МДВР - многостанционный доступ с временным разделением каналов; МДКР - многостанционный доступ с кодовым разделением каналов;
МДЧР - многостанционный доступ с частотным разделением каналов;
ММС - частотная модуляция с минимальным частотным сдвигом;
МЧП - многоуровневая числовая последовательность;
НК - нейрокомпьютер;
НПЭ - нейроподобный элемент;
НС - нейронная сеть;
НСД - несанкционированный доступ;
НСК - нейросетевой классификатор;
НЧ - низкочастотный;
ОВ - обучающая выборка;
ОЗУ - оперативное запоминающее устройство;
ОС - обратная связь;
ОФМ - относительная фазовая манипуляция;
ПЛИС - программируемая логическая интегральная схема;
ПО - программное обеспечение;
ПСП - псевдослучайная последовательность;
ПЭ - процессорный элемент;
РВ - раепознавательская выборка;
РЭС - радиоэлектронные средства;
СБИС - сверхбольшая интегральная микросхема;
СК - сверточный код;
СЛУ - систем линейных уравнений;
СПИ - систем передачи информации;
ССС - спутниковая система связи;
СУБД - система управления базами данных;
ТА - технический анализ;
ТВ - тестовая выборка;
ТОФ - тройная относительная фазовая манипуляция;
УКВ - ультракороткие волны;
ФМ-.ш - фазовая манипуляция ш-позиционная;
ЦОС - цифровая обработка сигналов;
ЦСПИ - цифровая система передачи информации;
ЦСС - цифровая система связи;
ЧВМ - частотно-временная матрица;
ЧМ-т - частотная манипуляция т-позиционная;
ЧУ - частотное уплотнение;
ЭВМ - электронная вычислительная машина;
ЭС - экспертная система;
[ ] - скобки в нижнем индексе, содержащие параметры матрицы;
< > - скобки в нижнем индексе, содержащие параметры вектора;
{ } - скобки в нижнем индексе, содержащие конечное множество элементов;
У - символ случайного объекта (случайная величина у); 
Я;
Х<п>=(хь ..хп) - /7-мерный вектор-строка;
т т
X
г- п
[*.»] ~ Si
<п> =(л"і, ..хп) - ^-мерный вектор-столбец;
- матрица размерности кхп;
—> - знак отношения импликации;
п^()N- последовательность значений переменной п с шагом равным 1; U - знак булева объединения;
П - знак булева пересечения;
с, с; - знаки строгого и нестрогого включения одного множества в другое; є, £ - знаки принадлежности и непринадлежности элемента множеству.
ВВЕДЕНИЕ
Переход к компьютерам нового поколения, созданным на основе нейросе-
я
тевых технологий, будет связан, по-видимому, с серией радикальных революци¬онных изменений, которые позволят говорить о компьютерах совершенно но¬вых поколений. Уже сейчас по объему выполняемых логических операций на один кубический грамм вещества компьютеры обычной фон-неймановской ар¬хитектуры способны конкурировать с человеческим мозгом. Использование нейронных сетей, нанотехнологий и других инноваций позволит создать миниа¬тюрные технические устройства, превосходящие в сотни раз существующие се¬годня по объему памяти, в миллиарды раз по скорости выполнения вычислений, с невероятным разнообразием функциональных возможностей и операций, с минимальным потреблением энергии и высокой надежностью, гарантирующей гигантскую продолжительность безотказной и бесперебойной работы.
Актуальность темы. Развитие интегрированных телекоммуника¬ционных систем, переход к более высокоскоростным информационным пото¬кам, новым методам модуляции и кодирования выдвинули целый ряд задач, ус¬пешное решение которых требует новых, нетрадиционных методов обработки информации, которые бы учитывали свойства, законы и динамику телекомму¬никационных сигналов, интеллектуализацию самих технических устройств, их высокую степень адаптации к реальной помеховой обстановке на канале связи. В частности, возникает необходимость в разработке простых, эффективных и достаточно надежных методов обработки сигналов в каналах с помехами. Важ¬ная роль при решении этих задач отводится автоматизированным средствам и комплексам приема и обработки сигналов.
В работах А. А. Харкевича [109], В. И. Тихонова [93-97], Б. Р. Левина [62- 64], Я. А. Фомина [105, 105], Ю. И. Журавлева [37, 38] и др. рассмотрены клас¬сические статистические методы обработки сигналов в каналах с помехами. Определены границы работы этих методов в зависимости от помеховой обста¬новки. Разработаны и определены подходы к выделению полезных, информа¬тивных сигналов на фоне помех применительно к эксплуатации систем связи.
Отличительная особенность подавляющего большинства работ в актуаль¬ной области проблем классификации сигналов заключается в том, что недоста¬ток априорных сведений о статистических характеристиках классов распозна¬ваемых сигналов является одной из основных причин, затрудняющих решение многих практических задач распознавания и не позволяющих достичь необхо¬димого и достаточного минимума ошибок, который определяется перечнем классов.
Отличаясь стройностью и законченностью теоретических результатов, ста¬тистические методы обладают рядом неудобств практического характера, в ча¬стности они требуют обработки большого объема выборок реализаций при эм¬пирическом определении законов распределения признаков классифицируемых процессов. Зачастую полученные теоретические результаты практически нереа¬лизуемы.
Господствующий аппарат теории статистической обработки сигналов не исчерпывает потребностей задач распознавания, так как для последних необхо¬димо привлечение более подробной информации, которая не может быть задана априорно во многих практических случаях. Именно это условие диктует необ¬ходимость привлечения нейросетевых методов обработки сигналов, что являет¬ся специфическим для распознавания в отличие от классической теории обна¬ружения.
Отличительными свойствами нейросетевых классификаторов являются, во- первых, высокая скорость обработки [56, 101], связанная с массированным па¬раллелизмом вычислений, производимых большим количеством относительно простых, но сильно связанных между собой процессорных элементов или ней¬ронов. Во-вторых, распределенность знаний о решаемой задаче между всеми нейронами сети, что обеспечивает высокую степень надежности устройства и его устойчивость к повреждениям [2, 73, 102]. В-третьих, классификаторы на нейронных сетях являются непараметрическими и требования к полноте стати¬стических характеристик распределений, лежащих в основе классифицируемых множеств менее критичны, в отличие от традиционных статистических класси- фикагоров [7, 13, 72]. Следовательно, нейросетевые классификаторы являются более устойчивыми, в тех случаях, когда распределения порождены нелинейны¬ми процессами и являются негауссовыми; либо соответствуют обработке сигна¬лов в условиях априорной неопределенности [49, 54, 149]. В-четвертых, нели¬нейность нейросетевых классификаторов заложена в форме функции активации каждого нейрона. Выбор функция активации нейроэлементов базируется на ре¬зультатах исследований полученных А. Н. Колмогоровым [50-52] - любая не¬прерывная функция вещественных переменных может быть представлена ли¬нейной функцией многих переменных и непрерывно возрастающей нелинейной функцией одного переменного. Отсюда следует полнота нейросетевого базиса в классе непрерывных функций и универсальность иейроклассификатора, спо¬собного построить любую сколь угодно сложную разделяющую поверхность.
Вычисления в нейронных сетях существенно отличаются от традицион¬ных, в силу высокой распараллелености их можно рассматривать как коллек¬тивное явление. В нейронной сети нет локальных областей, в которых запоми¬нается конкретная информация. Вся информация запоминается во всей сети. Сущность этого подхода заключается в том, что в качестве меры принадлежно¬сти сигнала к некоторому классу используется значение функционала от этого сигнала. Основная идея указанного подхода состоит в компактности сигналов каждого класса путем соответствующего выбора вида нелинейного преобразо¬вания, Такое контрастирование исходной информации облегчает установление соответствия величины номеру класса, к которому принадлежит анализируемый сигнал.
В последнее время для задач классификации, распознавания, обнаружения, сжатия информации и её декомпрессии появились новые подходы, основанные на теории нейронных сетей. В работах Р. Розенблагта (R. Rosenblatt) [88], С. Гроссберга (S. Grossberg) [124, 125], П. Липпмана (P. Lippmarm) [149], Дж. Хопфилда (J. Hopfield) [133-136], Р. Хехг-Нильсона (R. Hecht-Nielsen) [130, 131] и др. сформированы основные преимущества нейросетевых методов обра¬ботки сигналов над применяемыми ранее статистиками.
и
В настоящее время формируется математический базис применения ней¬ронных сетей - нейроматематика, в основе которой лежат фундаментальные на¬работки в области пороговой логики (М. Детроузос [31], С.В. Яблонский [111],
А.И. Галушкин [17-19] и др.), £-значной пороговой логики (В.Г. Никонов [75,76],
Н.Н. Айзенберг [2] и др.), нечеткой логики (Л. Заде [39], L. Chua [257] и др.).
В работах [49, 54, 71-73, 112, 116] продемонстрирована эффективность ис¬пользования искусственных нейронных сетей в задачах распознавания сигналов акустических, речевых, радарных, медицинских элекгрограмм, сейсмических и др. Предложен ряд направлений применения искусственных нейронных сетей для решения задач электросвязи [123,138-140], таких как маршрутизация, адап¬тивная коррекция характеристик каналов связи, оптимизация трафика загрузки каналов, кодирования, сжатия и декомпрессии информации, адаптация и др.
Таким образом, разработка эффективных алгоритмов и нейросетевых пара¬дигм автоматизированной обработки сигналов на основе достижений теории искусственных нейросетей является актуальной проблемой.
Цель исследований. Цель диссертационного исследования состоит в разработке аппаратно-программных нейросетевых устройств автоматизиро¬ванной обработки телекоммуникационных сигналов на основе анализа стати¬стических методов и существующих парадигм искусственных нейронных сетей.
Для достижения цели исследований поставлены и решены следующие за¬дачи:
- анализ состояния основных проблем, возникающих при использовании традиционных статистико-вероятностных методов распознавания примени¬тельно к задачам обработки сигналов;
- анализ характеристик сигналов применяемых в современных системах пе¬редачи информации (СПИ);
- анализ априорной неопределенности при обработке сигналов аналоговых и цифровых систем передачи информации;
- сравнительная характеристика нейронных сетей, обоснование их места и роли при решении задач обработки сигналов. Классификация нейропроцессор- ных элементов и искусственных нейронных сетей;
- формализация задачи обработки телекоммуникационных сигналов в ней- росетевом базисе;
- разработка модели процесса идентификации сигналов по типам модуляции на основе нейронной сета;
- синтез нейронной сети для идентификации сигналов по типам модуляции;
- синтез аппаратно-программного эмулятора телекоммуникационных сигна¬лов;
- моделирование и экспериментальная апробация нейросетевого алгоритма классификации сигналов в условиях априорной неопределенности;
- разработка принципов применения нейронных сетей для решения задач додетекторной обработки сигналов при построении систем автоматического приема и обработки сигналов (АПОС);
- разработка рекомендаций по практическому применению нейронных сетей при техническом анализе (ТА) сигналов СПИ.
Методы исследования. Для решения поставленных задач исполь¬зовались современные понятия дискретной математики, системного анализа, функционального анализа, пороговой логики, теории статистической обработки сигналов, теории распознавания образов, теории алгоритмов, теории автоматов, теории булевых и £-значных функций, теории искусственных нейронных сетей. Применялись численные методы, методы математического моделирования, дис¬кретной оптимизации и стандартного целочисленного программирования, что позволило получить ряд новых и улучшить некоторые из уже известных резуль¬татов. Положения диссертации получили экспериментальное подтверждение с помощью средств вычислительной техники.
Научная новизна. Научная новизна полученных результатов заклю¬чается в теоретической и экспериментальной разработке методологии исполь¬зования нейросетевых методов для обработки сигналов в каналах с помехами. Предложена методика отображения выбранных классов задач обработки сигна¬лов в нейросетевой базис. Построен метод идентификации сигналов с помощью классификатора на основе нейронной сети со случайными порогами. Произве¬дена формализация задач технического анализа сигналов в нейросетевом бази¬се. Предложена методика применения нейросетевого классификатора на основе нейронной сети со случайными порогами для разделения сигналов на фоне по¬мех. Разработана методика синтеза и принципы применения нейронных сетей для идентификации сигналов по типам модуляций. Предложена и обоснована методика оценки эффективности использования нейросетевых методов обра¬ботки сигналов на фоне помех.
Основные положения, выносимые на защиту:
^ методика синтеза сигналов с различными практически значимыми типами модуляций и видами работ;
- методика формализации задачи классификации телекоммуникационных сигналов в нейросетевом базисе;
- методика выбора типа нейронной сети для рассматриваемого класса задач;
- модель процесса идентификации телекоммуникационных сигналов на ос¬нове нейронной сети;
- модель нейронной сети для идентификации сигналов СПИ по типам моду¬ляций;
- методика решения задач обработки сигналов с помощью нейронных сетей и рекомендации по их практическому применению;
- методика оценки эффективности использования нейросетевых методов для обработки сигналов.
Научная новизна результатов состоите следующем:
- определена методика синтеза сигналов с различными практически значи¬мыми типами модуляций;
- разработана методика формализации задачи в нейросетевом базисе и ме¬тодика выбора типа нейронной сети для рассматриваемого класса задач;
- разработан и экспериментально апробирован нейросетевой алгоритм и метод классификации априорно неизвестных сигналов на основе нейронной се¬ти.
Разработана оценка эффективности реализации предложенных нейросете¬вых алгоритмов.
Достоверность научных положений, выводов и ре-комендаций диссертационной работы обусловлена строго физико- математической постановкой, корректным применением математических мето¬дов, подтверждена результатами имитационного моделирования с использова¬нием вычислительной техники и современных программных продуктов Borland C++ Builder 4. О, CoolEdit, MatLab 5.2 и др7 сравнением результатов моделиро¬вания с известными расчетными и экспериментальными данными.
Практическая значимость работы. Разработанные в диссер¬тации методы и алгоритмы могут быть использованы в различных практиче¬ских задачах, связанных с распознаванием. Основной практический результат достигнутый в ходе анализа существующих нейросетевых алгоритмов обучения и работы искусственных нейронных сетей состоит в модификации нейронной сети со случайными порогами. Разработан нейросетевой алгоритм классифика¬ции телекоммуникационных сигналов в условиях априорной неопределенности. Создана иерархическая нейронная сеть классификации сигналов СПИ по типам модуляции. Предложенный непараметрический метод сокращения размерности оцифрованных входных сигналов электросвязи, кроме задач распознавания, применим для сигналов другого происхождения, что позволяет; в свою очередь, классифицировать последние по признакам в соответствии с решаемыми зада¬чами. Алгоритмы распознавания, полученные с использованием нейронных се¬тей, не связаны с ограничениями типа стационарности моделей, поэтому могут непосредственно применяться для исследования объектов с меняющимися в процессе наблюдения характеристиками.
Реализация и внедрение результ ат о в. Результаты научных исследований использованы в НИР ГНЦ «НПО Астрофизика», НИР проводи¬мых в Институте криптографии, связи и информатики, а также при чтении кур¬са лекций по кафедре "Системы и сети связи" выше названного института. Вне¬дрение результатов подтверждено соответствующими актами.
Апробация работы. Основные результаты работы прошли апроба¬цию на: международной конференции "Информатизация правоохранительных систем - 97" (г. Москва, 3 — 8 июня 1997 г.); второй межведомственной конфе¬ренции "Научно-техническое и информационное обеспечение деятельности спецслужб" (г. Москва, 4-6 февраля 1998 г. ); первой международной конфе¬ренции "Цифровая обработка сигналов и её применения ” - DSPA'98 (г. Москва, 1998 г. ); XXVI международной конференции "Информационные технологии в науке, образовании, телекоммуникации и бизнесе" - IT+SE'99 (20 - 30 мая 1999 г. Гурзуф-Ялта); VII Всероссийском семинаре "Нейроинформатика и ее прило¬жения” (г. Красноярск, 1999 г. ).
Публикации. По теме диссертации опубликовано 12 печатных работ, в том числе: 3 статьи, 9 тезисов докладов.
Структура и объем работы. Диссертация состоит из введения, четырех глав, заключения, списка литературы, приложений. Диссертация со¬держит 187 страниц, 22 таблицы, 93 иллюстрации. Список использованных ис¬точников включает 168 наименований.
КРАТКОЕ СОДЕРЖАНИЕ РАБОТЫ
Во введении обоснована актуальность темы, сформулирована цель диссертации. Представлен краткий обзор научных результатов, данные о научной новизне и практической значимости. Дана характеристика работы по главам.
Первая глава посвящена анализу методов построения систем распознавания и существующих методов обработки сигналов. Рассмотрены ос¬новные решаемые радиоэлектронными системами технического анализа задачи такие, как задачи обнаружения, оценивания параметров и классификации (рас¬познавания) объектов наблюдения по поступавшим на вход систем сигналам. Предложена обобщенная структурная схема построения классификатора, кото¬рая применима для решения задач идентификации. Формализована схема, ото¬бражающая процесс обработки телекоммуникационных сигналов в каналах с помехами. Предложено построение альтернативной системы АПОС СПИ, в со¬став которой входит устройство классификации.
Проведен анализ тенденций развития систем связи, современного состоя¬ния, направлений совершенствования методов и средств технического анализа телекоммуникационных сигналов. Показано, что в последнее время постоянно растет доля линий связи, в которых используются цифровые методы передачи. Применяются более сложные типы модуляций и формирования сигналов, пре¬дусматривающие целый комплекс различных преобразований информационной последовательности.
Анализ существующих методов и алгоритмов обработки сигналов в усло¬виях априорной неопределенности подтвердил необходимость разработки но¬вых методов и средств идентификации, основанных на перспективных техноло¬гиях, реализующих параллельную распределенную обработку информации что позволило сделать вывод об актуальности темы диссертационной работы. Эта задача может быть решена на основе синтеза структуры, параметров и алгорит¬ма работы искусственной нейронной сети.
Вторая глава посвящена исследованию теоретических основ приме¬нения нейросетевых методов обработки телекоммуникационных сигналов.
Рассмотрена история развития нейросетевого подхода к построению сис¬тем распознавания образов. Проанализированы причины наблюдаемого беспре¬цедентного роста активности в области теории и технической реализации ис¬кусственных нейронных сетей.
Отмечено, что в современных моделях основная роль отводится не тща¬тельной имитации свойств нейрона, а структуре связей большого числа доста¬точно простых нейроподобных элементов. При определенных алгоритмах из¬менения межнейронных связей в ответ на входные воздействия, которые пода¬ются на такую модель нейронной сети путем активации определенных подмно¬жеств нейронов, сеть обучается выполнять функции авто- или гетероассоциа- тивной памяти, классификации, кластеризации, адаптивного управления (D. Hebb, 1949; F. Rosenblatt, 1962; D. Willshaw, 1969; T. Kohonen, 1984 и др.).
Для эффективного функционирования системы АПОС в реальной помехо- вой обстановке необходимо, чтобы создаваемая модель нейросетевого класси¬фикатора была адекватна решаемым задачам, в том числе с точки зрения спо¬собности работать с зашумленными и коррелированными сигналами различной степени структурной сложности.
С этой точки зрения рассмотрены наиболее распространенные в настоящее время модели нейронных сетей такие, как одноуровневый (F. Rosenblatt, 1962;
В. Widrow, 1962, и др.) и многоуровневый дарсептроны (D. Rumelhart 1986 и др.) карты признаков Кохонена (Т. Kohonen 1981-1989 и др. ), теория адаптивного ре¬зонанса Гроссберга (S. Grossberg 1986; G. Carpenter, S. Grossberg 1987 и др.), сети Хопфилда (J. Hopfield 1982,1984 и др.), сети Кост (В. Kosko 1985) и др.
Сформулированы основные понятия и определения нейросетевой техноло¬гии решения задач обработки сигналов. Проведена сравнительная характери¬стика нейронных сетей, обосновано их применение при решении задач ТА сиг¬налов СПИ в каналах с помехами. Осуществлена классификация нейрон¬ных сетей по виду входящих в их состав нейронов, по типам обучения, архитек¬турам связей, целевым решающим функциям. Проведен сравнительный анализ основных моделей нейронных сетей по типам решаемых задач. Выполнено сравнение нейросетевых и статистических классификаторов.
Проведенный анализ показал, что не существует универсальных нейрон¬ных сетей, способных решать различные задачи обработки сигналов. Это, в свою очередь, требует осуществить синтез нейронных сетей, адекватных ре¬шаемым задачам. Проведен выбор и обоснованы направления исследований, конкретизировано содержание задач, решаемых в диссертационной работе.
В третьей главе предложен системный подход как средство разра¬ботки и описания нейронных сетей для идентификации сигналов. Показано, что универсальная методика построения и описания нейронных сетей и нейросете¬вых алгоритмов решения прикладных задач состоит из таких этапов, как опре¬деление атрибутов сети, решение задачи либо моделированием нейронных се¬тей на обычных компьютерах (в этом случае нейронные сети рассматриваются как класс нетрадиционных алгоритмов), либо решение задачи на нейросетевом вычислителе. В этом случае осуществляется разработка технического устройст¬ва - нейрокомпьютера, нейроплаты-акселератора, что позволяет реализовать системный подход к синтезу нейронных сетей для решения специализирован¬ных задач, начиная от ее постановки и заканчивая проектными решениями со¬ответствующего нейросетевого вычислителя (нейрокомпьютера).
Формализована задача обработки сигналов СПИ в нейросетевом базисе. Показана адекватность нейросетевого подхода решаемой задаче идентификации сигналов СПИ. Проведен синтез нейросетевого классификатора сигналов СПИ на основе нейронной сети со случайными порогами.
Разработан нейросетевой алгоритм разделения классов сигналов, обеспе¬чивающий одинаковые нижние оценки для вероятностей правильной иденти¬фикации с искажениями. Показано, что предложенный алгоритм обеспечивает восстановление классов сигналов и в случае различных начальных отклонений. Проведены исследования сходимости предложенного алгоритма в случае по¬следовательной и параллельной его реализации. Решена задача выбора весовых коэффициентов решающей функции нейросети. Определены общие ограниче¬ния нейросетевого подхода для решения задач обработки телекоммуникацион¬ных сигналов. Предложен оригинальный алгоритм выделения признаков обра¬батываемого сигнала и уменьшения размерности входного вектора.
Синтезирована иерархическая нейронная сеть, имеющая наращиваемую блочную архитектуру, единичный блок которой представляет собой классифи¬катор сигналов СПИ на основе нейронной сети со случайными порогами. По¬добная архитектура позволила уменьшить размерность задачи ТА СПИ за счет распараллеливания и разбиения общей задачи технического анализа на частные подзадачи, тем самым повысив производительность и эффективность. Разрабо¬тана модель процесса идентификации сигналов по типам модуляции на основе предложенного нейросетевого классификатора.
Разработан комплекс программного обеспечения алгоритмов идентифика¬ции сигналов СПИ на основе нейронной сети со случайными порогами. Ком¬плекс построен в соответствии с предложенным алгоритмом и предназначен для моделирования (эмуляции) нейронной сети на однопроцессорной ЭВМ. В про¬граммном обеспечении заложена возможность эксплуатации ЭВМ с встроенной нейросетевой платой акселератором.
Четвертая глава посвящена экспериментальным исследованиям программно-аппаратной реализации нейросетевого классификатора со случай¬ными порогами на основе предложенного алгоритма разделения классов сигна¬лов с различными типами модуляции и видами работ при различных соотноше¬ниях сигнал/шум.
Показана эффективность предложенного нейросетевого классификатора на основе нейронной сети со случайными порогами по сравнению с другими известными нейросетевыми классификаторами, применявшимися ранее для решения подобных задач идентификации. Получены оценки по времени распо¬знавания, времени обучения и проценту ошибок в зависимости от размерности обучающей выборки, размерности пространства признаков, сложности разде¬ляющих поверхностей.
Проведено имитационное моделирование обработки сигналов СПИ на однопроцессорной вычислительной машине. Исследованы режимы работы ал¬горитмов идентификации телекоммуникационных сигналов по типам модуля¬ций на основе программно реализованного классификатора. По результатам ис¬следований и проведенных анализов разработаны:
- метод идентификации сигналов с помощью классификатора на основе ней¬ронной сети со случайными порогами;
- методика формализации задач технического анализа сигналов в нейросете¬вом базисе;
- методика применения нейросетевого классификатора на основе нейронной сети со случайными порогами для разделения сигналов на фоне помех;
- методика синтеза и принципы применения нейронных сетей для идентифи¬кации сигналов по типам модуляций;
- методика оценки эффективности использования нейросетевых методов об¬работки сигналов на фоне помех.
Определены режимы работы нейросетевого классификатора, позволяю¬щие оптимизировать процесс классификации априорно неизвестных сигналов в каналах с помехами.
Рассмотрены возможные области применения предложенного нейросете¬вого классификатора и алгоритмов его работы. Предложенный подход класси¬фикации сигналов применим к анализу сигналов различного происхождения (сигналов радиолокационных станций различного назначения; сигналов элек¬трограмм и изображений в медицине; сейсмических сигналов; акустических и речевых сигналов; сигналов видео изображений и др.).
Для настройки, тренировки и эффективной эксплуатации системы АПОС создан и интегрирован в общую программную оболочку пакет прикладных про¬грамм, позволяющий получать модели телекоммуникационных сигналов с раз¬личными параметрами, характеристиками, типами модуляций, видами работ при различных соотношениях сигнал/шум и сигнал/помеха.
Определены временные характеристики работы классификатора. Полу¬ченные результаты позволяют сделать вывод о возможности классификации сигналов практически в режиме реального времени. Сделан прогноз аппаратной реализации нейросетевого классификатора и его работы на основе сигнальных процессоров IMS А100.
В заключении сформулированы основные результаты работы и их значение для повышения результативности обработки сигналов и решении задач АПИОС.
В приложении представлены материалы проведенных анализов, математи¬ческого моделирования сигналов СПИ, описания программного комплекса АПОС, листинги программ.

bibliography

ЗАКЛЮЧЕНИЕ
Диссертационная работа посвящена исследованию возможности использо-вания аппарата теории искусственных нейронных сетей применительно к зада-чам обработки сигналов в каналах с помехами. Вопросам синтеза нейронных сетей для технического анализа сигналов при создании системы автоматизиро-ванного приема и обработки сигналов современных систем передачи информа-ции, работающих в режиме реального времени.
Одним из немаловажных факторов, затрудняющим создание систем АПОС работающих в режиме реального времени, является большое разнообразие ти-пов модуляции несущей, количество которых с течением времени неуклонно возрастает. Указанное обстоятельство увеличивает неопределенность относи-тельно их типов. В настоящее время в качестве путей разработки рассматрива-ются такие направления, как применение универсального средства, рассчитан-ного на обработку сигналов с достаточно широким классом типов модуляций и использование ряда специализированных комплексов, каждый из которых рас-считан только на один тип модуляции.
Применение универсальных средств не может быть эффективно реализо-вано по двум причинам. Во-первых, из-за отсутствия в настоящее время уни-версальных средств, способных обрабатывать телекоммуникационные сигналы со значительным множеством типов модуляций. Для существующих комплек-сов это множество ограничено лишь четырьмя наиболее простыми типами. Во- вторых, использование ряда специализированных комплексов невозможно из-за ограничений и специфических особенностей условий, к которым относятся же-сткие временные ограничения и ограничения на массогабаритные показатели используемой аппаратуры. Эти обстоятельства потребовали поиска новых под-ходов к преодолению возникших трудностей.
В работе было предложено использовать средства анализа сигналов, осно-ванные на нейросетевых технологиях, реализующих параллельную распреде-ленную обработку данных. При этом основной выигрыш в оперативности про-цесса обработки сигналов планировалось получить за счет распараллеливания однотипных вычислительных операций, выполняемых на различных этапах анализа сигналов, и реализации их на основе искусственных нейронных сетей. Описанная проблемная ситуация и предложенный подход к ее преодолению обусловили сформулированные в диссертации подзадачи и цель исследований.
Диссертация базируется на результатах, полученных автором в ходе вы-полнения плановых научно-исследовательских работ по темам, непосредствен-но связанных с государственными программами.
Для решения задач анализа сигналов разработаны частные методики син-теза и принципы применения нейронных сетей для додетекторной обработки сигналов в условиях параметрической неопределенности. Осуществлен синтез структуры и параметров нейронной сети для определения типа модуляции сиг-налов систем передачи информации при наличии шумов в канале связи.
1. Предложены рекомендации по практическому применению нейронных сетей для обработки телекоммуникационных сигналов. Разработана архитекту-ра иерархического нейросетевого классификатора для идентификации сигна¬лов. Создан специализированный комплекс программного обеспечения алго¬ритмов анализа и обработки телекоммуникационных сигналов на основе ней¬ронной сети.
2. Проведены математическое и имитационное моделирование на ЭВМ об-работки сигналов, которое подтвердило работоспособность предложенных ме-тодов и средств обработки сигналов на основе нейронной сети.
Показано, что при сравнительно небольшом увеличении операционных ре-сурсов, связанных с применением специализированных нейропроцессоров, при неизменной достоверности идентификации сигналов, происходит увеличение оперативности. Полученный выигрыш по быстродействию процесса классифи-кации телекоммуникационных сигналов при применении параллельного вычис-лителя, в качестве которого используется нейронная сеть со случайными поро-гами, составляет в 3,3... 10 раз.
Качество классификации сигналов AM при количестве ошибок не более 1% в зависимости от параметров сигналов достигнуто при соотношении сиг-нал/шум 2,8...3,4 дБ; для сигналов ЧМ 3,8...6,2 дБ; для сигналов ФМ- 2,8...4,1 дБ; КАМ-16 - 7,6 дБ; для сигналов КАМ-32 - 8,2 дБ; ФМ-4 - 3,75...5,1 дБ, ОФМ - 3,9...6,1 дБ. Среднее время классификации одной реализации при этом составило 0,074 секунды. Практически реализован режим реального времени классификации сигналов. Улучшены результаты классификации сигналов для обычных систем на величину до 5,5 дБ, а по сравнению с системами с обратной связью на величину до 2,5 дБ.
3. Разработана обобщенная методика синтеза сигналов СПИ по их матема-тическим моделям и протоколам связи (ITU-T, МККТТ). Синтезирован и интег-рирован в общее программное обеспечение аппаратно-программного комплекса АПОС СПИ пакет программ, реализующий универсальный генератор цифро¬вых и аналоговых типов модуляций и видов работ. В этот пакет программ во¬шли подпрограммы микширования сигналов, программа имитирующая помехо- вую обстановку на каналах связи в виде аддитивного гауссовского шума.
4. Разработана методика идентификации сигналов СПИ на основе нейроее- тевого классификатора, которая позволяет при наличии соответствующей эле-ментной базы решать задачи идентификации сигналов СПИ.
5. Разработана методика оценки эффективности нейросетевых классифика-торов. Значение критерия количественной оценки эффективности позволяет произвести сравнение разных по топологиям связей, алгоритмам работы и ре-шаемым задачам нейронные сети. Полученная оценка для классификатора сиг-налов на основе нейронной сети со случайными порогами позволяет утвер-ждать об его эффективности по сравнению с:
- классификатором на использовании потенциальных функций (PFC) - в 1,3 раза;
- модифицированным нейросетевым классификатором с алгоритмом обучения обратного распространения ошибки (ВРС) - в 4,66 раза;
- нейросетевым классификатором, построенным на основе адаптивно-резонансной теории (ART) - в 4,24 раза;
- нейросетевым классификатором, в основе которого лежит парадигма Хоп-
филда (Hopfleld) - в 4,5 раза;
- классификатором, реализующим алгоритм обучения по правилу ближайшего соседа (NNC) - в 2,7 раза.
Эффективность классификатора сигналов на основе нейронной сети со слу-чайными порогами подтверждена результатами экспериментальных исследова-ний.
6. Наибольшее быстродействие алгоритма идентификации сигналов СПИ может быть достигнуто при его эмуляции на вычислительной структуре, мак-симально адекватной нейросетевому базису - нейрокомпьютере, основным функциональным элементом которого является специализированный процессор, реализующий нейронную сеть.
Предложена реализация нейросетевого алгоритма классификации сигналов СПИ с помощью вычислительной системы (нейроплаты), состоящей из одного транспьютера и 16 сигнальных процессоров IMS А100. В случае реализации нейросетевого алгоритма идентификации сигналов на сети сигнальных процес-соров IMS А100 быстродействие компьютерного модуля Р составит от 0,93x106 до 2,3х 10б связей в секунду.
7. Рассмотрены возможные области применения нейросетевого классифи-катора для идентификации сигналов различного происхождения (сигналов PJIC; сигналов электрокардиограмм в медицине; сейсмических сигналов; акустиче-ских сигналов; сигналов видео изображений и др.). Универсальность предло-женного нейросетевого классификатора позволяет успешно обрабатывать теле-коммуникационные сигналы.
В ходе исследований в работе получены следующие новые научные результаты, выносимые на защиту.
1. Методика синтеза сигналов с различными практически значимыми типами модуляций и видами работ.
2. Методика формализации задачи классификации телекоммуникационных сигналов в нейросетевом базисе.
3. Методика выбора типа нейронной сети для рассматриваемого класса задач.
4. Модель процесса идентификации телекоммуникационных сигналов на ос-нове нейронной сети. Модель нейронной сети для идентификации сигна¬лов СПИ по типам модуляций.
5. Методика решения задач обработки сигналов с помощью нейронных сетей и рекомендации по их практическому применению.
6. Методика оценки эффективности использования нейросетевых методов для обработки сигналов.
Научная ценность работы состоит в дальнейшем развитии методов анализа телекоммуникационных сигналов в условиях структурной и парамет-рической неопределенности на базе нейронных сетей, разработке частных ме-тодик синтеза и принципов применения нейронных сетей для идентификации сигналов по типам модуляций.
Практическая значимость работы заключается в использовании полученных результатов при проектировании и эксплуатации систем сигналь-ной обработки в ГНЦ «НПО Астрофизика». Кроме того, результаты научных исследований включены в отчеты по НИР и использованы при чтении курса лекций по кафедре "Системы и сети связи" ИКСИ.
Основные результаты работы прошли апробацию на: международной конференции "Информатизация правоохранительных систем - 97" (г. Москва, 3 - 8 июня 1997 г.); второй межведомственной конференции "Научно-техническое и информационное обеспечение деятельности спецслужб" (г. Москва, 4-6 февраля 1998 г. ); первой международной конференции "Цифровая обработка сигналов и её применения" -DSPA'98 (г. Москва, 1998 г.); XXVI международной конферен¬ции "Информационные технологии в науке, образовании, телекоммуникации и бизнесе" ~ IT+SE'99 (20 - 30 мая 1999 г. Гурзуф-Ялта); VII Всероссийском семи¬наре "Нейроинформатика и ее приложения" (г. Красноярск, 1999 г.).
По теме диссертации опубликовано 12 печатных работ, в том числе: 3 статьи, 9 тезисов докладов.
Необходимо отметить, что благодаря открытости архитектуры иерархиче-ской нейронной сети, возможно наращивание ее вычислительной мощности пу-тем добавления новых фрагментов. Такой подход дает возможность рассматри-вать нейронную сеть как часть более масштабной системы, объединяющей все нейросетевые архитектуры в единую систему технического анализа сигналов, построение которой является перспективным направлением дальнейших иссле-дований.
Автор выражает искреннюю благодарность научной школе под руково-дством доктора технических наук профессора В. Г. Никонова и его самого лич-но, как своего руководителя за помощь, конструктивную критику и ценные со-веты при написании диссертации. Также автор благодарит коллектив кафедры "Системы и сети связи”, В.Р. Григорьева, А.Д. Гумменюка, В.И. Журавлева и С.И. Цветкова за сотрудничество, поддержку, дискуссии и обсуждения.
ЛИТЕРАТУРА
1. Айвазян С.А., Енюков И.О., Мешалкин Л.Я. Прикладная статистика. Основы моделирования и первичная обработка данных. М.: Финансы и статистика,
1983. 471 с.
2. Айзенберг Н.Н., Француз А.Г. Распознавание образов на конечном множестве описаний. Пробл. Бионики. М.: РАН, вып. 4, 1970. С. 70-74.
3. Асратян А.А. Факсимильно-микропроцессорные распознающие комплексы. М.: Радио и связь, 1991. 113 с.
4. Ахапкин Ю.К., Барцев С.И., Всеволодов Н.Н. и др. Биотехника - новое на¬правление компьютеризации. М.: Наука, 1990. 144 с.
5. Банкет В.Л., Дорофеев В.М. Цифровые методы в спутниковой связи. М.: Ра¬дио и связь, 1988. 240 с.
6. Борзов С.М. Козик В.И., Потаруркин О.И. Распознавание образов в нейрон¬ных сетях с апостериорной обработкой корреляционных функций // Распо¬знавание образов и анализ изображений: Новые информ. технологии / РОАИ, 2, 95. Тез. докл. 2-й всероссийской конференции, 28.08-1.09, ч,1. Ульяновск: УлГТУ, 1995. С. 39-41.
7. Борисов А.Н., Мордовина Е.В. Однослойная нейронная сеть для классифи¬кации нечетких образов // Непрерывнологические и нейронные сети и моде¬ли: тр. междунар. научн.-техн. конф., 23-25 мая. Ульяновск: УлГТУ, т.1. 1995. С. 61-63.
8. Ван Трис Г. Теория обнаружения, оценок и модуляции. Том I. Теория обна¬ружения, оценок и линейной модуляции // Пер. с англ., под ред. Проф. В.И. Тихонова. М.: Советское радио, 1972. 744 с.
9. Ван Трис Г. Теория обнаружения, оценок и модуляции. Том II. Теория нели¬нейной модуляции // Пер. с англ., под ред. проф. В.Т. Горяйнова. М.: Совет¬ское радио, 1975. 344 с.
10. Вапник В.Н., Червоненкис А.Я. Теория распознавания образов. Статистиче¬ские проблемы обучения. М.: Наука, 1974. 416 с.
11. Васильев В.И. Распознающие системы. Справочник. Изд. 2-е перераб. и до¬поли. Киев: Наукова Думка, 1983. 422 с.
12. Васильев В.И., Буркин А.П., Свириденко В.А. Системы связи: Учебн. Посо¬бие для втузов. М.: Высш. шк., 1987. 280 с.
13. Веденов А.А., Ежов А.А., Левченко Е.Б. Архитектурные модели и функции нейронных ансамблей // Физические и математические модели нейронных сетей. Т.1, ч.1, Спиновые стекла и нейронные сети. Итоги науки и техники. М.: ВИНИТИ, 1990. С. 44-92.
14. Веденов А.А., Левченко Е. Б. Об одном классе нелинейных систем с памя¬тью //Письма в ЖЭТФ, 41, вып. 8. 1985. С. 328-331.
15. Галуев Г.А. Параллельная цифровая нейрокомпьютерная реализация ней¬ронных сетей, обучаемых методом обратного распространения ошиб¬ки//Электрон. Моделирование. Т. 14, №6,1992. С. 14-19.
16. Галуев Г.А. Параллельные обучающиеся нейрокомпьютерные системы рас¬познавания изображений: принципы построения и результаты эксперимен¬тального исследования //Нейроинформатика и ее приложения: тез. докл. 3-го Всерос. семинара, 6-8 окт. Красноярск: КГТУ, 1995. 67 с.
17. Галушкин А.И. Синтез многослойных систем распознавания образов. М.: Энергия, 1974. 367 с.
18. Галушкин А.И., Судариков В.А., Шабанов Е.В. Методика решения задач на нейрокомпьютерах//Нейрокомпьютер. №1,1992. С. 24-28.
19. Галушкин А.И. Нейрокомпьютеры в разработках военной техники США (обзор по материалам открытой печати). М.: Научный центр нейрокомпью¬теров РАН. 1995. 154 с.