КУСОЧНО-ГЛАДКИЕ САМООРГАНИЗУЮЩИЕСЯ КАРТЫ КОХОНЕНА ДЛЯ ВИЗУАЛИЗАЦИИ МНОГОМЕРНЫХ ДАННЫХ : КУСКОВО-ГЛАДКІ САМООРГАНІЗУЮТЬСЯ КАРТИ КОХОНЕНА ДЛЯ ВІЗУАЛІЗАЦІЇ БАГАТОВИМІРНИХ ДАНИХ

Краткое описание

Министерство образования и науки, молодежи и спорта Украины

Харьковский национальный университет радиоэлектроники

На правах рукописи

ШКЛОВЕЦ АРТЕМ ВАДИМОВИЧ

УДК 004.272

КУСОЧНО-ГЛАДКИЕ САМООРГАНИЗУЮЩИЕСЯ КАРТЫ КОХОНЕНА ДЛЯ

ВИЗУАЛИЗАЦИИ МНОГОМЕРНЫХ ДАННЫХ

05.13.23 – системы и средства искусственного интеллекта

Диссертация

на соискание ученой степени кандидата технических наук

Цей примірник дисертації ідентичний

за змістом з іншими, що подані до

спецради Д 64.052.01

Вчений

секретар Є.І. Литвинова

Научный руководитель

Аксак Наталия Георгиевна

кандидат технических наук, с.н.с.

Харьков – 2013

СОДЕРЖАНИЕ

ВВЕДЕНИЕ………………………………………………………………………………..5

РАЗДЕЛ 1 ОБЗОР СОСТОЯНИЯ ПРОБЛЕМЫ И ПОСТАНОВКА ЗАДАЧ

ИССЛЕДОВАНИЯ………………………………………………………………………11

1.1.Задача визуализации многомерных данных………………………………….11

1.2. Методы решения задачи визуализации многомерных данных…………......12

1.2.1. Метод главных компонент……………………………………………...13

1.2.2. Карты Саммона…………………………………………………………..18

1.2.3. Метод главных многообразий..………..………………………………..19

1.2.4. Самоорганизующиеся карты Кохонена………………………………..21

1.2.4.1. Структура нейронной сети Кохонена……………………………21

1.2.4.2. Инициализация параметров нейронной сети Кохонена……….22

1.2.4.3. Алгоритм обучения нейронной сети Кохонена………………...26

1.2.4.4. Отображение многомерных данных на самоорганизующуюся

карту Кохонена……………………………………………………29

1.2.5. Модификации алгоритмов обучения нейронных сетей Кохонена…..34

1.2.5.1. Алгоритм регуляризации………………………………………..34

1.2.5.2. Алгоритм Batch SOM……………………………………………36

1.2.5.3. Алгоритм Density Tracking SOM……………………………….37

1.2.5.4. Алгоритм Adaptive SOM………………………………………...38

1.2.5.5. Иерархические алгоритмы и нейронный газ………………….39

1.2.5.6. Упругие карты…………………………………………………...40

1.3. Выводы по разделу 1 и постановка задачи исследования………………….42

РАЗДЕЛ 2 ОДНОМЕРНЫЕ КУСОЧНО-ГЛАДКИЕ САМООРГАНИЗУЮЩИЕСЯ

КАРТЫ КОХОНЕНА……………………………………………………………………44

2.1. Обоснование к выбору аппроксимирующих функций……………………...44

2.2. Построение одномерной кусочно-гладкой самоорганизующейся карты

Кохонена………………………………………………………………………...45

You created this PDF from an application that is not licensed to print to novaPDF printer (http://www.novapdf.com)

2.2.1. Одномерная кусочно-гладкая самоорганизующаяся карта Кохонена

минимальной длины……………………………………………………..50

2.2.2. Минимизация отклонения одномерной кусочно-гладкой

самоорганизующейся карты Кохонена от одномерной КЛСОК……..57

2.3. Отображение многомерных данных на одномерную кусочно-гладкую

самоорганизующуюся карту Кохонена……………………………………….59

2.4. Выводы по разделу 2…………………………………………………………..67

РАЗДЕЛ 3 ДВУМЕРНЫЕ КУСОЧНО-ГЛАДКИЕ САМООРГАНИЗУЮЩИЕСЯ

КАРТЫ КОХОНЕНА …………………………………………………………………...69

3.1. Построение двумерных кусочно-гладких самоорганизующихся карт

Кохонена на триангуляции Делоне……………………………………………69

3.2. Четырехугольные самоорганизующиеся карты Кохонена………………….78

3.3. Формирование двумерных кусочно-гладких самоорганизующихся карт

Кохонена на основе четырехугольных СОК………………………………….84

3.4. Построение двумерных кусочно-гладких самоорганизующихся карт

Кохонена на основе прямоугольных и гексагональных самоорганизующихся

карт Кохонена…………………………………………………………………..87

3.5. Отображение многомерных данных на двумерную кусочно-гладкую

самоорганизующуюся карту Кохонена……………………………………....98

3.6. Выводы по разделу 3…………………………………………………………101

РАЗДЕЛ 4 ВИЗУАЛИЗАЦИЯ МНОГОМЕРНЫХ ДАННЫХ………………………103

4.1 Метрики на самоорганизующихся картах Кохонена……………………….103

4.2. Диаграммы Хинтона………………………………………………………….109

4.3. Критерии качества визуализации многомерных данных………………….116

4.4. Моделирование процесса визуализации трехмерных данных…………….118

4.5. Визуализация базы данных компаний из стран СНГ на рынке

полимеров…………………………………………………………………….127

4.6. Визуализация базы данных абонентов ОАО «Укртелеком»………………130

4.7. Выводы по разделу 4………………………………………………………....133

ВЫВОДЫ……………………………………………………………………………….135

СПИСОК ИСПОЛЬЗОВАННЫХ ИСТОЧНИКОВ…………………………………..137

ПРИЛОЖЕНИЕ А Визуализация базы данных компаний на рынке полимеров......148

ПРИЛОЖЕНИЕ Б Визуализации базы данных абонентов ОАО «Укртелеком»…..149

ПРИЛОЖЕНИЕ В Акты внедрения результатов диссертационной работы……….150

ВВЕДЕНИЕ

Актуальность темы. В связи со стремительным накоплением большого

количества данных растёт потребность в быстрых и точных методах их анализа. На

сегодняшний день разработаны многочисленные методы анализа данных малой

размерности, способных выявлять сложные закономерности и моделировать

систему или процесс, описываемый исследуемыми данными. Преимущество работы

с данными малой размерности заключается в простоте методов анализа и

возможности наглядного представления как самих данных, так и результатов их

анализа.

Большой интерес представляют методы выявления закономерностей,

заключенных сразу в большом количестве параметров данных. Однако при

реализации разработанных методов анализа многомерных данных возникает

проблема наглядного представления как самих данных, так и результатов их

анализа. Отображение многомерных данных в пространство малой размерности,

сохраняющее их структуру, позволяет выявить большое количество новых

закономерностей и определить дальнейшие методы анализа этих данных. Такое

отображение может быть реализовано путем решения задачи визуализации

многомерных данных.

Существующие методы визуализации многомерных данных позволяют быстро

строить линейное отображение многомерных данных в пространство малой

размерности, что весьма эффективно для данных, образующих простую

унимодальную структуру. В случае многокластерной структуры многомерных

данных линейное отображение приводит к значительным ошибкам визуализации

многомерных данных. В связи с этим было разработано большое количество

нелинейных методов визуализации многомерных данных, позволяющих отображать

многомерные данные в пространство малой размерности с высокой степенью

точности. Основным недостатком этих методов является большое количество

скалярных операций, необходимых для их реализации, что делает их

неприменимыми для визуализации большого числа многомерных данных.

Оптимальными с точки зрения приемлемой точности и высокой скорости являются

You created this PDF from an application that is not licensed to print to novaPDF printer (http://www.novapdf.com)

6

самоорганизующиеся карты Кохонена, позволяющие строить кусочно-линейное

отображение многомерных данных в пространство малой размерности.

Самоорганизующиеся карты Кохонена имеют большое количество недостатков,

которые приводят к уменьшению точности визуализации многомерных данных.

В настоящее время в области визуализации многомерных данных активно

ведутся научные разработки такими учёными, как Горбань А.Н. , Зиновьев А.Ю.,

B. Kegl, D. Wunsch, Макаренко Н.Г. Значительный вклад в развитие искусственных

нейронных сетей Кохонена вносят такие украинские ученые, как Руденко О. Г.,

Бодянский Е.В., Куссуль Н.М. и зарубежные – Кохонен Т., Хайкин С., Нечаев Ю. И.

Крыжановский Б. В., Дунин-Барковский В. Л. Терехов С. А., Яхно В. Г.

Одной из нерешенных проблем визуализации большого числа многомерных

данных с помощью СОК является отображение многомерных данных в одну точку,

что делает их неразличимыми в пространстве малой размерности. Этот недостаток

связан с кусочно-линейной структурой СОК.

В связи с этим разработка методов визуализации многомерных данных с

помощью кусочно-гладких самоорганизующихся крат Кохонена является

актуальной задачей как с практической, так и с теоретической точки зрения. Задачи,

которые при этом возникают, обусловили направление исследований

диссертационной работы.

Связь работы с научными программами, планами, темами. Тема

диссертационной работы и полученные результаты соответствуют проблематике

госбюджетной темы «Эволюционные гибридные системы вычислительного

интеллекта с изменяемой структурой для интеллектуального анализа данных»,

раздел «Эволюционные гибридные методы и модели интеллектуальной обработки

информации с изменяемой структурой в условиях неопределённости»

(№ ДР 011U000458), в которой автор принимал участие как исполнитель.

Цель и задачи исследования. Целью данной работы является разработка

методов построения кусочно-гладких самоорганизующихся карт Кохонена, которые

за счёт аппроксимации кусочно-линейных карт Кохонена кубическими сплайнами

позволяют повысить точность визуализации многомерных данных.

You created this PDF from an application that is not licensed to print to novaPDF printer (http://www.novapdf.com)

7

Для достижения этой цели в работе решаются основные задачи:

- разработать методы построения одномерных и двумерных кусочно-гладких

самоорганизующихся карт Кохонена;

- разработать методы отображения многомерных данных на одномерную и

двумерную кусочно-гладкие самоорганизующиеся карты Кохонена;

- разработать методы вычисления расстояния между многомерными данными

на самоорганизующихся картах Кохонена;

- выполнить экспериментальные исследования и реализовать предложенные

методы для решения практических задач.

Предмет и объект исследования.

Объектом исследования является процесс визуализации многомерных данных.

Предметом исследования являются самоорганизующиеся карты Кохонена для

визуализации многомерных данных.

Методы исследования. Для решения поставленных задач были использованы

теория искусственных нейронных сетей для построения кусочно-линейного

отображения многомерных данных в пространство малой размерности с невысокой

трудоемкостью; сплайн-аппроксимация, дифференциальная геометрия и теория

оптимизации для построения кусочно-гладких самоорганизующихся карт Кохонена;

теория графов для ускорения и упрощения процесса построения кусочно-гладких

самоорганизующихся карт Кохонена.

Научная новизна полученных результатов. Решение поставленных задач

позволило автору получить следующие результаты:

1. Впервые предложен метод построения одномерных кусочно-гладких

самоорганизующихся карт Кохонена, который базируется на аппроксимации

одномерных кусочно-линейных самоорганизующихся карт Кохонена кубическими

параметрическими сплайнами, что позволяет формировать самоорганизующиеся

карты Кохонена без изломов в нейронах для повышения точности визуализации

многомерных данных в одномерном пространстве.

2. Впервые предложены методы построения двумерных кусочно-гладких

самоорганизующихся карт Кохонена, которые характеризуются аппроксимацией

You created this PDF from an application that is not licensed to print to novaPDF printer (http://www.novapdf.com)

8

двумерных кусочно-линейных самоорганизующихся карт Кохонена кубическими

параметрическими сплайн-поверхностями, что даёт возможность строить

двумерные самоорганизующиеся карты Кохонена без изломов в соприкосновениях

сторон треугольников из триангуляции Делоне для увеличения точности

визуализации многомерных данных в двумерном пространстве.

3. Впервые предложены методы отображения многомерных данных на кусочно-

гладкие самоорганизующиеся карты Кохонена, которые базируются на

использовании метода Ньютона с несколькими начальными приближениями, что

позволяет различать данные на самоорганизующейся карте Кохонена и уменьшить

ошибку визуализации многомерных данных при сохранении вычислительной

сложности.

4. Получил дальнейшее развитие метод вычисления расстояний между

элементами многомерных данных на самоорганизующихся картах Кохонена путем

введения на них метрического тензора, вычисляются искривления

самоорганизующихся карт Кохонена, что позволяет уменьшить ошибку

отображения визуализированных данных.

Практическое значение полученных результатов заключается в том, что

предложенные методы построения кусочно-гладких самоорганизующихся карт

Кохонена и методы отображения на них многомерных данных были использованы

для решения большого количества различных по содержанию задач, таких как

визуализация, кластеризация и классификация многомерных данных.

Методы визуализации многомерных данных с помощью кусочно-гладких

самоорганизующихся карт Кохонена доведены до уровня программной реализации,

что позволило:

1) провести анализ рынка полимеров компаний из стран СНГ в отделе

мониторинга и годовых отчётов и стратегического консалтинга ООО «Маркет

Репорт» (акт внедрения от 7.02.2012);

2) решить задачу эффективного планирования и разработки тарифов в отделе

работы с потребителями ОАО «Укртелеком» (акт внедрения от 15.12.2011).

You created this PDF from an application that is not licensed to print to novaPDF printer (http://www.novapdf.com)

9

Проведенные экспериментальные исследования для оценки разработанных

методов подтверждают основные положения, выносящиеся на защиту.

Результаты работы были внедрены в учебный процесс Харьковского

национального университета радиоэлектроники (акт внедрения от 13.03.2012).

Личный вклад соискателя. Основные работы получены лично автором.

В работах, написанных в соавторстве, соискателю принадлежит: [1] – новый метод

построения одномерной самоорганизующейся карты Кохонена; [2] – метод

построения четырехугольных самоорганизующихся для ускорения построения

двумерных кусочно-гладких самоорганизующихся карт Кохонена; [3] – новый метод

отображения многомерных данных на одномерную кусочно-гладкую

самоорганизующуюся карту Кохонена; [5] – новый метод отображения

многомерных данных на двумерную кусочно-гладкую самоорганизующуюся карту;

[6] – метод определения расстояний между точками на кусочно-гладких

самоорганизующихся картах Кохонена с использованием Римановой метрики;

[7] – новый метод построения двумерных кусочно-гладких самоорганизующихся

карт Кохонена на триангуляции Делоне; [8] – сравнительный анализ одномерных

кусочно-гладких и кусочно-линейных самоорганизующихся карт Кохонена;

[9] – сравнительный анализ двумерных кусочно-гладких и кусочно-линейных

самоорганизующихся карт Кохонена для визуализации многомерных данных;

[10] – сравнительный анализ методов визуализации большого количества

многомерных данных с помощью самоорганизующихся карт Кохонена;

[11] – модификацию алгоритма обучения нейронной сети Кохонена с изменяемой

структурой; [12] – параллельный алгоритм обучения увеличивающейся

самоорганизующейся карты Кохонена; [13] – параллельный алгоритм обучения

нейронной сети Кохонена; [14] – метод построения двумерных кусочно-гладких

самоорганизующихся карт Кохонена на нерегулярной решетке; [15] – метод

отображения многомерных данных на одномерную кусочно-гладкую

самоорганизующуюся карту Кохонена; [16] – анализ методов визуализации

многомерных данных.

You created this PDF from an application that is not licensed to print to novaPDF printer (http://www.novapdf.com)

10

Апробация результатов диссертации. Основные результаты диссертационной

работы докладывались и обсуждались на научных конференциях: 9 Международная

конференция-семинар «Высокопроизводительные вычисления на кластерных

системах» (г. Владимир, Россия, 2009); 17 Международная конференция по

автоматическому управлению «Автоматика -2010» (г. Харьков, 2010); 13 и 14 -

всероссийские научно-технические конференции «Нейроинформатика - 2011» и

«Нейроинформатика - 2012» (г. Москва, Россия, 2011, 2012); 9 всероссийская

научная конференция "Нейрокомпьютеры и их применение" (г. Москва, Россия,

2011); 2 научно-практическая конференция «Информатика, математическое

моделирование, экономика» (г. Смоленск, Россия, 2012); 15 и 16 международые

молодежные форумы «Радиоэлектроника и молодежь в ХХІ веке» (г. Харьков, 2011,

2012); 1 международная научная конференция «Интеллектуальные системы

принятия решений и проблемы вычислительного интеллекта (ISDMCI’2010)»

(Евпатория, 2010); 1 научно-техническая конференция «Сучасні напрями розвитку

інформаційно-комунікаційних технологій та засобів управління» (гг. Харьков-Киев,

2010).

Публикации. По теме диссертационной работы опубликовано 18 научных

работ, из них: 6 статей в журналах, входящих в перечень ВАК Украины по

техническим наукам, среди которых 1 статья без соавторов, 12 публикаций в

сборниках материалов и тезисов докладов на международных конференциях,

семинарах, форумах.

Список литературы

ВЫВОДЫ

В диссертационной работе приведены результаты, которые соответсвенно цели

исследования, в совокупности являются решением актуальной научно-практической

задачи – полного различия большого количества многомерных данных со сложной

топологией на карте во время её визуализации с помощью самоорганизующихся

карт Кохонена, что имеет большое значение для увеличения точности визуализации

многомерных данных. Полученные результаты:

1. Новый метод построения одномерных кусочно-гладких

самоорганизующихся карт Кохонена путем аппроксимации одномерных кусочно-

линейных самоорганизующихся карт Кохонена кубическими параметрическими

сплайнами для упразднения изломов в нейронах, что приводит к увеличению

точности визуализации многомерных данных.

2. Новый метод построения двумерных кусочно-гладких самоорганизующихся

карт Кохонена без изломов в нейронах и линиях соприкосновения треугольников из

триангуляций Делоне путем аппроксимации двумерных кусочно-линейных

самоорганизующихся карт Кохонена кубическими параметрическими сплайн-

поверхностями, что приводит к увеличению точности визуализации многомерных

данных.

3. Новый метод построения двумерных кусочно-гладких самоорганизующихся

карт Кохонена на четырёхугольных СОК путем построения остового леса

изоморфной триангуляции Делоне, что позволяет уменьшить количество скалярных

операций.

4. Новый метод отображения многомерных данных на одномерную кусочно-

гладкую карту Кохонена основан на синтезе методов локализации и поиска корней

уравнения. Это позволяет различать данные на карте. Вычислительная сложность

предложенного метода линейно зависит от начальных данных.

5. Новый метод отображения многомерных данных на двумерную кусочно-

гладкую самоорганизующуюся карту Кохонена основан на использовании метода

Ньютона с несколькими начальными приближениями, вычислительная сложность

You created this PDF from an application that is not licensed to print to novaPDF printer (http://www.novapdf.com)

136

которого линейно зависит от начальных данных. Это позволило значительно

улучшить различимость многомерных данных на карте и уменьшить ошибку

визуализации данных.

6. Получил дальнейшее развитие метод определения расстояний между

элементами данных на кусочно-гладких самоорганизующихся картах Кохонена с

учетом их искажения в пространстве данных, что позволило увеличить точность

визуализации данных.

7. Проведены экспериментальные исследования предложенных методов,

позволившие визуализировать многомерные данные за более короткий промежуток

времени по сравнению с картами Саммона и методом главных многообразий и с

более высокой точностью, чем метод главных компонент и самоорганизующиеся

карты Кохонена. Результаты работы были внедрены и показали свою эффективность

при анализе базы данных компаний из стран СНГ на рынке полимеров и базы

данных абонентов ОАО «Укртелеком».

СПИСОК ИСПОЛЬЗОВАННЫХ ИСТОЧНИКОВ.

1. Зиновьев А. Ю. Визуализация многомерных данных / А. Ю. Зиновьев. -

Красноярск: Изд-во КГТУ, 2000. – 168 с.

2. Айвазян С. А. Прикладная статистика. Основы моделирования и первичная

обработка данных / С. А. Айвазян, И. С. Енюков, Л. Д. Мешкалин – М.: Финансы и

статистика, 1983. – 471 с.

3. Айвазян С. А. Прикладная статистика. Классификация и снижение

размерности / С. А. Айвазян, В. М. Бухштабер, И. С. Енюков, Л. Д. Мешкалин. – М.:

Финансы и статистика, 1989. – 607 с.

4. Дейвисон М. Многомерное шкалирование: методы наглядного

представления данных / М. Дейвисон. – М.: Финансы и статистика, 1983. – 348 с.

5. Терехина А. Ю. Анализ данных методами многомерного шкалирования /

А. Ю. Терехина. – М.: Наука, 1986. – 168 с.

6. Айвазян С. А. Типология потребления / С. А. Айвазян, Н. М. Римашевская.

– М.: Наука, 1987. – 168 с.

7. Энслейн К. Статистические методы для ЭВМ / К. Энслейн, Э. Рэлстон, Г.

С. Уилф: пер. с англ. – М.: Наука, 1986. – 460 с.

8. Pearson K. On lines and planes of closest fit to systems of points in space.

[Text] / K. Pearson. - Philosophical Magazine – 2, 1901. – pp559-572.

9. Россиев А.А. Моделирование данных при помощи кривых для

восстановления пробелов в таблицах / А. А. Россиев // Методы нейроинформатики /

Под ред. А. Н. Горбаня. - Красноярск: изд-во КГТУ, 1998. – с 6-22.

10. Gorban A. N. Neural Network Modelling of Data with Gaps: Method of

Principal Curves, Carleman’s Formula and Other / A. N. Gorban, A. A. Rossiev, D. C.

Wunch II // Радіоелектроніка. Інформатика. Управління, Запорожье. - №1, 2000 - с.

47-55.

11. Sammon JW. A nonlinear mapping for data structure analysis / JW. Sammon //

IEEE Transactions on Computers - №18, 1969 – pp. 401-409.

12. William W. H. Nonlinear principal component analysis of noisy data / William

W. H. // Neural Networks. - Volume 20. - Issue 4, May 2007 - pp 434-443.

You created this PDF from an application that is not licensed to print to novaPDF printer (http://www.novapdf.com)

138

13. Lu B.-W. Qausi-objective nonlinear principal component analysis / B.-W. Lu, L.

Pandolfo // Neural Networks. - 24(2), 2011. – pp. 159-170.

14. Ilin A. Principal approaches to principal component analysis in the presence of

missing values / A. Ilin, T. Raiko // Journal of machine Learning Research. - No11, 2010.

– pp 1957-2000.

15. Scholkopf B., Smola A., Muller K.-R. Kernal prinicipal component analisys /

B. Scholkopf, A. Smola, K.-R. Muller // ICANN, 1997. – pp 583-588.

16. Kim I. K. Iterative kernal principal component analisys for image modeling /

I. K. Kim, Franz M. O // IEEE Trans. Pattern Anal. Mach. Intell. – No 27(9), 2005. – pp

1351-1366.

17. Twining C. J. Kernal principal component analisis and the construction of nonlinear

active shape models / C. J. Twining, C. J. Taylor // Proceeding of BMVC2001, 2001

– pp 204-215.

18. Koren Y. Robust linear dimentionality reuction / Y. Koren, L. Carnel // IEEE

transactions on visualization and computer graphics. - Orlando, Florida, USA, 2007 – pp

537-565.

19. Цой Ю. Р. Нейроэволюционный метод главных компонент / Ю. Р. Цой //

XIV Всерrоссийская научно-техническая конференция "Нейроинформатика-2012":

Сб. науч. трудов. В 3-х частях. Ч.1. М.: НИЯУ МИФИ, 2012.-С.21-30.

20. Chr. Feuersanger. Principal manifold learning by sparse grids / Feuersanger

Chr., Griebel M // Institute for Numerical Simulation of the Rheinsche Frierich-Wilhelms

Bonn. INS Preprint. - No 0801, 2008 – pp 59-80.

21. Svensen J. F. M., Generative topographic mapping (GTM) / J. F. M. Svensen. -

Aston University, 1998 – p 407.

22. Sun. J. Extending metric multidimensional scaling with Bergman divergence /

J. Sun, M. Crowe, C. Fyfe // Pattern Recognition. - No 44 (5), 2011. – pp 1137-1154.

23. Sun J. Extending Sammon mapping with Bergman divergence / J. Sun, M.

Crowe, C // Information sciences, No 4.,2011 – pp 353- 381.

24. Hastie T. Principal curves and surfaces / T. Hastie // Ph. D. Dissertation. –

Stanford Linear Accelerator Center, Stanford University, Stanford, California, US, 1984. –

You created this PDF from an application that is not licensed to print to novaPDF printer (http://www.novapdf.com)

139

p. 837.

25. Steinhaus H. Sur la division des corps materials’ en parties / Steinhaus H // Bull.

Acad. Polon. – Sci. C1. III vol IV, 1956. – pp 801-804.

26. Lloyd S. Least square quantization in PCM`s / S. Lloyd. - Bell Telephone

Laboratories Paper , 1957. – p 523.

27. Flury B. Principal points / B. Flury // Biometrika, No77, 1990. – pp 33-41.

28. Jordan M. I. Convergence results for the EM algorithm to mixtures of experts

architectures / M. I. Jordan, L. Xu // Tech. Rep. A. I. Memo No.1458: MIT, CAmbrige,

MA, 1993 – pp. 95-117.

29. Шлезингер М. И. Десять лекций по статистическому и структурному

распознаванию / М. И. Шлезингер., В. Главач. - Киев: Наукова думка, 2004. - 635 с.

30. Шлезингер М. И. О самопроизвольном различении образов // Читающие

автоматы / М. И. Шлезингер. – Киев, Наукова думка, 1965. – с.38-45

31. Kohonen T. Self-organizing maps springer / T. Kohonen. - Berlin-Heidelberg,

1997 – p 856.

32. Rauber A. LabelSOM: On the labeling of self-organizing maps / A. Rauber //

Proc. Of International Joint Conference on Neural NetWorks. - Washington, DC, 1999. –

pp 322-356.

33. Tokutaka H. Applications of Self-Organized Map (SOM) to the Composition

Determination of Chemical Products / H. Tokutaka, K. Yoshihara, K. Fujimura, K.

Iwanoto, T. Watanabe, S. Kisdia // Proc. of International Joint Conference on Neural

NetWorks. - Washington, DC, 1998. – pp 201-243.

34. Chang J. Color Image Vector Quantization Using Binary Tree Structured Self-

Organizing Feature Maps / Chang J., Jerry L. J., Chuieh T. // Proc. Of International Joint

Conference on Neural NetWorks. - Washington, DC, 1998 – pp 43-92.

35. M.-C.Su. Facial image morphing by self-organizing feature maps / Su M.-C.,

Liu I.-Ch. // Proc. of International Joint Conference on Neural NetWorks. - Washington,

DC, 1999. – pp 105-132.

36. Honkela T. Exploration of Full-Text Databases with Self-Organizing Map / T.

Honkela, S. K. Lagus, T. Kohonen. // Proc. of International Conference on Neural

You created this PDF from an application that is not licensed to print to novaPDF printer (http://www.novapdf.com)

140

NetWorks. - Vol.1. PP. - Washington, DC, 1996. - pp 56-62.

37. Gorban A. N. Principal graphs and manifolds in: Handbook of Research on

Machine Learning Application and trends: algorithms, methods and techniques / A. N.

Gorban, A. Y. Zinoviev // Olivas E.S. et al Eds. Information science research reference,

IGI Global. - Hershey, PA, USA, 2009. – pp 28-59.

38. Gorban A. N. Principal graphs and manifolds in practice: from molecular

biology to dynamical systems / A. N. Gorban, A. Y. Zinoviev // International Journal of

Neural Systems. - Vol.20.No 3, 2010. – pp 219-232.

39. Data visualization in political and social sciences / Zinoviev A. // SAGE

“International Encyclopedia of Political Science”, 2011. – pp 21-65.

40. Patra C. Using Kohonen self-organizing map for clustering in sensor Networks /

C. Patra // International Journal of Computer Application – No 1(24):80-81, 2010. - pp.

210-234.

41. Аникин В. И. О возможности обучения искусcтвенной нейронной сети

Кохонена с помощью клеточного автомата / В. И. Аникин, А. А. Тураева. –

Тольятти: Вектор науки ТГУ. №3 (17), 2011.

42. Dahabiah A. Gastroenterology dataset clustering using possibilistic Kohonen

maps / A. Dahabiah, J. Puentes, B. Solaiman // WSEAS Transactions on Information

Science and Applications. - Volume 7 Issue 4, April 2010. – pp 183-194.

43. Скворцов А. В. Триангуляция Делоне и её применениe / А. В. Скворцов. –

Томск: изд-во Том. Ун-та, 2002. – 128 с.

44. Su M.-C. An efficient initialization scheme for the self-organizing feature map

algorithm / M.-C. Su, T.-K. Liu, H.-T. Chang // Proc. Of International Joint Conference on

Neural NetWorks. - Washington, DC, 1999. – pp 78-95.

45. Руденко О. Г. Основы теории искусственных нейронных сетей/ О. Г.

Руденко., Е. В. Бодянский. – Харьков: ТЕЛЕТЕХ, 2002. – 317с.

46. Хайкин C. Нейронные сети: полный курс, 2-е издание / С. Хайкин: Пер. с

англ. - М: Издательский дом «Вильямс», 2006. – 1104 с.

47. Аксак Н. Г. Параллельный алгоритм формирования самоорганизующихся

карт Кохонена / Н. Г. Аксак, А. В. Шкловец //9-ая Международная Конференция-

You created this PDF from an application that is not licensed to print to novaPDF printer (http://www.novapdf.com)

141

семинар. Высокопроизводительные параллельные вычисления на кластерных

системах (НРС-2009). Владимир, 2009. Труды конференции- Владимир: Изд.

ВГУ,2009. - c.27-30.

48. Ralf Der. Nonlinear principal component analysis / Der R., Steinmetz U.,

Balzuweit G., Schuurmann G. - University of Leipzig, Institute of Informatics, 1998 – p

619.

49. Кохонен Т. Самоорганизующиеся карты / Т. Кохонен: пер. с англ. – М.:

Бином, 2010. – c 841.

50. Goppert J. Regularized SOM-Training: A Solution to the Topology-

Approximation Dilemma? / J. Goppert // Proc. Of International Conference on NetWorks.

- Vol.1.PP. - Washington, DC, 1996. - pp 38-44.

51. LeBlank M. Adaptive principal surfaces. / M. LeBlank // Journal of the

American Statistical Association. - V. 89No. 425, 1994. - pp 53-66

52. Rozmus J. M. The Density-Tracking Self-Organized Map. [Text] / J. M.

Rozmus // Proc. оf International Conference on Neural NetWorks. – Vol.1. - Washington,

DC, 1996. - pp. 44-50.

53. Kivimoto K. Topology Preservation in SOM / K. Kivimoto // Proc. of

International Conference on Neural NetWork. - Vol.1. - Washingon, DC, 1996. - pp. 294-

300.

54. Kiviluoto K. Тwo-level self-organizing-map’s for analysis of financiel statement

/ K. Kiviluoto, P. Bergius.// Proc. of international joint conference on Neural NetWorks. -

Washington, DC, 1998. – pp 75-103.

55. Back B. Analyzing Financial Performance with Self-Organized Maps / B. Back,

K. Sere, H. Vaanharanta // Proc. of International joint conference on Neural NetWorks. -

Wachington, DC, 1998. – pp 143-186.

56. Chang. M. Evolutionary Self-Organizing map / Chang M., Yu H., Heh J. // Proc.

of international joint conference on Neural NetWorks. - Washington, DC, 1998. – pp 74-

102.

You created this PDF from an application that is not licensed to print to novaPDF printer (http://www.novapdf.com)

142

57. Fritzke B. Growing cell structures - a self-organizing network for unsupervised

and supervised learning in Neural Networks / Fritzke B. // Proc. of international joint

conference on Neural NetWorks. - Washington, DC, 1994. – pp. 14-60.

58. Martinetz T.M. Neural-gas network for vector quantization and its application to

time-series prediction / T. M. Martinetz, S. G. Berkovich, K. J. Schulten // IEEE

Transactions on Neural Networks. - No 4 ,1993. - pp. 558-569.

59. Шкловец А. В. Решение задачи коммивояжера на многоядерных

архитектурах с помощью растущей сети Кохонена / А. В. Шкловец, Н. Г. Аксак

//Технологии Microsoft в теории и практике программирования. Материалы

конференции / Под ред. проф. В.П. Гергеля. – Нижний Новгород: Изд-во

Нижегородского госуниверситета, 2009. – с.505–511

60. Аксак Н.Г. Задача коммивояжера на основе растущей сети Кохонена.

Многоядерное решение / Н. Г. Аксак, А. В. Шкловец // Вестник ХНТУ №1(34)-2009.

- С.342-346

61. Gorban A. Principal Manifolds for data visualization and dimension reduction /

A. Gorban, B. Kegl, D. Wunsch, A. Zinovyev., Springer, Berlin – Heidelberg – New

York: LNCSE 58, 2007 – p 421.

62. Gorban A. Principal Graphs and Manifold / A. Gorban, A. Y. Zinovyev// Emilo

Soria Olivas et al. (eds), IGI Global. - Hershey, PA, USA, 2009. – pp168-192.

63. Шкловец А. В. Анализ методов визуализации многомерных даннях /

А. В. Шкловец, Н. Г. Аксак // IX Всероссийская научная конференция

"Нейрокомпьютеры и их применение". Тезисы докладов.- М.: МГППУ, 2011.-С.25.

64. Шкловец А. В. Методы решения задачи визуализации многомерных

данных / А. В. Шкловец // 15-ый Юбилейный Международный молодежный форум

«Радиоэлектроника и молодежь в ХХІ веке». Сб. материалов форума. Т.9. –

Харьков: ХНУРЭ. 2011 – 672 с.

65. Тынкевич М. А. Численные методы анализа / М. А. Тынкевич. – Кемерово,

2002 – 231c.

66. Boor C. A practical Guide to Splines / Boor C // Springer-Verlag, 1978 - pp.

113-115.

You created this PDF from an application that is not licensed to print to novaPDF printer (http://www.novapdf.com)

143

67. Lee E. T. Y. (December 1982) A simplified B-spline computation routine / E. T.

Y. Lee // Computing Springer-Verlag. - 29 (4), 1982. – pp 365-371.

68. Lee E. T. Y. Components on some B-spline algorithms / Lee E. T. Y. //

Computing Springer-Verlag. - 36 (3), 1986. – pp 229-238.

69. Piegl L. The NURBS Book / L. Piegl., W. Tiller // Springer-Verlag, 1997 – pp.

186-194.

70. Ramshaw Dr. L.. Blossoming: A connect-the-dots approach to splines / Dr. L.

Ramshaw // Research Report 19, Compaq Systems Research Center, Palo Alto, CA, 1987

– pp. 95-123.

71. Rogers D. F. An introduction to NURBS with historical perspective / D. F.

Rogers. - Morgan Kaufmann Publishers, 2001 – p 301.

72. Роджерс Д. Математические основы машиной графики / Д. Рождерс, Дж.

Адамс. – М.: Мир, 2001. – 543с.

73. Аксак Н. Г., Метод аппроксимации линейной карты Кохонена кубическим

параметрическим сплайном/ Н. Г. Аксак, А. В. Шкловец // Системи управління,

навігації та зв'язку - Випуск 2 (14).- Київ, 2010.- С. 70-74.

74. Шкловец А. В. Визуализация многомерных данных сложной топологии с

помощью кусочно-гладких линейных крат Кохонена / А. В. Шкловец // Матеріали

першої науково-технічної конференції «Сучасні напрями розвитку інформаційно-

комунікаційних технологій та засобів управління». Тези доповідей. – Харьков-Киев:

ХНДІТМ. 2010. – с. 81

75. Завьялов Ю.С. Методы сплайн-функций / Ю.С. Завьялов, Б.И. Квасова, В.

Л. Мирошниченко. – М: Наука, 1980. – 352с.

76. Макаров В.Л. Сплайн-аппроксимация функций. - Учебное пособие для

студентов вузов / В. Л. Макаров, В. В. Хлобыстов. – М.: Высш. шк., 1983. – 80 с.

77. Knott G. D. Interpolation cubic splines / G. D. Knott. – Springer, 2000. - p.151.

78. Прасолов. В. В. Задачи и теоремы линейной алгебры / В. В. Прасолов. –

М.: Наука, 1996. – 367 с.

79. Шкловец А. В. Метод аппроксимации сплайнами минимальной длины

линейных карт Кохонена для визуализации многомерных данных / А. В. Шкловец,

You created this PDF from an application that is not licensed to print to novaPDF printer (http://www.novapdf.com)

144

Н. Г. Аксак // ХІІІ всероссийская научно-техническая конференция

«Нейроинформатика-2011»: Сб. науч. трудов. В 3 частях. Ч.1. М.: НИЯУ МИФИ,

2011. -208c.

80. Рашевский П. К. Курс дифференциальной геометрии (3-е изд) / П. К.

Рашевский. - М.Л:ГИТТЛ, - 1950. – 428с.

81. Колмогоров А. Н. Элементы теории функций и функционального анализа /

А. Н. Колмогоров, С. В. Фомин – М:Наука, 1976. – 543с.

82. Шкловец А. В. Метод отображения многомерных данных на одномерную

кусочно-гладкую самоорганизующуюся карту Кохонена/ А. В. Шкловец, Н. Г. Аксак

// Системи управління, навігації та зв'язку - Випуск 1 (21).- Київ, 2010.- С. 70-74.

83. Самарский А.А. Численные методы: учебное пособие для вузов / А. А.

Самарский, А. В. Гулин. – М.: Наука. Гл. ред. физ-мат. лит., 1989. – 432с.

84. Амосов А. А. Вычислительные методы для инженеров / А. А. Амосов, Ю.

А. Дубинский, Н. П. Копченова. — М.: Мир, 1998 – 339c.

85. Корн Г. Справочник по математике для научных работников и инженеров /

[Текст] Г. Корн, Т. Корн. — М.: Наука, 1970. —830 с.

86. Бахвалов Н. С. Численные методы / Н. С. Бахвалов, Н. П. Жидков, Г. Г.

Кобельков. — 8-е изд. — М.: Лаборатория Базовых Знаний, 2000 – 704c.

87. Постников М. М. Теория Галуа / М. М. Постников. – М: Физматлит, 1963

– 370с.

88. Волков Е. А. Численные методы / Е. А. Волков. – Численные методы. – М.

Физматлит, 2003 – 603с.

89. Гилл Ф. Практическая оптимизация / Ф. Гилл., У. Мюррей., М. Райт. – Пер

с англ. – М.:Мир, 1985 – 381с.

90. Алберг Дж. Теория сплайнов и её приложения / Дж. Алберг, Э. Нильсон,

Дж. Уолш. – Мир, 1972. – 320с.

91. Шикин Е. В. Кривые и поверхности на экране компьютера. Руководство по

сплайнам для пользователей / Е. В. Шикин., Л. И. Плис. – М.: ДИАЛОГ-МИФИ,

1996. – 240с.

92. Шкловец А.В. Аппроксимация двумерных карт Кохонена кубическими

You created this PDF from an application that is not licensed to print to novaPDF printer (http://www.novapdf.com)

145

сплайн поверхностями / А. В. Шкловец, Н. Г. Аксак: сб. науч. тр. – Евпатория:

МОІНУ, 2010. – 225 с.

93. Аксак Н. Г. Метод аппроксимации сплайн поверхностью двух переменных

на нерегулярной решетке / Н. Г. Аксак, А. В. Шкловец // 17- Міжнародна

конференція з автоматичного управління "Автоматика -2010". Тези доповідей. Том

1. - Харків:ХНУРЕ, 2010.-С.26-27

94. Шкловец А. В. Метод аппроксимации сплайн поверхностями кусочно-

плоских карт кохонена для визуализации многомерных данных / А. В. Шкловец,

Н.Г. Аксак // XIV Всероссийская научно-техническая конференция

"Нейроинформатика-2012": Сб. науч. трудов. В 3-х частях. Ч.1. М.: НИЯУ МИФИ,

2012.-С.63-73.

95. Погорелов А. И. Дифференциальная геометрия / А. И. Погорелов. – 6-е

издание. – М.:Наука, 1974.

96. Рашевский П. К. Курс дифференциальной геометрии / П. К. Рашевский – 3-

е издание. – М.: ГИТТЛ, 1950.

97. Шкловец А. В. Построение четырёхугольных карт Кохонена на основе

триангуляции Делоне для визуализации многомерных данных / А. В. Шкловец, Н.

Г. Аксак. // Бионика интеллекта. науч. техн. журнал. – 2011. – 3(77).- с. 94 – 97.

98. Кристофидес Н. Теория графов. Алгоритмический подход /

Н. Кристофидес. – М.:Мир, 1978. 429с.

99. Харари Ф. Теория графов / Ф. Харари. – Изд. 3, М.: КомКнига, 2006. –

296с.

100. Кормен Т. Х. Алгоритмы для работы с графами / Т. Х. Кормен., Ч. И.

Лейзерсон, Р. И. Ривест, К. Штайн. – 2-е изд. – М.:Вильямс, 2006. – 1296с.

101. Шкловец А. В. Метод построения кусочно-гладких карт на основе

четырёхугольных кусочно-плоских карт Кохонена / А. В. Шкловец. // Системи

обробки інформації. - Випуск 2 (100).- Харків, 2012.- С. 168-175.

102. Шкловец А. В. Проецирование большого количества многомерных данных

на двумерную кусочно-гладкую самоорганизующуюся карту Кохонена /

You created this PDF from an application that is not licensed to print to novaPDF printer (http://www.novapdf.com)

146

А. В. Шкловец, Н. Г. Аксак. // Системи обробки інформації. - Випуск 3 (101).-

Харків, 2012.- С. 127-132.

103. Аксак Н. Г. Метод отображения многомерных данных на двумерную

кусочно-гладкую самоорганизующуюся карту Кохонена / Н. Г. Аксак, А. В.

Шкловец // Информатика, математическое моделирование, экономика: Cборник

научных статей по итогам второй Международной научно-практической

конференции, г. Смоленск, 20 апреля 2012 г. В 3-х томах. Том 1 – Смоленск:

Смоленский филиал АНО ВПО ЦС РФ "Российский университет кооперации", 2012.

– с. 109-114с.

104. H. M. Edwards. Galios Theory / Edwards. H. M. - Springer-Verlag, 1984 –

p.604.

105. Максимов Ю. А. Алгоритмы решения задач нелинейного

программирования / Ю. А. Максимов, Е. А. Филлиповская. – М.:МИФИ, 1982. –

402 с.

106. Кендал М. Методы ранговой корреляции / М. Кендал. – М.: Статистика,

1974. – 387с.

107. Айвазян С. А. Прикладная статистика. Статистическое оценивание

зависимостей / С. А. Айвазян, И.С. Енюков, Л. Д. Мешкалин – М.: Финансы и

статистика, 1985. – 484 с.

108. Люстеник Л. А. Кратчайшие линии / Л. А. Люстерник. – М.: Гостехиздат,

1955. – 104с.

109. Картан. Э. Ж. Риманова геометрия в ортогональном репере / Э. Ж. Картан.

– М.:изд-во МГУ, 1960. – 721с.

110. Gallot S. Riemannian geometry [Text] / S. Gallot, D. Hullin, J. Lafontaine -

Berlin, New York: Springer-Verlag, 2004 – 804p.

111. Dodson C. T. J. Tensor geometry. Graduate texts in mathematics /

C. T. J. Dodson, T. Poston - Berlin. New York: Springer-Verlag, 1991 – 418p.

112. Фоменко А. Т. Вариационное исчисление в топологии / А. Т. Фоменко. –

М.: Наука, 1982. – 304с.

113. Эльсгольц Л. Э. Дифференциальные уравнения и вариационное

You created this PDF from an application that is not licensed to print to novaPDF printer (http://www.novapdf.com)

147

исчисление / Л. Э. Эльсгольц. – М.: Наука, 1969.

114. Шкловец А. В. Построение четырёхугольных карт Кохонена на основе

триангуляции Делоне для визуализации многомерных данных / А. В. Шкловец, Н.

Г. Аксак. // Бионика интеллекта. науч. техн. журнал. – 2011. – 3(77).- с. 94 – 97.

115. Gorban A.N., Rossiev A.A. Wunch II D.C. Neural Network Modelling of Data

with Gaps: Method of Principal Curves, Carleman's Formula and Other //

Радіоелектроніка. Інформатика. Управління, Запорожье. 2000. №1. С. 47-55.

116. Шкловец А. В. Визуализация базы данных компаний из стран СНГ на

рынке полимеров / А. В. Шкловец // 16-ый Международный молодежный форум

«Радиоэлектроника и молодежь в ХХІ веке». Сб. материалов форума. Сб.

материалов форума Т.10. – Харьков: ХНУРЭ. 2011 – 222с.