Аюпов Ильнур Рашидович. Параметрический метод обучения нейронной сети при решении задач прогнозирования

Краткое описание

Аюпов Ильнур Рашидович. Параметрический метод обучения нейронной сети при решении задач прогнозирования: диссертация ... кандидата технических наук: 05.13.01 / Аюпов Ильнур Рашидович;[Место защиты: Национальный исследовательский университет «МИЭТ»].- Москва, 2015.- 93 с.

Национальный исследовательский университет «МИЭТ»
Аюпов Ильнур Рашидович
ПАРАМЕТРИЧЕСКИЙ МЕТОД ОБУЧЕНИЯ НЕЙРОННОЙ СЕТИ ПРИ РЕШЕНИИ ЗАДАЧ ПРОГНОЗИРОВАНИЯ
Специальность 05.13.01. Системный анализ, управление и обработка информации (в приборостроении)
Диссертационная работа на соискание ученой степени кандидата технических наук
Научный руководитель: доктор физико-математических наук, доцент Г ончаров В.А.
Москва - 2015 
Оглавление
Введение 4
Глава 1. Обзор методов прогнозирования 15
1.1. Анализ существующих систем прогнозирования в медицине 15
1.2. Номограммы и зарубежные системы прогнозирования 18
1.3. Важность проведения ранней диагностики 20
1.4. Выводы по главе 21
Глава 2. Выбор оптимальной модели системы прогнозирования.
Подготовка данных 22
2.1. Анализ методов построения базы знаний 22
2.2. Методы подготовки и структурирования данных 24
2.3. Создание специализированных вопросников 25
2.4. Создание пар сигналов 26
2.5. Обработка данных для обучения 28
2.6. Адаптивный метод на основе нейронных сетей 30
2.7. Обучение нейронной сети 31
2.8. Выбор объема сети 33
2.8.1. Удаление наименее полезных переменных 34
2.8.2. Выбор категорий выходных эталонов 35
2.8.3. Методы проектирования в пространство с меньшей
размерностью 36
2.9. Методы, улучшающие производительность алгоритма
обратного распространения 43
2.10. Критерий остановки 56
2.11. Выводы по главе 57
Г лава 3. Параметризация прогностического алгоритма 59
3.1. Эксперименты Фогеля 60
3.2. Г енетический алгоритм 61
3.3. Объединение адаптивного и генетического алгоритмов 65
3.4. Обучение нейронной сети при параметризации 66
3.5. Выводы по главе 68
Глава 4. Численные эксперименты и анализ результатов
прогнозирования 69
4.1. Программная реализация модели прогнозирования 69
4.2. Примеры рассмотренных историй болезни 72
4.3. Результаты исследования 76
4.4. Выводы по главе 78
Заключение 79
Приложение 93
Введение.
Актуальность работы. Одна из актуальных задач, встающих перед специалистами различных направлений исследования, состоит в нахождении зависимости между определенным набором параметров, описывающих объект и возможным его состоянием в будущем, спрогнозированное на основе этих характеристик или параметров.
Эту зависимость иногда можно вывести на основе теоретических данных, но чаще всего ее получают на основании экспериментальных исследований. При построении математической модели прогнозирования важно, чтобы сведения, собранные об исследуемом объекте, позволяли построить адекватное и достаточно точное описание объекта моделью.
В настоящее время математическое моделирование физиологических процессов в организме человека является одним из актуальных направлений в научных медицинских исследованиях. До последнего времени медицина представляла собой, в основном, экспериментальную науку, основанную на эмпирическом опыте воздействия на ход болезни различными средствами. Прогноз результатов лечения и течения болезни в значительной степени зависел от опыта и квалификации врача. Математическое моделирование этих процессов может служить ему эффективной поддержкой, как мощный инструмент дифференциальной диагностики, прогнозирования и мониторинга. Сегодня эти методы уже широко используются в различных разделах медицины - кардиологии, реаниматологии [1,2,3,4]. В Англии, например, они используются в четырех госпиталях для предупреждения инфаркта миокарда [5,6,7,8].
Представляемая диссертационная работа посвящена вопросу создания системы прогнозирования. В качестве предметной области выбрана онкоурология, где чрезвычайно важным является предсказание состояния здоровья пациента и определение оптимального вида лечения. Актуальность задачи прогнозирования для онкологического пациента обусловлена несколькими причинами: во-первых, это позволяет выявлять заболевание на ранних стадиях, во-вторых, это необходимо для выбора программы лечения (особенно из-за возможных побочных эффектов, связанных с применением высокотоксичных схем лечения). В-третьих, при диагностике раннего заболевания возможно оптимизировать расходы, связанные с диагностикой и лечением и, наконец, использование системы прогнозирования полезно и эффективно при обучении начинающих специалистов.
В мире используются несколько систем сопровождения пациентов с заболеванием простаты - медицинские базы знаний, которые включают систему прогнозирования. Самая распространенная - американская система прогнозирования Memorial Sloan-Kettering Cancer Center, которая построена на основе нейронных сетей и нечеткой логики. К сожалению, данная система не пригодна для использования в российской действительности, т.к. для построения прогноза необходим полный спектр анализов, что для рядового пациента в России не представляется возможным. Поэтому ощущается острая нехватка прогностической системы, которая учитывала бы специфику работы врача в Российской Федерации. Существует несколько российских баз знаний в онкоурологии (ВИНИТИ, СТРОМ, и др.), основанных на экспертных системах, которые позволяют проводить автоматические умозаключения по вводимой информации о здоровье пациента. Но, к сожалению, такие системы не могут оперативно подстраиваться под меняющуюся динамику параметров лабораторных исследований и требуют привлечения знаний экспертов в этой области.
Российские медики, в том числе специалисты больницы им. Боткина, нуждаются в системе, которая была бы создана на основе данных, собранных в российских реалиях и учитывающая динамику изменения показателей. Данная модель должна включать в себя опыт и знания ведущих врачей российской практики, учитывать результаты проведенных операций.
Простата - важный орган мужчины и, иногда его называют «второе сердце мужчины». В течение жизни этот орган может быть подвержен следующим заболеваниям - простатит, аденома, и, наконец, рак.
Злокачественная опухоль предстательной железы является одним из наиболее широко распространенных заболеваний у мужчин старшего возраста. Известно, что к 60 годам до 50% мужчин страдают этим заболеванием, а к 90-летнему возрасту примерно у 90% мужчин имеются морфологические изменения, свойственные раку предстательной железы [9]. Ранняя диагностика этого заболевания и последующее лечение позволяют добиться полного излечения; при этом, вероятность возникновения осложнений остается минимальной. Поэтому во всем мире уделяется большое внимание проблемам, связанным с патологическими процессами в этом органе, проведению современных методов анализа, осмотрам и т.п.
В диссертационной работе на основе нейронных сетей построена математическая модель развития этого патологического процесса. Для этого создана база знаний. В настоящее время нейросетевые технологии успешно используются при решении различных задач науки и техники, где возможно применение искусственного интеллекта. Например, в задачах распознавания образов, при диагностике сложных технических систем, прогнозировании погоды и т.д. В последнее время нейронные сети стали активно применяться и в различных областях медицины [11,21,22,23]. При этом важно, чтобы значительная часть интеллектуальной нагрузки по прогнозированию стадии заболевания, путей его развития и наилучших предлагаемых вариантов лечения рассчитывалась с помощью математических моделей.
Цель диссертационной работы. Целью диссертационной работы является создание параметрического метода обучения нейронной сети в системе прогнозирования и сопровождения больных. Это соответствует областям исследований, определенных в паспорте специальности 05.13.01 «Системный анализ, управление и обработка информации». Работа посвящена созданию математической модели оценки состояния здоровья пациента в онкоурологической практике (п.4, п.5 и п.10). (в части п.4 - Разработка методов и алгоритмов решения задач системного анализа, оптимизации, управления, принятия решений и обработки информации., п.5 - Разработка специального математического и программного обеспечения систем анализа, оптимизации, управления, принятия решений и обработки информации, п.10 - Методы и алгоритмы интеллектуальной поддержки при принятии управленческих решений в технических, экономических, биологических, медицинских и социальных системах).
Для достижения поставленной цели было необходимо решить следующие задачи:
• Провести формализацию постановки задачи, а также подготовку собранной информации к использованию в математическом моделировании.
• Создать модель прогнозирования на основе нейронной сети, адаптированную под специфику рассматриваемой задачи в онкоурологии.
• Провести параметрическую коррекцию нейронной сети с использованием генетического алгоритма обучения.
• Программная реализация параметрического метода и алгоритмов обучения нейронной сети в виде программного комплекса.
• Практическое использование разработанных метода, алгоритмов и сравнение созданного программного комплекса с существующими программными продуктами.
На основе адаптивного и генетического алгоритмов обучения нейронной сети создать параметрический метод обучения нейронной сети.
Научная новизна работы. На основе проведенных исследований предложен новый параметрический метод обучения нейронной сети.
• Предложен метод поэтапной адаптации информации для математического моделирования.
Были проанализированы истории болезни, предложены варианты опросников, в итоге информация о пациентах была представлена в виде векторов.
Выделены ключевые параметры, проведено выявление избыточной информации (сокращение размерности векторов).
• Предложено формализованное представление задачи поиска оптимальных межнейронных связей для определения минимума глобальной функции ошибки.
• Построен адаптивный алгоритм нейронной сети, предложена функция активации, позволяющая наиболее эффективно учитывать специфику задачи в условиях ограниченного набора данных.
• Предложен алгоритм уменьшения размерности нейронной сети, необходимый для успешного обобщения полученных знаний при небольшом количестве обучающих данных.
На этом этапе было проведено формулирование базы правил логического вывода - использование правил «если-то» для уменьшения размерности входного вектора.
• Предложен метод использования генетического алгоритма для выхода из возможного предполагаемого локального минимума функции ошибок.
Практическая значимость и результаты внедрения. Построенная
математическая модель прогнозирования дает возможность формировать
основные управленческие решения врачей, учитывая особенности состояния
здоровья каждого пациента. Это увеличивает эффективность оперативного
лечения и снижает процент осложнений. (Это соответствует Паспорту
специальности 05.13.01 в части решения вопросов, связанных с
8
«целенаправленным воздействием человека на объекты исследования, включая вопросы анализа, моделирования, оптимизации, совершенствования управления и принятия решений, с целью повышения эффективности функционирования объектов исследования»).
Разработанная математическая модель на основе параметрического метода обучения нейронной сети позволяет вырабатывать специалисту- онкоурологу стратегию и тактику лечения пациента.
На основе математической модели разработан программный продукт, который позволяет:
• оценить основные онкоурологические показатели: безрецидивную пятилетнюю выживаемость (вероятность возникновения опухолевых участков в течение 5 лет), поражение опухолью лимфоузлов и семенных пузырьков, выход опухоли за пределы капсулы.
• проводить врачами мониторинг высокого уровня за больными после оперативного вмешательства.
• учитывать динамику результатов лабораторных исследований, а также подготавливать варианты решений по видам лечения.
Таким образом, построенная база знаний является одновременно как интеллектуальной системой поддержки принятия решений, так и средством автоматизации работы специалистов.
Методы исследования. При решении поставленных задач были использованы методы общей теории систем, теории принятия решений и интеллектуального анализа данных.
Проверка адекватности математической модели проводилась на основе собранных данных о пациентах (статистика собиралась более 4 лет), которым была проведена операция и которые находились под наблюдением продолжительное время после операции. Точность предложенной модели связана с теоретическими оценками в условиях ограниченной выборки.
9
Использовались модели Партина [Partin, 1987, USA] и Каттана [Kattan, 1999, USA]. Эти две модели построены на основе небольшого количества факторов, однако широко используются для обучения молодых врачей, а также для консультирования пациентов.
В предложенной модели учитывается большое количество внешних и внутренних факторов (с выявлением определяющих характеристик здоровья, а также вспомогательных, которые уточняют данные для конкретного пациента). Это позволяет уточнить постановку диагноза и расширяет возможности врача по всему комплексу видов лечения.
Результаты исследования апробированы на кафедре урологии и хирургической андрологии в Российской Медицинской Академии Последипломного Образования (РМАПО РОСЗДРАВА) и внедрены в отделении урологии больницы им. Боткина.
Основным результатом работы является разработка и внедрение постоянно действующей системы прогнозирования и мониторинга состояния здоровья пациента, которая имеет возможность пополняться новыми данными о состоянии здоровья пациентов и знаниями врачей.
Работа является инновационной разработкой с высокими показателями прогностической достоверности, поэтому на данную работу было получено свидетельство о государственной регистрации программы для ЭВМ [№2013616964 от 29.07.2013].
Апробация работы. Основные положения диссертации докладывались и обсуждались на следующих симпозиумах, научных конференциях и семинарах:
1. Аюпов И.Р., Махалов А.А. Построение нейронной сети для экспертной системы принятия решений в построении медицинского диагноза. //Мэ и Инф. - 2007, 14-я межвузовская научно-техническая конференция студентов и аспирантов: Тезисы докладов. - М.: МИЭТ, 2007, С. 137.
2. Аюпов И.Р. Использование гибридно - нечетких сетей для идентификации объекта и принятия решений. //Актуальные проблемы информатизации. Развитие информационной инфраструктуры, технологий и систем. Всероссийская межвузовская научно-техническая конференция - 2007: тезисы докладов, С.72.
3. Аюпов И.Р., Лисовец Ю.П., Лукьянов И.В. Моделирование нейронной сети в среде Matlab для построения медицинского диагноза. //Проектирование инженерных и научных приложений в среде Matlab, 2007. 3-я всероссийская научная конференция: тезисы докладов. С.27.
4. Аюпов И.Р., Лисовец Ю.П. Использование искусственных нейронных сетей для оценки риска анестезии. //Информационные технологии в науке, образовании, телекоммуникации и бизнесе. IT + S&E’08. VI международная конференция молодых ученых - 2008: тезисы докладов, публ. в электр.виде.
5. Аюпов И.Р., Лисовец Ю.П., Лукьянов И.В., Рычагов М.Н. Моделирование и конструирование номограмм в урологической практике. //Физическое образование в вузах. Труды конференции - конкурса молодых физиков, 2010: тезисы докладов, Т.16, № 1, С.5-6.
6. Аюпов И.Р. Математическое моделирование предоперационного прогнозирования стадии рака простаты. //Мэ и Инф. - 2011, 18-я межвузовская научно-техническая конференция студентов и аспирантов: тезисы докладов. - М.: МИЭТ, 2011, С.123.
7. Аюпов И.Р. Информационные технологии в медицине, в части раковых заболеваний. //IV International scientific conference "Science4health 2012": тезисы докладов, С.31.
По теме диссертации опубликовано 4 научные работы, в том числе 4 - в изданиях, рекомендованных ВАК РФ:
1. Демченко Н.А., Лукьянов И.В., Аюпов И.Р., Лисовец Ю.П. Актуальные проблемы онкоурологии. Заболевания предстательной железы. Новые технологии в урологии. //Медицинский вестник Башкортостана. 2011, Т. 6, № 2, С. 244-248.
2. Аюпов И.Р., Демченко Н.А., Лисовец Ю.П., Лукьянов И.В. Прогнозирование состояния больного после операции при раке предстательной железы с помощью нейронной сети. //Медицинская физика, 2012, №3 (55), С. 98-102.
3. Аюпов И.Р., Гончаров В.А., Лукьянов И.В. Математическая модель прогнозирования состояния больного на основе нейронной сети //Изв. ВУЗов. Электроника. 2013, №5 (103), С.75-80.
4. Аюпов И.Р. Параметрический метод обучения нейронной сети в задаче прогнозирования // Управление экономическими системами: электронный научный журнал, 2015. № 1 (73).
Основные положения, выносимые на защиту:
1. формализованное представление задачи прогнозирования, основанное на поиске оптимальных межнейронных связей нейронной сети;
2. метод подготовки собранной информации для математического моделирования;
3. адаптивный алгоритм прогнозирования на базе нейронной сети с предложенной функцией активации (арктангенс) и функцией ошибки (логарифмическое правдоподобие);
4. метод параметризации адаптивного и генетического алгоритмов в задаче прогнозирования;
5. верификация разработанных метода и алгоритмов путем компьютерного моделирования, позволило установить их высокую эффективность по сравнению с известными.
Основным результатом данной работы является разработка и внедрение постоянно действующей системы мониторинга и прогнозирования состояния здоровья пациента. Диссертационная работа позволяет сделать шаг вперед в улучшении качества оказываемой помощи в лечебном учреждении, и обеспечить развитие системы диагностирования на ранней стадии болезни.
Диссертация посвящена созданию математической модели прогнозирования состояния здоровья пациента в онкоурологической практике на основе нейронной сети. Лежащая в основе построения системы прогнозирования математическая нейросетевая модель создает базу знаний. База знаний - это особого рода база данных, которая содержит структурированную информацию, и созданная, чтобы оперировать знаниями. Базы знаний содержат в себе не только фактическую информацию, но и правила вывода, допускающие автоматизированные заключения о вновь вводимых фактах и осмысленную обработку информации. База знаний — важный компонент интеллектуальной системы. Функционирование нейронной сети определяется работой нейронов, которые характеризуются функцией активации. Вторым важным элементом сети являются межнейронные связи, которые соединяют нейроны. Определение весов межнейронных связей производится путем вычисления функции ошибки и последующей ее минимизацией. Функция ошибки на обучающем наборе вычисляет величину отклонения желаемого сигнала от фактического (который получен на выходе сети), таким образом, определяя корректность обучения. Т.к. межнейронные связи присутствуют между каждыми нейронами в соседних слоях, то вычисление ошибки происходит для каждого слоя (там, где связи отсутствуют, принимается, что вес межнейронной связи равен нулю). Аккумулирование всех ошибок необходимо для комплексного анализа величины отклонения, и последующего регулирования весов межнейронных связей, чтобы минимизировать суммарную величину отклонения по всей сети. Таким образом, обучение нейронной сети представляет собой минимизацию глобальной величины ошибки: E(W >) ^ 0,
вычисляемой для каждого веса межнейронной связи W > > соединяющей
нейроны i и j слоя к. Решение задачи обучения нейронной сети является многомерной задачей нелинейной оптимизации.

Список литературы

Заключение
Диссертационная работа посвящена разработке параметрического алгоритма прогнозирования. В результате выполнения работы получены следующие научные и практические результаты:
• Предложен метод подготовки собранной информации для использования в математической модели, позволяющий поэтапно адаптировать информацию для математического моделирования.
• Проведена формализация задачи. Предложен метод подготовки собранной информации для использования в математической модели (предложена система опросников, позволяющая собрать и подготовить информацию к математическому моделированию).
• Разработан адаптивный алгоритм обучения нейронной сети, предложена функция активации, позволяющая учитывать специфику задачи в условиях ограниченного набора данных.
• Разработан алгоритм уменьшения размерности нейронной сети для эффективного обобщения полученных знаний при небольшом количестве обучающих данных.
• Разработан параметрический метод обучения нейронной сети, который улучшает достоверность результатов прогноза на 10%. Проведена коррекция структуры (изменение весовых коэффициентов) нейронной сети на базе генетического алгоритма.
Разработано программное обеспечение системы прогнозирования. Модель прогнозирования состояния здоровья пациента в онкоурологии апробирована и внедрена в практическую деятельность государственного учреждения. Созданная модель является комплексной системой для работы врача уролога, позволяющая осуществлять индивидуальный подход к каждому пациенту.
Список источников и литературы:
1. Носенко Е.Н. Искусственные нейронные сети в медицинских исследованиях // Перспективы в медицине и биологии. - 2011. - Т. 3, №
1. - С. 76-79.
2. Баршуков В.Г. Прогнозирование результатов дистанционной литотрипсии при лечении мочекаменной болезни. // Урология и нефрология, 1997 г . №4. с 57-61.
3. Булыгин В.В. Представление неточных и слабовыраженных данных в инструментальных медицинских экспертных системах. // Актуальные проблемы медицины. М., 1993 С. 105-109.
4. Быховский М.Л. Кибернетические системы в медицине. М.: Наука, 1971, 312 с.
5. Cindy L. Grines, M.D., et al. A Comparison Of Immediate Angioplasty With Thrombolytic Therapy For Acute Myocardial Infarction, The New England Journal of Medicine, vol. 328, No. 10, 1993, Massachusettes Medical Society, pp. 673-679.
6. L. Kristin Newby et al. Biochemical Markers in Suspected Acute Myocardial Infarction: The Need for Early Assessment, Duke University Medical Center, Durham, NC, Clinical Chemistry, vol. 41, No. 9, 1995, pp. 1263-1265.
7. Fibrinolytic Therapy Trialists (FTT) Collaborative Group, Indications for fibrinolytic therapy in suspected acute myocardial infarction: collaborative overview of early mortality and major morbidity results from all randomised trial of more than 1000 patients, UK, The Lancet, vol. 343, 1994, pp. 311¬322.
8. B. D. Ripley, Neural Networks and Related Methods for Classification, United Kingdom, J.R. Statist, Soc. B, 56, No. 3, 1994, pp. 409-456.
9. Статистика злокачественных новообразований в России и странах СНГ в 2007 г. // Вестник РОНЦ им. Н.Н. Блохина РАМН. - Том 20. - № 3 (77). - Прил. 1
10. Аркадьев А. Г., Браверманн Э. М. Обучение машины классификации объектов, Москва, “Наука”, 1971
11. Holland J. H., Adaptation in Natural and Artificial Systems, Ann Arbor: University of Michigan Press, 1975.
12. Гусев А.В.. Обзор рынка комплексных медицинских информационных систем. //Врач и информационные технологии, Кондопога, 2005.
13. Ewout W. Steyerberg, Karel G. M. Moons. Prognosis Research Strategy (PROGRESS) 3: Prognostic Model Research. //PLOS Medicine, V. 10, Issue 2, 2013.
14. Ackley D.H., A connectionist machine for genetic hillclimbing, Boston, MA: Kluwer Academic Publishers, 1987.
15. Абоян И.А. Современные методы диагностики и лечения ДГПЖ. //Диссертация доктора медицинских наук. Москва, 1998
16. Гублер Е.В. Вычислительные методы анализа и распознавания патологических процессов. Л.: Медицина.-1978.-294с.
17. Дюк В.А. Информационные технологии в медико-биологических исследованиях / В.А. Дюк. СПб.: Питер, 2003
18. Журавлев С.Г. Биомедицинские математические модели и их идентификация / С.Г. Журавлев, В.В. Ермаков. М.: ВИНИТИ, 1989. - 223 с.
19. Заболотская Н.В. Новые технологии в ультразвуковой маммографии / Н.В. Заболотская, B.C. Заболотский. М.: СТРОМ, 2005. - 233 с.
20. Баршуков, В.Г. Прогнозирование результатов дистанционной литотрипсии при лечении мочекаменной болезни //Урология и нефрология 1997 г . №4. с 57-61.
21. Potter C, Donnel C, Crawford ED, et al. Artificial neuron network model to predict biochemical failure after radical prostatectomy. Mol Urol. 2001; №5, p.159-162
22. Djavan B, Partin A, Zlotta AR, et al. Prospective evaluation of an artificial neural network for prostate cancer (PCa) detection. J Urol. 2000; №4, A1227.
23. Potter SR, Miller MG, Mangold LA, et al. Genetically engineered neural networks for predicting prostate cancer progression after radical prostatectomy. Urology. 1999; №54, р.791-795.
24. http: //ati.tuwien.ac. at/research_areas/neutron_quantum_physics/members/ sub_proj ect_groups/neutron_radiography_and_3 d_ct/EN/