Исследования по стохастическому оптимальному уровню Пресман, Эрнст Львович

Короткий опис

Пресман, Эрнст Львович.
Исследования по стохастическому оптимальному уровню : диссертация ... доктора физико-математических наук в форме науч. докл. : 01.01.05. - Москва, 1999. - 72 с.
Оглавление диссертациидоктор физико-математических наук в форме науч. докл. Пресман, Эрнст Львович
Актуальность темы. Математические модели и методы стохастического оптимального управления составляют раздел общей теории оптимального управления. Краеугольным камнем детерминированной части этой теории для процессов, протекающих во времени, служат общая концепция динамического программирования и принцип максимума Понтрягина, разработанные Беллманом, Понтрягиным и их многочисленными учениками и последователями.
В создании стохастической части этого раздела исходным пунктом послужили работы Вальда и других авторов по последовательному анализу, которые привели к созданию общей теории статистических решений. Различные расширения этой теории и близкие по духу идеи отражены в работах Ховарда, Блэкуэлла, Штрауха, Дынкина и Юшкевича, Райфа и Шляйфера, Гихмана и Скорохода и многих других.
К тому же кругу вопросов относятся такие математические теории, как управление процессами диффузионного и более общего типа (при этом стоит упомянуть работы Крылова, Прагараускаса и их учеников), теория оптимальной остановки марковских цепей и статистика случайных процессов, развитые в работах Ширяева, Липцера и Ширяева, Чоу и др., стохастический принцип максимума (Аркин и др.), теория адаптивного управления (Срагович и его ученики).
Важную роль сыграла в свое время задача оптимального выбора, которая во многом стимулировала развитие общей теории оптимальной остановки.
В задачах последовательного управления по неполным данным существенное место занимает так называемая задача о "двуруком бандите", которая отражает основные особенности соответствующей теории. По этой тематике опубликовано несколько монографий и много статей. Упомянем только работы Уиттла, Гиттинса, Бэрри и Фристеда, Варайя, Глазербука, Демпстера и др.
Основным моментом при рассмотрении задач последовательного управления по неполным данным в байесовской постановке является их сведение к задачам управления по полным наблюдениям, когда надо следить за достаточными статистиками. В рассматриваемых задачах достаточными статистиками являются апостериорные вероятности гипотез, при этом в случае непрерывного времени, соответствующая задача сводится к задаче управления процессом с дискретным вмешательством случая (piecewise deterministic processes или PDP - в английской терминологии). Изучению этих процессов посвящена в настоящее время также обширная литература. Следует упомянуть работы Вермеша, Ленхардта и Ляо, Дэвиса, Сонэра и др.
Общие вопросы стохастического управления (в основном с полной информацией) рассматриваются в работах Кушнера, Бертсекаса и Шрива, Уитла, Росса, Стенгеля, Кумара и Варайя, Дэвиса, Дэвиса и Винтера, Боркара и др.
Существует обширная литература, посвященная прикладным аспектам стохастического управления. Упомянем только работы Фельдбаума, Красовского, Куржанского, Юдина, Черноусько, Колмановского и многих других.
В последние годы развитие теории стохастического управления существенно стимулировалось потребностями решения задач управления производственными процессами и финансовыми инструментами. Вопросам стохастического управления, связанным с производственными процессами посвящены работы Гершвина, Кумара, Караманиса, Ласер-ре, Бея, Хойри, Сэти и его соавторов и др. Применение соответствующей теории и методов к вопросам финансовой математики хорошо отражены в недавно вышедшей монографии Ширяева и монографии Сэти, в которых содержится обширная библиография по этой тематике.
Проблематика управляемых случайных процессов является весьма популярной в последние десятилетия. Почти все конференции, посвященные теории управления, теории вероятностей и случайным процессам имеют соответствующие секции. Такие секции присутствуют и на многих конференциях, посвященных прикладным вопросам.
Цель работы. Диссертационная работа посвящена развитию новых методов и подходов при исследовании управляемых случайных процессов. Эти методы и подходы связаны с углубленным исследованием уравнения оптимальности Гамильтона-Якоби-Беллмана, структуры решения этого уравнения (называемого функцией Беллмана или ценой игры), и структуры оптимального управления. В отличие от случая дискретного времени с конечным горизонтом, когда имеется возможность строить оптимальное решение индукцией назад, начиная от последнего момента времени, для случая непрерывного времени, а тем более при бесконечном горизонте управления, такая возможность отсутствует, и приходится искать новые методы и подходы, заменяющие такую индукцию, и позволяющие решать конкретные задачи и изучать свойства оптимальных решений.
Наиболее существенные результаты и их новизна:
- Изучена задача оптимального выбора при случайном числе объектов, приведены условия, при которых множество остановки носит островной характер, сформулированы принципы рассмотрения предельной задачи. Для игр на случайных процессах, обобщающих задачу оптимального выбора, доказаны теоремы о существовании и числе точек равновесия по Нэшу;
- Развит подход к решению задач последовательного управления по неполным данным с дискретным вмешательством случая. Этот подход основан на их сведении к детерминированным задачам управления между скачками случайного процесса. С помощью этого подхода подробно изучена пуассоновская версия так называемой "задачи о двуруком бандите" с дисконтированием. Получены явные формулы и исследована чувствительность критерия оптимальности по отношению к коэффициенту дисконтирования.
- В задаче управления стохастическим линейным регулятором с квадратичным критерием качества получен неожиданный и неулучшаемый результат о порядке роста "дефекта" оптимального управления.