Оптимальное управление
— это задача проектирования системы, обеспечивающей для заданного объекта управления или процесса закон управления или управляющую последовательность воздействий, обеспечивающих максимум или минимум заданной совокупности критериев качества системы
.
Определение
Задача оптимального управления включает в себя расчет оптимальной программы управления и синтез системы оптимального управления. Оптимальные программы управления, как правило, рассчитываются численными методами нахождения экстремума функционала или решения краевой задачи для системы дифференциальных уравнений
. Синтез систем оптимального управления с математической точки зрения представляет собой задачу
нелинейного программирования
в функциональных пространствах
.
Для решения задачи определения программы оптимального управления строится
математическая модель
управляемого объекта или процесса, описывающая его поведение с течением времени под влиянием управляющих воздействий и собственного текущего состояния
.
Если математическая модель управляемого объекта или процесса заранее неизвестна, то для её определения необходимо провести процедуру
идентификации
управляемого объекта или процесса
Математическая модель для задачи оптимального управления включает в себя: формулировку цели управления, выраженную через критерий качества управления; определение
дифференциальных
или
разностных
уравнений
, описывающих возможные способы движения объекта управления; определение ограничений на используемые ресурсы в виде уравнений или неравенств
.
Все задачи оптимального управления можно рассматривать как задачи
математического программирования
и в таком виде решать их численными методами.
При оптимальном управлении иерархическими многоуровневыми системами, например, крупными химическими производствами, металлургическими и энергетическими комплексами, применяются многоцелевые и многоуровневые иерархические системы оптимального управления. В математическую модель вводятся критерии качества управления для каждого уровня управления и для всей системы в целом, а также координация действий между уровнями управления
.
Если управляемый объект или процесс является детерминированным, то для его описания используются дифференциальные уравнения. Наиболее часто используются обыкновенные дифференциальные уравнения вида
. В более сложных математических моделях (для систем с распределёнными параметрами) для описания объекта используются
дифференциальные уравнения в частных производных
. Если управляемый объект является стохастическим, то для его описания используются
стохастические дифференциальные уравнения
.
Для решения задач оптимального управления в условиях конфликта или неопределенности используется теория
дифференциальных игр
.
Если решение поставленной задачи оптимального управления не является непрерывно зависящим от исходных данных (
некорректная задача
), то такая задача решается специальными численными методами.
Для решения задач оптимального управления с неполной исходной информацией и при наличии ошибок измерений используется метод максимального правдоподобия
.
Система оптимального управления, способная накапливать опыт и улучшать на этой основе свою работу, называется
обучающейся системой
оптимального управления
.
Реальное поведение объекта или системы всегда отличается от программного вследствие неточности в начальных условиях, неполной информации о внешних возмущениях, действующих на объект, неточности реализации программного управления и т. д. Поэтому для минимизации отклонения поведения объекта от оптимального обычно используется
система автоматического регулирования
.
Иногда (например, при управлении сложными объектами, такими как доменная печь в металлургии или при анализе экономической информации) в исходных данных и знаниях об управляемом объекте при постановке задачи оптимального управления содержится неопределённая или нечёткая информация, которая не может быть обработана традиционными количественными методами. В таких случаях можно использовать алгоритмы оптимального управления на основе математической теории нечётких множеств (
нечёткое управление
). Используемые понятия и знания преобразуются в нечёткую форму, определяются нечёткие правила вывода принимаемых решений, затем производится обратное преобразование нечётких принятых решений в физические управляющие переменные.
Для решения задач оптимального управления очень большой размерности, не позволяющей их решать методами классической математики, используются методы
ситуационного управления
.
Для оптимального управления экономическими процессами применяются методы
экономической кибернетики
,
теории игр
,
теории графов
Оптимальное управление детерминированными системами
Системы с сосредоточенными параметрами
Наиболее широко при проектировании систем управления детерминированными объектами c сосредоточенными параметрами, описываемыми обыкновенными дифференциальными уравнениями, применяются следующие методы:
вариационное исчисление
,
принцип максимума Понтрягина
и
динамическое программирование
Беллмана
.
Задача оптимального управления
Сформулируем задачу оптимального управления:
-
Уравнения состояния:
(1).
-
Граничные условия
,
(2).
-
Минимизируемый функционал:
.
здесь
— вектор состояния
— управление,
— начальный и конечный моменты времени.
Задача оптимального управления заключается в нахождении функций состояния
и управления
для времени
, которые минимизируют функционал.
Вариационное исчисление
Рассмотрим данную задачу оптимального управления как задачу Лагранжа
вариационного исчисления
. Для нахождения необходимых условий экстремума применим теорему Эйлера-Лагранжа
. Функция Лагранжа
имеет вид:
, где
— граничные условия. Лагранжиан
имеет вид:
, где
,
,
—
n-мерные вектора
множителей Лагранжа
.
Необходимые условия экстремума, согласно этой теореме, имеют вид:
-
стационарность по u:
, (3)
-
стационарность по x, уравнение Эйлера:
(4)
-
трансверсальность по x:
,
(5)
Необходимые условия (3-5) составляют основу для определения оптимальных траекторий. Написав эти уравнения, получаем двухточечную граничную задачу, где часть граничных условий задана в начальный момент времени, а остальная часть — в конечный момент. Методы решения подобных задач подробно разбираются в книге
Принцип максимума Понтрягина
Необходимость в принципе максимума Понтрягина возникает в случае, когда нигде в допустимом диапазоне управляющей переменной невозможно удовлетворить необходимому условию (3), а именно
.
В этом случае условие (3) заменяется на условие (6):
-
(6)
В этом случае согласно принципу максимума Понтрягина величина оптимального управления равна величине управления на одном из концов допустимого диапазона. Уравнения Понтрягина записываются при помощи функции Гамильтона
, определяемой соотношением
. Из уравнений следует, что функция Гамильтона
связана с функцией Лагранжа
следующим образом:
. Подставляя
из последнего уравнения в уравнения (3—5), получаем необходимые условия, выраженные через функцию Гамильтона:
-
уравнение управления по u:
, (7)
-
уравнение состояния:
, (8)
-
сопряжённое уравнение:
, (9)
-
трансверсальность по x:
,
(10)
Необходимые условия, записанные в такой форме, называются уравнениями Понтрягина. Более подробно принцип максимума Понтрягина разобран в книге
.
Пример
Пусть требуется решить задачу минимизации функционала:
-
, где
,
,
.
Функция Гамильтона в данном случае имеет вид:
-
.
Из условий 9) и 10) находим, что:
-
,
.
Получаем:
-
.
Максимум этой функции по
,
, достигается при
, где
-
По условию,
. Значит:
-
Из
, получаем
. Из условия непрерывности
в точке
найдем постоянную
.
Таким образом:
-
Можно проверить, что найденные
и
составляют оптимальное решение данной задачи
Где применяется
Принцип максимума особенно важен в системах управления с максимальным быстродействием и минимальным расходом энергии, где применяются управления релейного типа, принимающие крайние, а не промежуточные значения на допустимом интервале управления.
История
За разработку теории оптимального управления
Л. С. Понтрягину
и его сотрудникам
В. Г. Болтянскому
,
Р. В. Гамкрелидзе
, и
Е. Ф. Мищенко
в 1962 году была присуждена
Ленинская премия
.
Метод динамического программирования
Метод динамического программирования основан на принципе оптимальности Беллмана, который формулируется следующим образом: оптимальная стратегия управления обладает тем свойством, что каково бы ни было начальное состояние и управление в начале процесса, последующие управления должны составлять оптимальную стратегию управления относительно состояния, полученного после начальной стадии процесса
. Более подробно метод динамического программирования изложен в книге
Достаточные условия оптимальности
Достаточные условия оптимальности управляемых процессов были получены в 1962 году
В. Ф. Кротовым
, на их основе были построены итерационные вычислительные методы последовательного улучшения, позволяющие находить глобальный оптимум в задачах управления
.
Оптимальное управление системами с распределёнными параметрами
В задачах оптимального управления такими объектами, как проходная нагревательная печь,
теплообменный аппарат
, установка для нанесения покрытия, сушильный агрегат,
химический реактор
, установка для разделения смесей, доменная или
мартеновская печь
, коксовая батарея,
прокатный стан
, печь индукционного нагрева и т. д. управляемый процесс описывается дифференциальными уравнениями в частных производных, интегральными уравнениями и интегро-дифференциальными уравнениями.
Теория оптимального управления в этом случае разработана лишь для отдельных видов этих уравнений: эллиптического, параболического и гиперболического типа.
В некоторых простых случаях удается получить аналог принципа максимума Понтрягина.
Если решения систем уравнений имеют неустойчивости, точки разрыва, точки бифуркации, кратные решения, то для их получения используется ряд специальных методов
.
Задача оптимального управления
-
Задана область определения управляемого процесса
-
Уравнения, описывающие управляемый процесс:
, где
—
— мерный вектор, описываемый управляемый процесс,
—
— мерный вектор производных вектора
по координате
,
—
— мерный вектор производных вектора
по координате
,
—
— мерный управляющий вектор.
-
Граничные условия для управляемого процесса:
-
Задача оптимального управления состоит в том, чтобы найти такое управление
, при котором допустимое уравнениями
решение
приводит к максимуму функционала
.
Принцип максимума для систем с распределёнными параметрами
С целью формулировки принципа максимума для систем с распределёнными параметрами вводится функция Гамильтона:
, где вспомогательные функции
должны удовлетворять уравнениям
и граничным условиям
при
,
при
,
.
Если
- оптимальное управление и
- получающиеся при оптимальном управлении функции, удовлетворяющие уравнениям
, то функция
, рассматриваемая как функция от аргумента
достигает максимума в области
при
, то есть почти для всех точек
выполняется равенство
Если система
является линейной системой вида
, то выполняется теорема
Для оптимальности управления
в линейном случае необходимо и достаточно, чтобы выполнялся принцип максимума.
Доказательство этих двух теорем смотри в книге
.
Оптимальное управление линейными стохастическими системами
В этом случае управляемый объект или процесс описывается линейными
стохастическими дифференциальными уравнениями
. В этом случае решение задачи оптимального управления осуществляется на основе уравнения Риккати
.
Задача оптимального управления
-
Система описывается линейными стохастическими дифференциальными уравнениями
, где
—
-мерный вектор состояния,
—
-мерный вектор управления,
—
-мерный вектор наблюдаемых переменных,
— независимые винеровские процессы с нулевыми средними значениями и заданными ковариациями приращений,
— матрицы.
-
Необходимо найти оптимальное управление, минимизирующее математическое ожидание функции потерь
.
См. также
Примечания
-
↑
Самойленко В. И., Пузырев В. А., Грубрин И. В.
«Техническая кибернетика», учеб. пособие, М., изд-во
МАИ
, 1994, 280 с. ил.,
ISBN 5-7035-0489-9
, гл. 4 «Оптимальные системы управления динамическими объектами и процессами», с. 63-113;
-
, с. 114.
-
, с. 316.
-
Растригин Л. А.
Этот случайный, случайный, случайный мир. — М., Молодая гвардия, 1969. — С. 47 — 50
-
Растригин Л. А.
, Маджаров Н. Е.
Введение в идентификацию объектов управления. —
М.
: Энергия, 1977. — 216 с.
-
, с. 79—89.
-
Коршунов Ю. М. «Математические основы кибернетики», учеб. пособие для вузов, 2-е изд., перераб. и доп., М., «Энергия», 1980, 424 с., ил., ББК 32.81 6Ф0.1, гл. 5 «Структура и математическое описание задач оптимального управления», c. 202;
-
, с. 18.
-
, с. 304—368.
-
Месарович М., Мако Д., Ткахара И.
Теория иерархических многоуровневых систем — М., Мир, 1973. — с. 344
-
↑ , с. 465—520.
-
Красовский Н. Н., Субботин А. И.
Позиционные дифференциальные игры. - М., Наука, 1974. - с. 24
-
Васильев Ф. П.
Методы решения экстремальных задач. — М.: Наука, 1981. — С. 159.
-
, с. 351—368.
-
Цыпкин Я. З.
Основы теории обучающихся систем. — М.: Наука, 1970. — С. 252.
-
Александров А. Г.
Оптимальные и адаптивные системы. — М.: Высшая школа, 1989. — 263 с.
ISBN 5-06-000037-0
-
Методы робастного, нейро-нечёткого и адаптивного управления: Учебник / Под ред. Н. Д. Егупова, изд. 2-ое, стер., М., Изд-во МГТУ им Н. Э. Баумана, 2002, 744 с ил.,
ISBN 5-7038-2030-8
, тир. 2000 экз, ч. 2 «Нечёткое управление»
-
Теплов Л.
Что считать: популярные очерки по экономической кибернетике. — М., Московский рабочий, 1970. — 317 c.
-
↑ Э. М. Галеев,
В. М. Тихомиров
«Оптимизация: теория, примеры, задачи», М., «Эдиториал УРСС», 2000, 320 с.,
ISBN 5-8360-0041-7
, гл. 3 «Вариационное исчисление», п. 6 «Задача Лагранжа», с. 173—181;
-
«Численные методы в теории оптимальных систем»,
Моисеев Н. Н.
, «Наука», 1971, 424 стр. с илл., гл. 2 «Численные методы расчета оптимальных программ, использующие необходимые условия экстремума», с 80 — 155;
-
Барбаумов В. Е., Ермаков В. И., Кривенцова Н. Н.
Справочник по математике для экономистов. — М., Высшая школа, 1987. — с. 243
-
Беллманн Р.
«Динамическое программирование», ИЛ, М., 1960;
-
«Численные методы в теории оптимальных систем»,
Моисеев Н. Н.
, «Наука», 1971, 424 стр. с илл., гл. 3 «Прямые методы теории оптимального управления», с 156—265;
-
Воронов А. А.
Теория автоматического управления. Т. 1. — М.: Высшая школа, 1986, стр. 294—304.
-
Васильев Ф. П.
Численные методы решения экстремальных задач. — М.: Наука, 1988, стр. 522—530.
-
Кротов В. Ф.
Методы решения вариационных задач на основе достаточных условий абсолютного минимума. I—IV // Автоматика и телемеханика, 1962, т. 23, № 12, стр. 1571—1583; 1963, т. 24, № 5, стр. 581—598; 1963, т. 24, № 7, стр. 826—843; 1965, т. 26, № 1, стр. 24-41.
-
Ж.-Л. Лионс
Оптимальное управление системами, описываемыми уравнениями с частными производными, М., Мир, 1972, 412 c.
-
↑ Бутковский А. Г. Теория оптимального управления системами с распределенными параметрами, М., Наука, 1965
-
Ж.-Л. Лионс
Управление сингулярными распределенными системами, М., Мир, 1987, 367 c.
-
К. Ю. Острем Введение в стохастическую теорию управления, М., Мир, 1973
Литература
-
Растригин Л. А.
Современные принципы управления сложными объектами. — М.: Сов. радио, 1980. — 232 с., ББК 32.815, тир. 12000 экз.
-
Алексеев В. М.,
Тихомиров В. М.
, Фомин С. В.
Оптимальное управление. — М.: Наука, 1979, УДК 519.6, — 223 c., тир. 24000 экз.
-
Волгин Л. Н.
Оптимальное дискретное управление динамическими системами. —
М.
: Наука, 1986. — 240 с.
-
Табак Д., Куо Б.
Оптимальное управление и математическое программирование. —
М.
: Наука, 1975. — 279 с.
-
Моисеев Н. Н.
Элементы теории оптимальных систем. —
М.
: Наука, 1975. — 526 с.
-
,
Тихомиров В. М.
Краткий курс теории экстремальных задач. —
М.
: МГУ, 1989. — 204 с. —
ISBN 5-211-00313-6
.
-
Кротов В.Ф., Гурман В. И.
Методы и задачи оптимального управления. —
М.
: Наука, 1973.
-
Понтрягин Л. С., Болтянский В. Г., Гамкрелидзе Р. В., Мищенко Е. Ф.
Математическая теория оптимальных процессов. —
М.
: Наука, 1976.
-
Болтянский В. Г.
Оптимальное управление дискретными системами. —
М.
: Наука, 1973.
-
Бутковский А. Г.
Теория оптимального управления системами с распределенными параметрами. —
М.
: Наука, 1965.
-
Бутковский А. Г.
Методы управления системами с распределенными параметрами. —
М.
: Наука, 1975.
-
Будак Б. М., Васильев Ф. П.
Приближенные методы решения задач оптимального управления. —
М.
: МГУ, 1969.
-
Олейников В. А., Зотов Н. С., Пришвин А. М.
Основы оптимального и экстремального управления. —
М.
: Высшая школа, 1969. — 296 с.
-
Дегтярев Г. Л., Сиразетдинов Т. К.
Теоретические основы оптимального управления упругими космическими аппаратами. —
М.
: Машиностроение, 1986. — 216 с.
-
Лернер А. Я.
, Розенман Е. А.
Оптимальное управление. —
М.
: Энергия, 1970. — 360 с.
-
Гурман В. И.
, Тихомиров В. Н., Кириллова Ф. М.
Оптимальное управление. —
М.
: Знание, 1978. — 144 с.
-
Болтянский В. Г.
Математические методы оптимального управления. —
М.
: Наука, 1969. — 408 с.
-
Янг Л.
Лекции по вариационному исчислению и теории оптимального управления. —
М.
: Мир, 1974. — 488 с.
-
Макаров И. М.
, Лохин В. М. Манько С. В.
Искусственный интеллект и интеллектуальные системы управления. —
М.
:
Наука
, 2006. — 333 с. — 1000 экз. —
ISBN 5-02-033782-X
.
-
Дончев А.
Системы оптимального управления. Возмущения, приближения и анализ чувствительности. —
М.
: Мир, 1987. — 156 с. — 6700 экз.
-
В. А. Иванов, А. С. Ющенко.
. —
М.
:
Московский государственный технический университет имени Н. Э. Баумана
, 2015. — 352 с. —
ISBN 978-5-7038-4178-5
.
-
Кузин Л. Т.
Основы кибернетики. —
М.
: Энергия, 1973. — 504 с. — 30 000 экз.
-
Фурсиков А. В.
Оптимальное управление распределёнными системами. Теория и приложения. — Новосибирск: Научная книга, 1999. — 352 с. — 1000 экз. —
ISBN 5-88119-017-3
.
-
Лионс Ж. Л.
Управление сингулярными распределёнными системами. — Москва: Наука, 1987. — 368 с. — 3600 экз.
-
Хазен Э. М.
Методы оптимальных статистических решений и задачи оптимального управления. — Москва: Советское радио, 1968. — 256 с. — 12 000 экз.
-
Лейтман Дж.
Введение в теорию оптимального управления. — Москва: Наука, 1968. — 190 с. — 14 000 экз.
-
Саридис Дж.
Самоорганизующиеся стохастические системы управления. — Москва: Наука, 1980. — 400 с. — 4000 экз.
-
А. А. Аграчев
, Ю. Л. Сачков.
. — Москва: ФИЗМАТЛИТ, 2004. — 391 с. —
ISBN 5-9221-0532-9
.
Ссылки