Оптимальное управление — это задача проектирования системы, обеспечивающей для заданного объекта управления или процесса закон управления или управляющую последовательность воздействий, обеспечивающих максимум или минимум заданной совокупности критериев качества системы .

Определение

Задача оптимального управления включает в себя расчет оптимальной программы управления и синтез системы оптимального управления. Оптимальные программы управления, как правило, рассчитываются численными методами нахождения экстремума функционала или решения краевой задачи для системы дифференциальных уравнений . Синтез систем оптимального управления с математической точки зрения представляет собой задачу нелинейного программирования в функциональных пространствах .

Для решения задачи определения программы оптимального управления строится математическая модель управляемого объекта или процесса, описывающая его поведение с течением времени под влиянием управляющих воздействий и собственного текущего состояния .

Если математическая модель управляемого объекта или процесса заранее неизвестна, то для её определения необходимо провести процедуру идентификации управляемого объекта или процесса

Математическая модель для задачи оптимального управления включает в себя: формулировку цели управления, выраженную через критерий качества управления; определение дифференциальных или разностных уравнений , описывающих возможные способы движения объекта управления; определение ограничений на используемые ресурсы в виде уравнений или неравенств .

Все задачи оптимального управления можно рассматривать как задачи математического программирования и в таком виде решать их численными методами.

При оптимальном управлении иерархическими многоуровневыми системами, например, крупными химическими производствами, металлургическими и энергетическими комплексами, применяются многоцелевые и многоуровневые иерархические системы оптимального управления. В математическую модель вводятся критерии качества управления для каждого уровня управления и для всей системы в целом, а также координация действий между уровнями управления .

Если управляемый объект или процесс является детерминированным, то для его описания используются дифференциальные уравнения. Наиболее часто используются обыкновенные дифференциальные уравнения вида ${\displaystyle {\dot {x}}(t)=a[x(t),u(t),t]}$ . В более сложных математических моделях (для систем с распределёнными параметрами) для описания объекта используются дифференциальные уравнения в частных производных . Если управляемый объект является стохастическим, то для его описания используются стохастические дифференциальные уравнения .

Для решения задач оптимального управления в условиях конфликта или неопределенности используется теория дифференциальных игр .

Если решение поставленной задачи оптимального управления не является непрерывно зависящим от исходных данных ( некорректная задача ), то такая задача решается специальными численными методами.

Для решения задач оптимального управления с неполной исходной информацией и при наличии ошибок измерений используется метод максимального правдоподобия .

Система оптимального управления, способная накапливать опыт и улучшать на этой основе свою работу, называется обучающейся системой оптимального управления .

Реальное поведение объекта или системы всегда отличается от программного вследствие неточности в начальных условиях, неполной информации о внешних возмущениях, действующих на объект, неточности реализации программного управления и т. д. Поэтому для минимизации отклонения поведения объекта от оптимального обычно используется система автоматического регулирования .

Иногда (например, при управлении сложными объектами, такими как доменная печь в металлургии или при анализе экономической информации) в исходных данных и знаниях об управляемом объекте при постановке задачи оптимального управления содержится неопределённая или нечёткая информация, которая не может быть обработана традиционными количественными методами. В таких случаях можно использовать алгоритмы оптимального управления на основе математической теории нечётких множеств ( нечёткое управление ). Используемые понятия и знания преобразуются в нечёткую форму, определяются нечёткие правила вывода принимаемых решений, затем производится обратное преобразование нечётких принятых решений в физические управляющие переменные.

Для решения задач оптимального управления очень большой размерности, не позволяющей их решать методами классической математики, используются методы ситуационного управления .

Для оптимального управления экономическими процессами применяются методы экономической кибернетики , теории игр , теории графов

Оптимальное управление детерминированными системами

Системы с сосредоточенными параметрами

Наиболее широко при проектировании систем управления детерминированными объектами c сосредоточенными параметрами, описываемыми обыкновенными дифференциальными уравнениями, применяются следующие методы: вариационное исчисление , принцип максимума Понтрягина и динамическое программирование Беллмана .

Задача оптимального управления

Сформулируем задачу оптимального управления:

• Уравнения состояния: ${\displaystyle {\dot {x}}(t)=a[x(t),u(t),t]}$ (1).
• Граничные условия ${\displaystyle x(t_{0})=x_{0}^{*}}$ , ${\displaystyle x(t_{1})=x_{1}^{*}}$ (2).
• Минимизируемый функционал: ${\displaystyle \eta =\int _{t_{0}}^{t_{1}}F[x(\tau ),{\dot {x}}(\tau ),\tau ]d\tau ,}$ .

здесь ${\displaystyle x(t)}$ — вектор состояния ${\displaystyle u(t)}$ — управление, ${\displaystyle t_{0},t_{1}}$ — начальный и конечный моменты времени.

Задача оптимального управления заключается в нахождении функций состояния ${\displaystyle x(t)}$ и управления ${\displaystyle u(t)}$ для времени ${\displaystyle ({t_{0}}\leq {t}\leq {t_{1}})}$ , которые минимизируют функционал.

Вариационное исчисление

Рассмотрим данную задачу оптимального управления как задачу Лагранжа вариационного исчисления . Для нахождения необходимых условий экстремума применим теорему Эйлера-Лагранжа . Функция Лагранжа ${\displaystyle \Lambda }$ имеет вид: ${\displaystyle \Lambda =\int _{t_{0}}^{t_{1}}(F[x(t),{\dot {x}}(t),t]+\lambda _{1}^{T}(t)({\dot {x}}(t)-a[x(t),u(t),t]))dt+l}$ , где ${\displaystyle l=\lambda _{2}^{T}(x(t_{0})-x_{0}^{*})+\lambda _{3}^{T}(x(t_{1})-x_{1}^{*})}$ — граничные условия. Лагранжиан ${\displaystyle L}$ имеет вид: ${\displaystyle L[x(t),{\dot {x}}(t),u(t),\lambda (t),t]=F[x(t),{\dot {x}}(t),t]+\lambda _{1}^{T}(t)({\dot {x}}(t)-a[x(t),u(t),t])}$ , где ${\displaystyle \lambda _{1}}$ , ${\displaystyle \lambda _{2}}$ , ${\displaystyle \lambda _{3}}$ — n-мерные вектора множителей Лагранжа .

Необходимые условия экстремума, согласно этой теореме, имеют вид:

• стационарность по u: ${\displaystyle {\hat {L}}_{u}=0}$ , (3)
• стационарность по x, уравнение Эйлера: ${\displaystyle {\hat {L}}_{x}-{\frac {d}{dt}}{\hat {L}}_{\dot {x}}=0}$ (4)
• трансверсальность по x: ${\displaystyle {\hat {L}}_{\dot {x}}(t_{0})={\hat {l}}_{x(t_{0})}}$ , ${\displaystyle {\hat {L}}_{\dot {x}}(t_{1})=-{\hat {l}}_{x(t_{1})}}$ (5)

Необходимые условия (3-5) составляют основу для определения оптимальных траекторий. Написав эти уравнения, получаем двухточечную граничную задачу, где часть граничных условий задана в начальный момент времени, а остальная часть — в конечный момент. Методы решения подобных задач подробно разбираются в книге

Принцип максимума Понтрягина

Необходимость в принципе максимума Понтрягина возникает в случае, когда нигде в допустимом диапазоне управляющей переменной невозможно удовлетворить необходимому условию (3), а именно ${\displaystyle {\hat {L}}_{u}=0}$ .

В этом случае условие (3) заменяется на условие (6):

${\displaystyle {\begin{aligned}\min _{u\in U}L(t,x(t),{\dot {x}}(t),u)&=L(t,{\hat {x}}(t),{\dot {x}}(t),{\hat {u}})\Longleftrightarrow \\&\Longleftrightarrow \min _{u\in U}\left(F(t,x(t),u)-\lambda (t)a(t,x(t),u)\right)=f(t)-\lambda (t)a(t).\end{aligned}}}$ (6)

В этом случае согласно принципу максимума Понтрягина величина оптимального управления равна величине управления на одном из концов допустимого диапазона. Уравнения Понтрягина записываются при помощи функции Гамильтона ${\displaystyle H}$ , определяемой соотношением ${\displaystyle H=F(t,x(t),u)-\lambda (t)a(t,x(t),u)}$ . Из уравнений следует, что функция Гамильтона ${\displaystyle H}$ связана с функцией Лагранжа ${\displaystyle L}$ следующим образом: ${\displaystyle L=H+\lambda (t){\dot {x}}(t)}$ . Подставляя ${\displaystyle L}$ из последнего уравнения в уравнения (3—5), получаем необходимые условия, выраженные через функцию Гамильтона:

• уравнение управления по u: ${\displaystyle {\hat {H}}_{u}=0}$ , (7)
• уравнение состояния: ${\displaystyle {\dot {x}}=-{\hat {H}}_{\lambda }}$ , (8)
• сопряжённое уравнение: ${\displaystyle {\dot {\lambda }}=-{\hat {H}}_{x}}$ , (9)
• трансверсальность по x: ${\displaystyle \lambda (t_{0})={\hat {l}}_{x(t_{0})}}$ , ${\displaystyle \lambda (t_{1})=-{\hat {l}}_{x(t_{1})}}$ (10)

Необходимые условия, записанные в такой форме, называются уравнениями Понтрягина. Более подробно принцип максимума Понтрягина разобран в книге .

Пример

Пусть требуется решить задачу минимизации функционала:

${\displaystyle \int _{0}^{1}(u^{2}-4x)dt}$ , где ${\displaystyle {\frac {dx}{dt}}=u}$ , ${\displaystyle 0\leqslant u\leqslant 1}$ , ${\displaystyle x(0)=0}$ .

Функция Гамильтона в данном случае имеет вид:

${\displaystyle H=\lambda u-u^{2}+4x}$ .

Из условий 9) и 10) находим, что:

${\displaystyle \lambda =4-4t}$ , ${\displaystyle t\in [0,1]}$ .

Получаем:

${\displaystyle H=(4-4t)u-u^{2}+4x}$ .

Максимум этой функции по ${\displaystyle u}$ , ${\displaystyle 0<u<1}$ , достигается при ${\displaystyle u=u^{*}(t)}$ , где

${\displaystyle u^{*}(t)={\begin{cases}1,&{\mbox{if }}0\leqslant t\leqslant {\frac {1}{2}}\\2-2t,&{\mbox{if }}{\frac {1}{2}}\leqslant t\leqslant 1\end{cases}}}$

По условию, ${\displaystyle {\frac {dx^{*}(t)}{dt}}=u^{*}(t)}$ . Значит:

${\displaystyle x^{*}(t)={\begin{cases}t+c_{1},&{\mbox{if }}0\leqslant t\leqslant {\frac {1}{2}}\\2t-t^{2}-c_{2},&{\mbox{if }}{\frac {1}{2}}\leqslant t\leqslant 1\end{cases}}}$

Из ${\displaystyle x^{*}(0)=0}$ , получаем ${\displaystyle c_{1}=0}$ . Из условия непрерывности ${\displaystyle x^{*}(t)}$ в точке ${\displaystyle t={\frac {1}{2}}}$ найдем постоянную ${\displaystyle c_{2}=-{\frac {1}{4}}}$ .

Таким образом:

${\displaystyle x^{*}(t)={\begin{cases}t,&{\mbox{if }}0\leqslant t\leqslant {\frac {1}{2}}\\2t-t^{2}-{\frac {1}{4}},&{\mbox{if }}{\frac {1}{2}}\leqslant t\leqslant 1\end{cases}}}$

Можно проверить, что найденные ${\displaystyle x^{*}(t)}$ и ${\displaystyle u^{*}(t)}$ составляют оптимальное решение данной задачи

Где применяется

Принцип максимума особенно важен в системах управления с максимальным быстродействием и минимальным расходом энергии, где применяются управления релейного типа, принимающие крайние, а не промежуточные значения на допустимом интервале управления.

История

За разработку теории оптимального управления Л. С. Понтрягину и его сотрудникам В. Г. Болтянскому , Р. В. Гамкрелидзе , и Е. Ф. Мищенко в 1962 году была присуждена Ленинская премия .

Метод динамического программирования

Метод динамического программирования основан на принципе оптимальности Беллмана, который формулируется следующим образом: оптимальная стратегия управления обладает тем свойством, что каково бы ни было начальное состояние и управление в начале процесса, последующие управления должны составлять оптимальную стратегию управления относительно состояния, полученного после начальной стадии процесса . Более подробно метод динамического программирования изложен в книге

Достаточные условия оптимальности

Достаточные условия оптимальности управляемых процессов были получены в 1962 году В. Ф. Кротовым , на их основе были построены итерационные вычислительные методы последовательного улучшения, позволяющие находить глобальный оптимум в задачах управления .

Оптимальное управление системами с распределёнными параметрами

В задачах оптимального управления такими объектами, как проходная нагревательная печь, теплообменный аппарат , установка для нанесения покрытия, сушильный агрегат, химический реактор , установка для разделения смесей, доменная или мартеновская печь , коксовая батарея, прокатный стан , печь индукционного нагрева и т. д. управляемый процесс описывается дифференциальными уравнениями в частных производных, интегральными уравнениями и интегро-дифференциальными уравнениями.

Теория оптимального управления в этом случае разработана лишь для отдельных видов этих уравнений: эллиптического, параболического и гиперболического типа.

В некоторых простых случаях удается получить аналог принципа максимума Понтрягина.

Если решения систем уравнений имеют неустойчивости, точки разрыва, точки бифуркации, кратные решения, то для их получения используется ряд специальных методов .

Задача оптимального управления

• Задана область определения управляемого процесса ${\displaystyle 0\leqslant x\leqslant a,0\leqslant y\leqslant b}$
• Уравнения, описывающие управляемый процесс: ${\displaystyle {\frac {\partial ^{2}Q_{i}}{\partial x\partial y}}=f_{i}(x,y,Q,{\frac {\partial Q}{\partial x}},{\frac {\partial Q}{\partial y}},u);(1)}$ , где ${\displaystyle Q}$ — ${\displaystyle n}$ — мерный вектор, описываемый управляемый процесс, ${\displaystyle {\frac {\partial Q}{\partial x}}}$ — ${\displaystyle n}$ — мерный вектор производных вектора ${\displaystyle Q}$ по координате ${\displaystyle x}$ , ${\displaystyle {\frac {\partial Q}{\partial y}}}$ — ${\displaystyle n}$ — мерный вектор производных вектора ${\displaystyle Q}$ по координате ${\displaystyle y}$ , ${\displaystyle u}$ — ${\displaystyle r}$ — мерный управляющий вектор.
• Граничные условия для управляемого процесса: ${\displaystyle Q_{i}(0,y)=\phi _{i}(y);Q_{i}(x,0)=\psi _{i}(x);i=1,...,n;(2)}$
• Задача оптимального управления состоит в том, чтобы найти такое управление ${\displaystyle u(x,y)}$ , при котором допустимое уравнениями ${\displaystyle (1),(2)}$ решение ${\displaystyle Q(x,y)}$ приводит к максимуму функционала ${\displaystyle J=\sum _{i=1}^{n}c_{i}Q_{i}(a,b)}$ .

Принцип максимума для систем с распределёнными параметрами

С целью формулировки принципа максимума для систем с распределёнными параметрами вводится функция Гамильтона: ${\displaystyle H(N,Q,{\frac {dQ}{dx}},{\frac {dQ}{dy}},u)=\sum _{i=1}^{n}N_{i}f_{i}(x,y,Q,{\frac {dQ}{dx}},{\frac {dQ}{dy}},u)}$ , где вспомогательные функции ${\displaystyle N_{1}(x,y),...,N_{n}(x,y)}$ должны удовлетворять уравнениям ${\displaystyle {\frac {dN_{i}}{dxdy}}={\frac {dH}{dQ_{i}}}-{\frac {d}{dx}}{\frac {dH}{dQ_{ix}}}-{\frac {d}{dy}}{\frac {dH}{dQ_{iy}}}(2)}$ и граничным условиям ${\displaystyle {\frac {dN_{i}}{dx}}=-{\frac {dH}{dQ_{iy}}}}$ при ${\displaystyle y=b(3)}$ , ${\displaystyle {\frac {dN_{i}}{dy}}=-{\frac {dH}{dQ_{ix}}}}$ при ${\displaystyle x=a(4)}$ , ${\displaystyle N_{i}(a,b)=-c_{i}(5)}$ .

Если ${\displaystyle u^{0}(x,y)}$ - оптимальное управление и ${\displaystyle Q^{0}(x,y),N^{0}(x,y)}$ - получающиеся при оптимальном управлении функции, удовлетворяющие уравнениям ${\displaystyle (1),(2),(3),(4),(5)}$ , то функция ${\displaystyle H(N^{0}(x,y),Q^{0}(x,y),{\frac {dQ^{0}(x,y)}{dx}},{\frac {dQ^{0}(x,y)}{dy}},u)}$ , рассматриваемая как функция от аргумента ${\displaystyle u}$ достигает максимума в области ${\displaystyle \omega }$ при ${\displaystyle u=u^{0}(x,y)}$ , то есть почти для всех точек ${\displaystyle (x,y)\in D}$ выполняется равенство ${\displaystyle \max _{u\in \omega }H(N^{0}(x,y),Q^{0}(x,y),{\frac {dQ^{0}(x,y)}{dx}},{\frac {dQ^{0}(x,y)}{dy}},u)=H(N^{0}(x,y),Q^{0}(x,y),{\frac {dQ^{0}(x,y)}{dx}},{\frac {dQ^{0}(x,y)}{dy}},u)}$

Если система ${\displaystyle (1)}$ является линейной системой вида ${\displaystyle {\frac {d^{2}Q_{i}}{dxdy}}=\sum _{k=1}^{n}{\Bigl [}m_{ik}(x,y){\frac {dQ_{k}}{dx}}+p_{ik}(x,y){\frac {dQ_{k}}{dy}}+q_{ik}(x,y)Q_{k}{\Bigr ]}+f_{i}(u)}$ , то выполняется теорема

Для оптимальности управления ${\displaystyle u(x,y)}$ в линейном случае необходимо и достаточно, чтобы выполнялся принцип максимума.

Доказательство этих двух теорем смотри в книге .

Оптимальное управление линейными стохастическими системами

В этом случае управляемый объект или процесс описывается линейными стохастическими дифференциальными уравнениями . В этом случае решение задачи оптимального управления осуществляется на основе уравнения Риккати .

Задача оптимального управления

• Система описывается линейными стохастическими дифференциальными уравнениями ${\displaystyle dx=Axdt+Budt+dv,dy=Cxdt+de}$ , где ${\displaystyle x}$ — ${\displaystyle n}$ -мерный вектор состояния, ${\displaystyle u}$ — ${\displaystyle p}$ -мерный вектор управления, ${\displaystyle y}$ — ${\displaystyle v}$ -мерный вектор наблюдаемых переменных, ${\displaystyle v(t),e(t)}$ — независимые винеровские процессы с нулевыми средними значениями и заданными ковариациями приращений, ${\displaystyle A,B,C}$ — матрицы.
• Необходимо найти оптимальное управление, минимизирующее математическое ожидание функции потерь ${\displaystyle x^{T}(t_{1})Q_{0}x(t_{1})+\int _{t_{0}}^{t_{1}}[x^{T}(t)Q_{1}x(t)+u^{T}Q_{2}u(t)]dt]}$ .

См. также

Примечания

Литература

• Растригин Л. А. Современные принципы управления сложными объектами. — М.: Сов. радио, 1980. — 232 с., ББК 32.815, тир. 12000 экз.
• Алексеев В. М., Тихомиров В. М. , Фомин С. В. Оптимальное управление. — М.: Наука, 1979, УДК 519.6, — 223 c., тир. 24000 экз.
• Волгин Л. Н. Оптимальное дискретное управление динамическими системами. — М. : Наука, 1986. — 240 с.
• Табак Д., Куо Б. Оптимальное управление и математическое программирование. — М. : Наука, 1975. — 279 с.
• Моисеев Н. Н. Элементы теории оптимальных систем. — М. : Наука, 1975. — 526 с.
• , Тихомиров В. М. Краткий курс теории экстремальных задач. — М. : МГУ, 1989. — 204 с. — ISBN 5-211-00313-6 .
• Кротов В.Ф., Гурман В. И. Методы и задачи оптимального управления. — М. : Наука, 1973.
• Понтрягин Л. С., Болтянский В. Г., Гамкрелидзе Р. В., Мищенко Е. Ф. Математическая теория оптимальных процессов. — М. : Наука, 1976.
• Болтянский В. Г. Оптимальное управление дискретными системами. — М. : Наука, 1973.
• Бутковский А. Г. Теория оптимального управления системами с распределенными параметрами. — М. : Наука, 1965.
• Бутковский А. Г. Методы управления системами с распределенными параметрами. — М. : Наука, 1975.
• Будак Б. М., Васильев Ф. П. Приближенные методы решения задач оптимального управления. — М. : МГУ, 1969.
• Олейников В. А., Зотов Н. С., Пришвин А. М. Основы оптимального и экстремального управления. — М. : Высшая школа, 1969. — 296 с.
• Дегтярев Г. Л., Сиразетдинов Т. К. Теоретические основы оптимального управления упругими космическими аппаратами. — М. : Машиностроение, 1986. — 216 с.
• Лернер А. Я. , Розенман Е. А. Оптимальное управление. — М. : Энергия, 1970. — 360 с.
• Гурман В. И. , Тихомиров В. Н., Кириллова Ф. М. Оптимальное управление. — М. : Знание, 1978. — 144 с.
• Болтянский В. Г. Математические методы оптимального управления. — М. : Наука, 1969. — 408 с.
• Янг Л. Лекции по вариационному исчислению и теории оптимального управления. — М. : Мир, 1974. — 488 с.
• Макаров И. М. , Лохин В. М. Манько С. В. Искусственный интеллект и интеллектуальные системы управления. — М. : Наука , 2006. — 333 с. — 1000 экз. — ISBN 5-02-033782-X .
• Дончев А. Системы оптимального управления. Возмущения, приближения и анализ чувствительности. — М. : Мир, 1987. — 156 с. — 6700 экз.
• В. А. Иванов, А. С. Ющенко. . — М. : Московский государственный технический университет имени Н. Э. Баумана , 2015. — 352 с. — ISBN 978-5-7038-4178-5 .
• Кузин Л. Т. Основы кибернетики. — М. : Энергия, 1973. — 504 с. — 30 000 экз.
• Фурсиков А. В. Оптимальное управление распределёнными системами. Теория и приложения. — Новосибирск: Научная книга, 1999. — 352 с. — 1000 экз. — ISBN 5-88119-017-3 .
• Лионс Ж. Л. Управление сингулярными распределёнными системами. — Москва: Наука, 1987. — 368 с. — 3600 экз.
• Хазен Э. М. Методы оптимальных статистических решений и задачи оптимального управления. — Москва: Советское радио, 1968. — 256 с. — 12 000 экз.
• Лейтман Дж. Введение в теорию оптимального управления. — Москва: Наука, 1968. — 190 с. — 14 000 экз.
• Саридис Дж. Самоорганизующиеся стохастические системы управления. — Москва: Наука, 1980. — 400 с. — 4000 экз.
• А. А. Аграчев , Ю. Л. Сачков. . — Москва: ФИЗМАТЛИТ, 2004. — 391 с. — ISBN 5-9221-0532-9 .

Ссылки

• Гамкрелидзе Р. В. .