Метод множителей Лагранжа , применяемый для решения задач математического программирования (в частности, линейного программирования ) — метод нахождения условного экстремума функции ${\displaystyle f(x)}$ , где ${\displaystyle x\in \mathbb {R} ^{n}}$ , относительно ${\displaystyle m}$ ограничений ${\displaystyle \varphi _{i}(x)=0}$ , где ${\displaystyle i}$ меняется от единицы до ${\displaystyle m}$ .

Описание метода

• Составим функцию Лагранжа в виде линейной комбинации функции ${\displaystyle f}$ и функций ${\displaystyle \varphi _{i}}$ , взятых с коэффициентами, называемыми множителями Лагранжа — ${\displaystyle \lambda _{i}}$ :

${\displaystyle L(x,\;\lambda )=f(x)+\sum _{i=1}^{m}\lambda _{i}\varphi _{i}(x),}$

где ${\displaystyle \lambda =(\lambda _{1},\;\ldots ,\;\lambda _{m})}$ .

• Составим систему из ${\displaystyle n+m}$ уравнений, приравняв к нулю частные производные функции Лагранжа ${\displaystyle L(x,\;\lambda )}$ по ${\displaystyle x_{j}}$ и ${\displaystyle \lambda _{i}}$ .
• Если полученная система имеет решение относительно параметров ${\displaystyle x'_{j}}$ и ${\displaystyle \lambda '_{i}}$ , тогда точка ${\displaystyle x'}$ может быть условным экстремумом, то есть решением исходной задачи. Заметим, что это условие носит необходимый, но не достаточный характер.

Обоснование

Нижеприведенное обоснование метода множителей Лагранжа не является его строгим доказательством. Оно содержит эвристические рассуждения, помогающие понять геометрический смысл метода.

Двумерный случай

Пусть требуется найти экстремум функции ${\displaystyle f(x,\;y)}$ при условии, заданном уравнением ${\displaystyle \psi (x,\;y)=0}$ .

Будем считать, что

1) функция ${\displaystyle f}$ непрерывно дифференцируема ,

2) функция ${\displaystyle \psi }$ непрерывно дифференцируема, с частными производными, не равными нулю одновременно, то есть уравнение ${\displaystyle \psi (x,\;y)=0}$ задаёт гладкую кривую ${\displaystyle S}$ из обыкновенных точек на плоскости ${\displaystyle (x,\;y)}$ .

3) кривая ${\displaystyle S}$ не проходит через точки, в которых градиент ${\displaystyle f}$ обращается в ${\displaystyle 0}$ .

Нарисуем на плоскости ${\displaystyle (x,\;y)}$ линии уровня функции ${\displaystyle f}$ (то есть кривые ${\displaystyle f(x,\;y)=\mathrm {const} }$ ). Из геометрических соображений следует, что точкой (возможно — точками) условного экстремума функции ${\displaystyle f}$ может быть только точка касания кривой ${\displaystyle S}$ и некоторой линии уровня, то есть точкой, в которой касательная к ${\displaystyle S}$ и касательная к этой линии уровня — совпадают. Действительно, если в некоторой точке ${\displaystyle (x_{0},\;y_{0})}$ кривая ${\displaystyle S}$ пересекает линию уровня ${\displaystyle f(x_{0},\;y_{0})=C_{0}}$ трансверсально (то есть под некоторым ненулевым углом), то при движении по кривой ${\displaystyle S}$ из точки ${\displaystyle (x_{0},\;y_{0})}$ можно попасть как на линии уровня, соответствующие значению, большему ${\displaystyle C_{0}}$ , так и на линии уровня, соответствующие значению, меньшему ${\displaystyle C_{0}}$ . Следовательно, такая точка не может быть точкой экстремума.

Тем самым, необходимым условием экстремума в рассматриваемом случае будет совпадение касательных. Чтобы записать его в аналитической форме, заметим, что оно эквивалентно параллельности градиентов функций ${\displaystyle f}$ и ${\displaystyle \psi }$ в данной точке, поскольку вектор градиента перпендикулярен касательной к линии уровня. Это условие выражается в следующей форме:

${\displaystyle \nabla f{\Big |}_{(x_{0},\;y_{0})}=\lambda \cdot \nabla \psi {\Big |}_{(x_{0},\;y_{0})},\qquad \qquad (1)}$

где ${\displaystyle \lambda }$ — некоторое число, отличное от нуля, и являющееся множителем Лагранжа.

Рассмотрим теперь функцию Лагранжа , зависящую от ${\displaystyle x,\;y}$ и ${\displaystyle \lambda }$ :

${\displaystyle L(x,\;y,\;\lambda )=f(x,\;y)-\lambda \cdot \psi (x,\;y).}$

Необходимым условием её экстремума является равенство нулю градиента ${\displaystyle \nabla L(x_{0},\;y_{0},\;\lambda _{0})=0}$ . В соответствии с правилами дифференцирования оно записывается в виде

${\displaystyle \left\{{\begin{array}{llcc}{\dfrac {\partial f}{\partial x}}{\Big |}_{(x_{0},\;y_{0})}&-\lambda _{0}\cdot {\dfrac {\partial \psi }{\partial x}}{\Big |}_{(x_{0},\;y_{0})}&=&0,\\{\dfrac {\partial f}{\partial y}}{\Big |}_{(x_{0},\;y_{0})}&-\lambda _{0}\cdot {\dfrac {\partial \psi }{\partial y}}{\Big |}_{(x_{0},\;y_{0})}&=&0,\\&-\psi (x_{0},\;y_{0})&=&0.\end{array}}\right.}$

В полученной системе первые два уравнения эквивалентны необходимому условию локального экстремума (1), а третье — уравнению ${\displaystyle \psi (x,\;y)=0}$ . Из неё можно найти ${\displaystyle (x_{0},\;y_{0},\;\lambda _{0})}$ . При этом ${\displaystyle \lambda _{0}\neq 0}$ , поскольку в противном случае градиент функции ${\displaystyle f}$ обращается в нуль в точке ${\displaystyle (x_{0},\;y_{0})\in S}$ , что противоречит предположениям.

Замечание . Найденные таким способом точки ${\displaystyle (x_{0},\;y_{0})}$ могут и не являться точками условного экстремума ${\displaystyle f}$ — записанное дифференциальное условие носит необходимый , но не достаточный характер.

Вышеприведённые рассуждения о нахождении условного экстремума с помощью вспомогательной функции ${\displaystyle L}$ составляют основу метода множителей Лагранжа и обобщаются на случай произвольного числа переменных и уравнений, задающих условия.

На основе метода множителей Лагранжа можно получить достаточные условия условного экстремума, требующие анализа (в простейшем случае) вторых производных функции Лагранжа ${\displaystyle L}$ .

Применение

• Метод множителей Лагранжа применяется при решении задач нелинейного программирования , возникающих во многих областях (например, в экономике ).
• Основной метод решения задачи об оптимизации качества кодирования аудио и видео информации при заданном среднем битрейте (см. (англ.) ( ).

См. также

• Математическое программирование
• Линейное программирование
• Условия Каруша — Куна — Таккера

Литература

• Акулич И.Л. Глава 3. Задачи нелинейного программирования // Математическое программирование в примерах и задачах. — М. : Высшая школа , 1986. — 319 с. — ISBN 5-06-002663-9 . .
• Зорич В. А. Математический анализ. Часть 1. — изд. 2-е, испр. и доп. — М. : ФАЗИС, 1997.
• Протасов В. Ю. . — М. : МЦНМО. — 56 с. — (Библиотека «Математическое просвещение», выпуск 31).