Что определяет теорема куна таккера. Теоремы куна-таккера

20. Метод Куна-Таккера.

Условия Куна-Таккера

В предыдущем разделе было установлено, что множители Лаг­ранжа можно использовать при построении критериев оптималь­ности для задач оптимизации с ограничениями в виде равенств. Кун и Таккер обобщили этот подход на случай общей задачи нели­нейного программирования с ограничениями, как в виде равенств, так и в виде неравенств.

Рассмотрим следующую общую задачу не­линейного программирования:

минимизировать (0)

при ограничениях (1)

Определение:

Ограничение в виде неравенства называется активным, или связывающим, в точке, если, и неактивным, или несвязывающим, если

Если существует возможность обнаружить ограничения, ко­торые неактивны в точке оптимума, до непосредственного решения задачи, то эти ограничения можно исключить из модели и тем самым уменьшить ее размеры. Основная трудность заключается при этом в идентификации неактивных ограничений, предшествующей ре­шению задачи.

Кун и Таккер построили необходимые и достаточные условия оптимальности для задач нелинейного программирования, исходя из предположения о дифференцируемости функций . Эти условия оптимальности, широко известные как условия Куна-Таккера, можно сформулировать в виде задачи нахождения решения некоторой системы нелинейных уравнений и неравенств, или, как иногда говорят, задачи Куна-Таккера.

3.1. Условия Куна-Таккера и задача Куна-Таккера

Найти векторы ,удовлетворяющие следующим условиям

(3)

(4)

(5)

(7)

Прежде всего проиллюстрируем условия Куна - Таккера на примере.

Минимизировать

при ограничениях

Записав данную задачу в виде задачи нелиней­ного программирования (0)-(2), получим

Уравнение (3), входящее в состав условий Куна-Таккера, принимает следующий вид:

Неравенства (4) и уравнения (5) задачи Куна - Таккера в данном случае записываются в виде

Уравнения (5.16), известные как условие дополняющей нежесткости, принимают вид

Заметим, что на переменные инакладывается требование не­отрицательности, тогда как ограничение на знакотсутствует.

Таким образом, этой задачи условия Куна-Танкера записываются в следующем виде:

3.2. Интерпретация условий Куна - Таккера

Для того чтобы интерпретировать условия Куна - Таккера, рассмотрим задачу нелинейного программирования с ограничения­ми в виде равенств:

минимизировать

при ограничениях

Запишем условия Куна-Таккера

(8)

Для этой функции условия оптимальности первого порядка запи­сываются в виде

Нетрудно видеть, что условия Куна-Таккера (8) и (9) совпадают с условиями оптимальности первого порядка для задачи Лагранжа.

Рассмотрим задачу нелинейного программирования с ограни­чениями в виде неравенств:

минимизировать

при ограничениях

Запишем условия Куна-Таккера

Соответствующая функция Лагранжа имеет вид

Условия оптимальности первого порядка записываются как

Заметим, что - множитель Лагранжа, соответствующий ограни­чению. Раньше было показано, чтопредставляет неявную цену, ассоциированную с ограничением; другими словами, вели­чинаотражает изменение минимального значения целевой функ­ции, вызываемое единичным приращением правой части- го ог­раничения.

Если предположить, что - е ограничение является неактивным (т.е.С другой стороны, если-е ограничение активное (т. е.), то соответствующая неявная ценане обязательно равна нулю, однако, так как. Таким образом,для всех значений.

Для того чтобы определить знак (неявной цены, ассоциирован­ной с ограничением), следует увеличить правую часть ограничения от 0 до 1. Ясно, что при этом область допустимых решений сужается, поскольку любое решение, удовлетворяющее ограничению, автоматически удовлетворяет неравенству. Следовательно, размеры допустимой области уменьша­ются, и минимальное значениеулучшить невозможно (так как вообще оно может только возрастать). Другими словами, неявная цена, ассоциированная с-м ограничением, должна быть неотри­цательной, что соответствует условиям Куна-Таккера.

3.3. Теоремы Куна-Таккера

В предыдущем разделе построены условия Куна-Таккера для задач условной оптимизации. С помощью метода множителей Лагранжа получено интуитивное представление о том, что условия Куна - Танкера тесно связаны с необходимыми условиями опти­мальности. В данном разделе рассматриваются строгие формули­ровки необходимых и достаточных условий оптимальности решения задачи нелинейного программирования.

Теорема 1. Необходимость условий Куна-Таккера

Рассмотрим задачу нелинейного программирования (0)-(2). Пусть - дифференцируемые функции, а х* - допус­тимое решение данной задачи. Положим. Далее пустьлинейно неза­висимы. Если х* - оптимальное решение задачи нелинейного про­граммирования, то существует такая пара векторов, чтоявляется решением задачи Куна-Таккера (3)-(7).

Условие, согласно которому должны быть линейно независимыми, известно как ус­ловие линейной независимости и по существу представляет собой некоторое условие регулярности допустимой области, которое поч­ти всегда выполняется для встречающихся на практике задач опти­мизации. Однако вообще проверка выполнения условия линейной независимости весьма затруднительна, так как требуется, чтобы оптимальное решение задачи было известно заранее. Вместе с тем условие линейной независимости всегда выполняется для задач нелинейного программирования, обладающих следующими свой­ствами.

1. Все ограничения в виде равенств и неравенств содержат линейные функции.

2. Все ограничения в виде неравенств содержат вогнутые функ­ции, все ограничения-равенства - линейные функции, а также существует, по крайней мере, одна допустимая точка х, которая рас­положена во внутренней части области, определяемой ограниче­ниями-неравенствами. Другими словами, существует такая точка х, что

Если условие линейной независимости в точке оптимума не вы­полняется, то задача Куна-Таккера может не иметь решения.

Минимизировать

при ограничениях

На рис.1 изображена область допустимых ре­шений сформулированной выше нелинейной задачи. Ясно, что оптимальное решение этой задачи есть . Пока­жем, что условие линейной независимости не выполняется в точке оптимума.

Рис.1 Допустимая область в задаче 4

Легко видеть, что векторы линейно зависимы, т. е. условие линейной независимости в точкене выпол­няется.

Запишем условия Куна-Таккера и проверим, выполняются ли они в точке (1, 0). Условия (3), (6) и (7) принимают сле­дующий вид;

(12)

(13)

При из уравнения (11) следует, что, тогда как уравнение (14) дает, Следовательно, точка оптимума не является точкой Куна - Таккера.

Заметим, что нарушение условия линейной независимости не обязательно означает, что точка Куна-Таккера не существует. Для того чтобы подтвердить это, заменим целевую функцию из этого примера функцией. При этом оптимум по-прежнему достигается в точке (1,0), в которой условие линейной независимости не выполняется. Условия Куна-Так­кера (12) - (16) остаются неизменными, а уравнение (11) принимает вид

Нетрудно проверить, что точка является точкой Куна-Таккера, т. е. удовлетворяет условиям Куна-Таккера.

Теорема о необходимости условий Куна-Таккера позволяет идентифицировать неоптимальные точки. Другими словами, тео­рему 1 можно использовать для доказательства того, что задан­ная допустимая точка, удовлетворяющая условию линейной неза­висимости, не является оптимальной, если она не удовлетворяет условиям Куна-Таккера. С другой стороны, если в этой точке условия Куна-Таккера выполняются, то нет гарантии, что най­дено оптимальное решение нелинейной задачи. В качестве примера рассмотрим следующую задачу нелинейного программирования.

Следующая теорема устанавливает условия, при выполнении которых точка Куна-Таккера автоматически соответствует оптимальному решению задачи нелинейного программирования.

Теорема.2 Достаточность условий Куна-Таккера

Рассмотрим задачу нелинейного программирования (0) - (2). Пусть целевая функция выпуклая, все ограничения в виде неравенств содержат вогнутые функции, а ограничения в виде равенств содержат линейные функции. Тогда если существует решение, удовлет­воряющее условиям Куна-Таккера (3) - (7), то х* - оп­тимальное решение задачи нелинейного программирования.

Если условия теоремы 2 выполняются, то нахождение точки Куна-Таккера обеспечивает получение оптимального решения задачи нелинейного программирования.

Теорему 2 можно также использовать для доказательства оптимальности данного решения задачи нелинейного программирования. В качестве иллюстрации опять рассмотрим пример.

Теорема Куна-Таккера является обобщением методов решения оптимизационных задач в двух направлениях:

Линейного программирования на нелинейный случай, который получил по аналогии не очень удачное название «нелинейного программирования»;

Нелинейных ограничений равенств на ограничения неравенства.

Метод и условия Каруша-Куна-Таккера (Karush-Kuhn- Tucker conditions , KKT) формально являются необходимыми условиями оптимальности задачи нелинейного программирования. Кроме того, необходимые условия включают, так называемые условия регулярности стационарных точек – невырожденность множества градиентов ограничений. Метод является обобщением метода множителей Лагранжа на случай ограничений неравенств.

Кун и Таккер обобщили метод множителей Лагранжа (для использования при построении критериев оптимальности для задач с ограничениями в виде равенств) на случай общей задачи нелинейного программирования с ограничениями, как в виде равенств, так и в виде неравенств .

Основным методом в нелинейном программировании до сих пор остаётся применение функции Лагранжа, полученной переносом ограничений в целевую функцию. Условия Куна-Таккера также выведены из этого принципа.

Вильям Каруш в своей дипломной работе в 1931 году нашёл необходимые условия в общем случае ограничений равенств и неравенств. Независимо от него к тем же выводам позднее в 1941 году пришли Гарольд Кун и Альберт Таккер. Полученные ими результаты были более общими.

Если при наложенных ограничениях является решением задачи, то найдётся вектор множителей Лагранжа такой, что для функции Лагранжа выполняются условия:

- стационарности : ;

- дополняющей нежёсткости : ;

- неотрицательности :.

Перечисленные необходимые условия минимума функции в общем случае не являются достаточными. Существует несколько вариантов дополнительных условий, которые делают их достаточными:

- простое условие – 1) точка стационарна, 2)выполняется условие дополняющей нежесткости, 3) множители Лагранжа ;

- условие Слейтера (более слабое) – 1) точка стационарна, 2) выполняется условие дополняющей нежесткости, 3) .

Перейдём непосредственно к доказательству теоремы Куна-Таккера.

Если непрерывная функция n переменных x = (x1,...,xn) F(х) имеет в точкех опт максимум, то существует ε > 0 такое, что для всех x из ε-окрестности точких опт

F(x)≤F(x опт)

F(x)-F(x опт)≤0.

Выберем два вида приращения x j вдоль j -й координаты

Δx j =x j -x jопт >0,

Δx j =x j -x jопт <0.

Переходя в этих соотношениях к пределу при Δx j →0, получаем:

Из этих соотношений следует, что

(3.6.1)

Аналогичное соотношение можно получить для случая минимума функции. Таким образом, доказана необходимость условий (3.6.1) для достижения в точке х опт максимума или минимума функции f(х) , т. е. если имеется экстремум, то условия (3.6.1) удовлетворяются. Но равенство нулю всех производных в точке х опт еще не обеспечивает существования в ней экстремума, т. е. условия (3.6.1) не являются достаточными. Геометрически это означает, что в случае нулевой производной от функции одной переменной может иметь место точка перегиба, а не максимум (или минимум), а в случае функции двух переменных - седловая точка, а не экстремум и т. д. Поэтому точки х опт , в которых выполняются соотношения (3.6.1), называются стационарными.

Заметим, что условие (3.6.1) удалось получить благодаря возможности придавать переменной х приращения двух знаков, откуда и возникли два неравенства при и при . Если допустимая область значений х ограничена неотрицательными значениями х ≥0, то внутри области, где х > 0, справедливость условия (3.6.1) сохраняется, так как там допустимы приращения обоих знаков. На границе области х ≥ 0, где х = 0, допускается только положительное приращение Δх >0, можно говорить только об односторонней производной, и из (3.6.1) следует следующее необходимое условие максимума:

Соответственно, необходимое условие минимума на границе области х j = 0 запишется в виде

б) Задача на условный экстремум

При определении условного экстремума функции, когда требуется определить максимум (или минимум) функции F(х) при ограничивающих условиях:

g i (x) = b i , i = 1, ..., m,

f(x)=max;

g i (x)=b i ;

используется также метод множителей Лагранжа, который, так же как в случае классического вариационного исчисления, заключается во введении функции Лагранжа

(3.6.2)

где λ i - неопределенные множители Лагранжа.

Полагая, что функция является частным случаем функционала, получаем, что необходимые условия экстремума находятся прямым дифференцированием соотношения (3.6.2) и записываются в виде

Если ввести в рассмотрение векторы

соотношения (17-8) и (17-9) перепишутся как

grad Φ = grad F - λ grad φ = 0; (3.6.6)

где равенство нулю векторов понимается покомпонентно.

Рисунок 3.6.1 - Пояснение к задаче на условный экстремум

В случае n = 2 и m = 1 геометрическая задача об отыскании условного экстремума сводится (рис. 17-6) к отысканию точки касания А кривой φ = b к одной из кривых постоянного уровня f = const.

Постановка задачи

Рассмотрим задачу нелинейной оптимизации. Пусть есть функции

При условиях .

Вильям Каруш в своей дипломной работе нашёл необходимые условия в общем случае, когда накладываемые условия могут содержать и уравнения, и неравенства. Независимо от него к тем же выводам пришли Гарольд Кун и Альберт Таккер.

Необходимые условия минимума функции

Если при наложенных ограничениях - решение задачи, то найдётся ненулевой вектор множителей Лагранжа такой, что для функции Лагранжа выполняются условия:

Достаточные условия минимума функции

Перечисленные необходимые условия минимума функции в общем случае не являются достаточными. Существует несколько вариантов дополнительных условий, которые делают их достаточными.

Простая формулировка

Если для допустимой точки выполняются условия стационарности, дополняющей нежёсткости и неотрицательности, а также λ 1 > 0 , то .

Более слабые условия

Если для допустимой точки выполняются условия стационарности, дополняющей нежёсткости и неотрицательности, а также (условие Слейтера ), то .

Wikimedia Foundation . 2010 .

Смотреть что такое "Условия Каруша - Куна - Таккера" в других словарях:

В теории оптимизации условия Каруша Куна Таккера (англ. Karush Kuhn Tucker conditions, KKT) необходимые условия решения задачи нелинейного программирования. Чтобы решение было оптимальным, должны быть выполнены некоторые… … Википедия

В теории оптимизации условия Каруша Куна Таккера (англ. Karush Kuhn Tucker conditions, KKT) необходимые условия решения задачи нелинейного программирования. Чтобы решение было оптимальным, должны быть выполнены некоторые условия регулярности.… … Википедия

Вильям Каруш William Karush Дата рождения: 1 марта 1917(1917 03 01) Место рождения: Чикаго, США Дата смерти … Википедия

У этого термина существуют и другие значения, см. Оптимизация. Оптимизация в математике, информатике и исследовании операций задача нахождения экстремума (минимума или максимума) целевой функции в некоторой области конечномерного векторного … Википедия Википедия

Метод множителей Лагранжа, метод нахождения условного экстремума функции f(x), где, относительно m ограничений, i меняется от единицы до m. Содержание 1 Описание метода … Википедия

В предыдущем разделе построены условия Куна -Таккера для задач условной оптимизации. С помощью метода множителей Лагранжа получено интуитивное представление о том, что условия Куна - Танкера тесно связаны с необходимыми условиями оптимальности. В данном разделе рассматриваются строгие формулировки необходимых и достаточных условий оптимальности решения задачи нелинейного программирования.

Теорема 1. Необходимость условий Куна-Таккера

Рассмотрим задачу нелинейного программирования (0) - (2). Пусть - дифференцируемые функции, а х* - допустимое решение данной задачи. Положим. Далее пусть линейно независимы. Если х* - оптимальное решение задачи нелинейного программирования, то существует такая пара векторов, что является решением задачи Куна-Таккера (3) - (7).

Условие, согласно которому должны быть линейно независимыми, известно как условие линейной независимости и по существу представляет собой некоторое условие регулярности допустимой области, которое почти всегда выполняется для встречающихся на практике задач оптимизации. Однако вообще проверка выполнения условия линейной независимости весьма затруднительна, так как требуется, чтобы оптимальное решение задачи было известно заранее. Вместе с тем условие линейной независимости всегда выполняется для задач нелинейного программирования, обладающих следующими свойствами.

• 1. Все ограничения в виде равенств и неравенств содержат линейные функции.
• 2. Все ограничения в виде неравенств содержат вогнутые функции, все ограничения-равенства - линейные функции, а также существует, по крайней мере, одна допустимая точка х, которая расположена во внутренней части области, определяемой ограничениями-неравенствами. Другими словами, существует такая точка х, что

Если условие линейной независимости в точке оптимума не выполняется, то задача Куна-Таккера может не иметь решения.

Минимизировать

при ограничениях

На рис. 1 изображена область допустимых решений сформулированной выше нелинейной задачи. Ясно, что оптимальное решение этой задачи есть. Покажем, что условие линейной независимости не выполняется в точке оптимума.

Рис.

Легко видеть, что векторы линейно зависимы, т.е. условие линейной независимости в точке не выполняется.

Запишем условия Куна-Таккера и проверим, выполняются ли они в точке (1, 0). Условия (3), (6) и (7) принимают следующий вид;

При из уравнения (11) следует, что, тогда как уравнение (14) дает, Следовательно, точка оптимума не является точкой Куна - Таккера.

Заметим, что нарушение условия линейной независимости не обязательно означает, что точка Куна-Таккера не существует. Для того чтобы подтвердить это, заменим целевую функцию из этого примера функцией. При этом оптимум по-прежнему достигается в точке (1,0), в которой условие линейной независимости не выполняется. Условия Куна-Таккера (12) - (16) остаются неизменными, а уравнение (11) принимает вид

Нетрудно проверить, что точка является точкой Куна-Таккера, т.е. удовлетворяет условиям Куна-Таккера.

Теорема о необходимости условий Куна-Таккера позволяет идентифицировать неоптимальные точки. Другими словами, теорему 1 можно использовать для доказательства того, что заданная допустимая точка, удовлетворяющая условию линейной независимости, не является оптимальной, если она не удовлетворяет условиям Куна-Таккера. С другой стороны, если в этой точке условия Куна-Таккера выполняются, то нет гарантии, что найдено оптимальное решение нелинейной задачи. В качестве примера рассмотрим следующую задачу нелинейного программирования.

Следующая теорема устанавливает условия, при выполнении которых точка Куна-Таккера автоматически соответствует оптимальному решению задачи нелинейного программирования.

Теорема 2. Достаточность условий Куна-Таккера

Рассмотрим задачу нелинейного программирования (0) - (2). Пусть целевая функция выпуклая, все ограничения в виде неравенств содержат вогнутые функции, а ограничения в виде равенств содержат линейные функции. Тогда если существует решение, удовлетворяющее условиям Куна-Таккера (3) - (7), то х* - оптимальное решение задачи нелинейного программирования.

Если условия теоремы 2 выполняются, то нахождение точки Куна-Таккера обеспечивает получение оптимального решения задачи нелинейного программирования.

Теорему 2 можно также использовать для доказательства оптимальности данного решения задачи нелинейного программирования. В качестве иллюстрации опять рассмотрим пример:

Минимизировать

при ограничениях

С помощью теоремы 2 докажем, что решение является оптимальным. Имеем

Так как матрица положительно полуопределена при всех х, функция оказывается выпуклой. Первое ограничение в виде неравенства содержит линейную функцию, которая одновременно является как выпуклой, так и вогнутой. Для того

чтобы показать, что функция является вогнутой, вычислим

Поскольку матрица отрицательно определена, функция является вогнутой. Функция входит в линейное ограничение в вяде равенства. Следовательно, все условия теоремы 2 выполнены; если мы покажем, что - точка Куна-Таккера, то действительно установим оптимальность решения. Условия Куна-Таккера для примера 2 имеют вид

Точка удовлетворяет ограничениям (24) - (26) и, следовательно, является допустимой. Уравнения (22) и (23) принимают следующий вид:

Положив, получим и. Таким образом, решение х*=(1, 5), удовлетворяет условиям Куна-Таккера. Поскольку условия теоремы 2 выполнены, то оптимальное решение задачи из примера 3. Заметим, что существуют также и другие значения и, которые удовлетворяют системе (22) - (29).

Замечания

• 1. Для встречающихся на практике задач условие линейной независимости, как правило, выполняется. Если в задаче все функции дифференцируемы, то точку Куна-Таккера следует рассматривать как возможную точку оптимума. Таким образом, многие из методов нелинейного программирования сходятся к точке Куна-Таккера. (Здесь уместно провести аналогию со случаем безусловной оптимизации, когда соответствующие алгоритмы позволяют определить стационарную точку.)
• 2. Если условия теоремы 2 выполнены, точка Куна-Таккера в то же время оказывается точкой глобального минимума. К сожалению, проверка достаточных условий весьма затруднительна, и, кроме того, прикладные задачи часто не обладают требуемыми свойствами. Следует отметить, что наличие хотя бы одного нелинейного ограничения в виде равенства приводит к нарушению предположений теоремы 2.
• 3. Достаточные условия, установленные теоремой 2, можно обобщить на случай задач с невыпуклыми функциями, входящими в ограничения в виде неравенств, невыпуклыми целевыми функциями и нелинейными ограничениями-равенствами. При этом используются такие обобщения выпуклых функций, как квазивыпуклые и псевдовыпуклые функции.