目錄
先總結(jié)一波：
1. 等式約束問(wèn)題求解
（1）一階必要條件
（2）二階充分條件
2.不等式約束問(wèn)題求解
2.1 可行下降方向
2.2 KTT條件（Kuhn-Tucker條件）
（1）Gordan定理
（2）Fritz John定理
（3）KTT條件
?（4）KTT的一個(gè)應(yīng)用實(shí)例
先總結(jié)一波：
- 對(duì)于無(wú)約束極值問(wèn)題，可以采用解析方法和直接方法兩種方法，而直接方法其求解的典型思想就是下降法，具體包括最速下降法，Newton法，共軛方向法和共軛梯度法，擬Newton法，Powell方向加速法等。
- 對(duì)于約束極值問(wèn)題：
（1）精確解求解方法：①等式約束問(wèn)題：可以采用拉格朗日乘子法進(jìn)行求解；②不等式約束問(wèn)題：一方面，可以采用廣義拉格朗日乘子法進(jìn)行求解（也就是KTT條件）；另一方面可以采用制約函數(shù)方法進(jìn)行求解（其中制約函數(shù)方法包含有內(nèi)點(diǎn)法和外點(diǎn)法兩種）；
（2）智能優(yōu)化算法：對(duì)于約束問(wèn)題，也可以采用智能優(yōu)化算法：模擬退火，遺傳算法，類免疫算法，演化策略，神經(jīng)網(wǎng)絡(luò)，支持向量機(jī)等。其實(shí)對(duì)于無(wú)約束優(yōu)化問(wèn)題也是可以采取智能優(yōu)化算法的，只不過(guò)一般還是用在約束極值問(wèn)題的求解過(guò)程中。
1. 等式約束問(wèn)題求解
等式約束問(wèn)題的主要形式為：
對(duì)于等式約束問(wèn)題的求解，最主要的方法是拉格朗日乘子法?？梢酝ㄟ^(guò)微積分來(lái)得到關(guān)于導(dǎo)函數(shù)的一些性質(zhì)。
（1）一階必要條件
具體的解法就是設(shè)置拉格朗日乘乘子：
需要注意的是拉格朗日求得的解可能是鞍點(diǎn)，也可能是極值點(diǎn)，具體判斷要用到如下的二階充分條件。
（2）二階充分條件
在滿足一階必要條件的前提下，要判斷所得的可能極值點(diǎn)到底是不是極值點(diǎn)，就要用到二階充分判斷條件：若函數(shù)關(guān)于x的Hesse矩陣在約束超曲面的切平面上正定，則x就是嚴(yán)格局部極小點(diǎn)。
2.不等式約束問(wèn)題求解
KKT條件是不等式約束的最優(yōu)化問(wèn)題的最優(yōu)性條件。主要從可行下降方向、等研究；
2.1 可行下降方向
①下降方向：在最優(yōu)化求解過(guò)程中，可以使用某種逼近的方法，如梯度下降法等等。那么使得目標(biāo)函數(shù)f(x)變小的方向P即為下降方向。由于梯度
的反方向梯度下降最快的方向，可得下降方向P需要滿足的是P* <0，則P是一個(gè)下降方向。（保證下降方向與梯度方向在一個(gè)切平面上）
推導(dǎo)如下：
②可行方向：一般而言，目標(biāo)函數(shù)要在可行域允許的范圍內(nèi)求解，那么方向要在可行方向內(nèi)，則稱為可行方向。既滿足P*
>0;表示可行的梯度。
推導(dǎo)如下：
③可行下降方向：滿足可行且下降的方向來(lái)尋找優(yōu)化函數(shù)值的不斷降低，也就是要求得可行下降方向。即滿足下面的兩個(gè)條件（可行方向且下降方向）
下降方向集合寫作S，可行方向集合寫作G，如下：
如果當(dāng)前點(diǎn)是最優(yōu)點(diǎn)，應(yīng)該是無(wú)處可去的，也就是沒有可行下降方向，也就是
?即得到：
推導(dǎo)如下：
2.2 KTT條件（Kuhn-Tucker條件）
（1）Gordan定理
（2）Fritz John定理
（3）KTT條件
下面均從《運(yùn)籌學(xué)》教材中獲取
?（4）KTT的一個(gè)應(yīng)用實(shí)例
文章來(lái)源：http://www.zghlxwxcb.cn/news/detail-450424.html
文章來(lái)源地址http://www.zghlxwxcb.cn/news/detail-450424.html
到了這里，關(guān)于優(yōu)化問(wèn)題----等式約束與不等式約束問(wèn)題求解的文章就介紹完了。如果您還想了解更多內(nèi)容，請(qǐng)?jiān)谟疑辖撬阉鱐OY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章，希望大家以后多多支持TOY模板網(wǎng)！
