簡述
牛頓法常用來求解無約束非線性規(guī)劃問題，它利用目標函數(shù)的二次泰勒展開式構(gòu)造搜索方向。無約束非線性規(guī)劃問題： m i n f ( x ) , x ∈ R n min f(x),\quad x \in R^n minf(x),x∈Rn。如果目標函數(shù) f ( x ) f(x) f(x)在 R n R^n Rn上具有連續(xù)的二階偏導數(shù)，其中Hessian矩陣正定(記作 G ( x ) = ? 2 f ( x ) G(x)=\nabla^2f(x) G(x)=?2f(x))，可用牛頓法求解，其收斂速度很快。
正定矩陣（Positive Definite Matrix）是一種
實對稱矩陣，對于所有的非零向量x，都有 x T A x > 0 x^TAx > 0 xTAx>0，其中A為n階方陣，x為n維向量。文章來源：http://www.zghlxwxcb.cn/news/detail-830877.html
原理
在基本迭代公式 x k + 1 = x k + α k d k x^{k+1}=x^k+\alpha ^kd^k xk+1=xk+αkdk中，每次迭代的起始點 x k x^k xk處用一個適當?shù)亩魏瘮?shù)來近似該點處的目標函數(shù)，用 x k x^k xk指向二次函數(shù)極小點的方向來構(gòu)造搜索方向 d k d^k dk。
假設經(jīng)過 k k k次迭代之后得到 x k x^k xk，將函數(shù) f ( x ) f(x) f(x)在 x k x^k xk處按照泰勒公式展開，取二次近似多項式：
f ( x ) ≈ f ( x k ) + ? f ( x k ) T ( x ? x k ) + 1 2 ( x ? x k ) T ? 2 f ( x k ) ( x ? x k ) （ 1 ） f(x)\approx f(x^k)+\nabla f(x^k)^T(x-x^k)+\frac{1}{2}(x-x^k)^T\nabla^2 f(x^k)(x-x^k) \quad \quad \quad \quad （1） f(x)≈f(xk)+?f(xk)T(x?xk)+21?(x?xk)T?2f(xk)(x?xk)文章來源地址http://www.zghlxwxcb.cn/news/detail-830877.html
到了這里，關于人工智能之數(shù)學基礎【牛頓法】的文章就介紹完了。如果您還想了解更多內(nèi)容，請在右上角搜索TOY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關文章，希望大家以后多多支持TOY模板網(wǎng)！
