共軛梁法是什么 共軛梯度算法的缺點

什么是共軛梯度法？如何直觀地理解「共軛」這個概念？共軛梯度法是什么？

本文導(dǎo)航

• 共軛梯度算法的缺點
• 共軛效應(yīng)的方向怎么判斷
• 梯度法的特點和優(yōu)點

共軛梯度算法的缺點

數(shù)學(xué)上，共軛梯度法實求解特定線性系統(tǒng)的數(shù)值解的方法，其中那些矩陣為對稱和正定。共軛梯度法是一個迭代方法，所以它適用于稀疏矩陣系統(tǒng)，因為這些系統(tǒng)對于象喬萊斯基分解這樣的直接方法太大了。這種系統(tǒng)在數(shù)值求解偏微分方程時相當(dāng)常見。

共軛梯度法也可以用于求解無約束優(yōu)化問題。

雙共軛梯度法提供了一種處理非對稱矩陣情況的推廣。

共軛效應(yīng)的方向怎么判斷

如下：

共軛在數(shù)學(xué)、物理、化學(xué)、地理等學(xué)科中都有出現(xiàn)。 本意：兩頭牛背上的架子稱為軛，軛使兩頭牛同步行走。共軛即為按一定的規(guī)律相配的一對。通俗點說就是孿生。在數(shù)學(xué)中有共軛復(fù)數(shù)、共軛根式、共軛雙曲線、共軛矩陣等。

共軛方向法：

以一組共軛方向作為搜索方向來求解無約束非線性規(guī)劃問題的一類下降算法。是在研究尋求具有對稱正定矩陣Q的n元二次函數(shù)：

f(x)=1/2xQ x+bx+c。

最優(yōu)解的基礎(chǔ)上提出的一類梯度型算法，包含共軛梯度法和變尺度法。根據(jù)共軛方向的性質(zhì)，依次沿著對Q共軛的一組方向作一維搜索，則可保證在至多n步內(nèi)獲得二次函數(shù)的極小點。

共軛方向法在處理非二次目標函數(shù)時也相當(dāng)有效，具有超線性的收斂速度，在一定程度上克服了最速下降法的鋸齒形現(xiàn)象，同時又避免了牛頓法所涉及的海色(Hesse) 矩陣的計算和求逆問題。

對于非二次函數(shù)，n步搜索并不能獲得極小點，需采用重開始策略，即在每進行n次一維搜索之后，若還未獲得極小點，則以負梯度方向作為初始方向重新構(gòu)造共軛方向，繼續(xù)搜索。

梯度法的特點和優(yōu)點

共軛梯度法（Conjugate Gradient）是介于最速下降法與牛頓法之間的一個方法，它僅需利用一階導(dǎo)數(shù)信息。

但克服了最速下降法收斂慢的缺點，又避免了牛頓法需要存儲和計算Hesse矩陣并求逆的缺點，共軛梯度法不僅是解決大型線性方程組最有用的方法之一，也是解大型非線性最優(yōu)化最有效的算法之一。

在各種優(yōu)化算法中：

共軛梯度法是非常重要的一種。其優(yōu)點是所需存儲量小，具有步收斂性，穩(wěn)定性高，而且不需要任何外來參數(shù)。

共軛梯度法是一個典型的共軛方向法，它的每一個搜索方向是互相共軛的，而這些搜索方向d僅僅是負梯度方向與上一次迭代的搜索方向的組合，因此，存儲量少，計算方便。