mysileng

最小二乘法（又稱最小平方法）是一種數學優化技術。它通過最小化誤差的平方和尋找數據的最佳函數匹配。利用最小二乘法可以簡便地求得未知的數據，并使得這些求得的數據與實際數據之間誤差的平方和為最小。最小二乘法還可用于曲線擬合。其他一些優化問題也可通過最小化能量或最大化熵用最小二乘法來表達。

最小二乘法原理

在我們研究兩個變量(x, y)之間的相互關系時，通常可以得到一系列成對的數據( x₁, y₁.  x₂, y₂.  …    x_m , y_m )；將這些數據描繪在x -y直角坐標系中，若發現這些點在一條直線附近，可以令這條直線方程如(式1-1)。

Y_計= a₀ + a₁ X                      (式1-1)

其中：a₀、a₁ 是任意實數

為建立這直線方程就要確定a₀和a₁，應用 最小二乘法原理 ，將實測值Y_i與利用(式1-1)計算值(Y_計=a₀+a₁X)的離差(Y_i-Y_計)的平方和〔∑(Y_i - Y_計)²〕最小為“優化判據”。

令： φ = ∑(Y_i - Y_計)²                 (式1-2)

把(式1-1)代入(式1-2)中得:

φ = ∑(Y_i - a₀ - a₁ X_i)²                (式1-3)

當∑(Y_i-Y_計)平方最小時，可用函數 φ 對a₀、a₁求偏導數，令這兩個偏導數等于零。

亦即：

m a₀ + (∑X_i ) a₁ = ∑Y_i                          (式1-6)

(∑X_i ) a₀ + (∑X_i² ) a₁ = ∑(X_i, Y_i)                    (式1-7)

得到的兩個關于a₀、 a₁為未知數的兩個方程組，解這兩個方程組得出：

a₀ = (∑Y_i) / m - a₁(∑X_i) / m                             (式1-8)

a₁ = [m∑X_i Y_i - (∑X_i ∑Y_i)] / [m∑X_i² - (∑X_i)² )]                 (式1-9)

這時把a₀、a₁代入(式1-1)中， 此時的(式1-1)就是我們回歸的元線性方程即：數學模型。

在回歸過程中，回歸的關聯式是不可能全部通過每個回歸數據點( x₁, y₁.  x₂, y₂.  …    x_m , y_m ),為了判斷關聯式的好壞，可借助相關系數“R”，統計量“F”，剩余標準偏差“S”進行判斷；“R”越趨近于 1 越好；“F”的絕對值越大越好；“S”越趨近于 0 越好。

R = [∑X_iY_i - m (∑X_i / m)(∑Y_i / m)]/ SQR{[∑X_i² - m (∑X_i / m)²][∑Y_i² - m (∑Y_i / m)²]}        (式1-10) *

在(式1-1)中，m為樣本容量，即實驗次數；X_i、Y_i分別任意一組實驗X、Y的數值。