最小二乘法线性回归

教案

维基百科上最小二乘法应用在线性回归上的例子

某次实验得到了四个数据点 ${\displaystyle (x,y)} ： {\displaystyle (1,6)} 、 {\displaystyle (2,5)} 、 {\displaystyle (3,7)} 、 {\displaystyle (4,10)}$ （图中红色的点）。我们希望找出一条和这四个点最匹配的直线 ${\displaystyle y=kx + b}$ ，即找出在某种“最佳情况”下能够大致符合如下超定线性方程组的 $k$ 和 $b$ ：

$k\times 1 + b=6$
$k\times 2 + b=5$
$k\times 3 + b=7$
$k\times 4 + b=10$
最小二乘法采用的手段是尽量使得等号两边的方差最小，也就是找出这个函数的最小值：
$S(k,b) = [6-(k + b)]^2+[5-(2k + b)]^2+[7-(3k + b)]^2+[10-(4k + b)]^2$
最小值可以通过对 $S(k,b)$ 分别求 $k$ 和 $b$ 的偏导数，然后使它们等于$0$得到。
$\frac{\partial S}{\partial b}=8b+20k-56=0$
$\frac{\partial S}{\partial k}=20b+60k-154=0$
如此就得到了一个只有两个未知数的方程组，很容易就可以解出：
$b=3.5,k=1.4$
也就是说直线 $y=1.4x + 3.5$ 是最佳的。