最小二乘法的一个小例子

用三个观测值比较预测误差,计算残差平方和,并求出常数模型的最优预测。

统计入门 · 已会平方与平均数

用一个数代表三个观测值

把 2、4、6 当作三次观测。现在限定模型始终预测同一个常数 c,用“观测值-预测值”定义残差。平方后相加可以避免正负误差相互抵消。

同一组数据,比较三个预测
c三个残差平方和
3−1,1,31+1+9=11
4−2,0,24+0+4=8
5−3,−1,19+1+1=11

怎样确认 4 真的是最优值

误差平方和 S(c)=(2-c)²+(4-c)²+(6-c)²。展开并配方得到 S(c)=3(c-4)²+8。平方总是非负,所以 c=4 时取得最小值 8。4 也正是这三个数的平均数。

推广到一条直线

直线模型为 ŷ=a+bx。每个观测点都有自己的预测值,把各点的 y-ŷ 分别平方并求和,再选使总和最小的截距 a 和斜率 b。上面的例子限制 b=0,只拟合一个常数。

拟合优劣依赖所选模型和误差定义。例如把某一个观测值改得很大,它的平方误差增长很快,最优解也可能明显变化。

自己试一试

1. 对 1、3、5 都预测 3,残差平方和是多少?

核对第 1 题

(−2)²+0²+2²=8。

2. 一条直线在 x=2 时预测 7,观测值为 5,这一点贡献多少平方误差?

核对第 2 题

残差 5-7=−2,平方误差是 4。

接着学

参考资料 宾夕法尼亚州立大学 STAT 200 线性回归