统计入门 · 已会平方与平均数
用一个数代表三个观测值
把 2、4、6 当作三次观测。现在限定模型始终预测同一个常数 c,用“观测值-预测值”定义残差。平方后相加可以避免正负误差相互抵消。
| c | 三个残差 | 平方和 |
|---|---|---|
| 3 | −1,1,3 | 1+1+9=11 |
| 4 | −2,0,2 | 4+0+4=8 |
| 5 | −3,−1,1 | 9+1+1=11 |
怎样确认 4 真的是最优值
误差平方和 S(c)=(2-c)²+(4-c)²+(6-c)²。展开并配方得到 S(c)=3(c-4)²+8。平方总是非负,所以 c=4 时取得最小值 8。4 也正是这三个数的平均数。
推广到一条直线
直线模型为 ŷ=a+bx。每个观测点都有自己的预测值,把各点的 y-ŷ 分别平方并求和,再选使总和最小的截距 a 和斜率 b。上面的例子限制 b=0,只拟合一个常数。
拟合优劣依赖所选模型和误差定义。例如把某一个观测值改得很大,它的平方误差增长很快,最优解也可能明显变化。
自己试一试
1. 对 1、3、5 都预测 3,残差平方和是多少?
核对第 1 题
(−2)²+0²+2²=8。
2. 一条直线在 x=2 时预测 7,观测值为 5,这一点贡献多少平方误差?
核对第 2 题
残差 5-7=−2,平方误差是 4。