学习目标
- 掌握线性回归的实现过程 + 应LinearRegression或SGDRegressor实现回归预测。知道回归算法的评估标准及其公式 + 知道过拟合与欠拟合的原因以及解决方法。知道岭回归的原理及与线性回归的不同之处
- 应用Ridge实现回归预测
- 应用joblib实现模型的保存与加载
线性回归应用场景。
- 房价预测
- 销售额度预测
- 贷款额度预测
核心定义
线性回归 是一种通过线性组合 的自变量（特征）来预测因变量（目标）的监督学习算法。其基本假设是目标值 Y 与特征 X 之间存在线性关系，模型通过学习训练数据，找到最优的权重向量 W 和偏置 b，使得预测值 \hat{Y} 尽可能接近真实值 Y。
2. 数学模型公式
2.1 单特征（简单线性回归）
当只有一个特征 x 时，模型形式为：
\hat{y} = w x + b
- x：输入特征（标量）
- w：权重（斜率），表示 x 每变化 1 单位，\hat{y} 的变化量
- b：偏置（截距），表示当 x=0 时的预测值
2.2 多特征（多元线性回归）
当有 n 个特征时，将特征和权重写成向量形式：
- 特征向量：X = [x_1, x_2, \dots, x_n]^T
- 权重向量：W = [w_1, w_2, \dots, w_n]^T
- 偏置：b（标量）
则预测值为两者的点积加上偏置：
\hat{y} = W^T X + b = \sum_{j=1}^{n} w_j x_j + b
2.3 矩阵形式的批量预测（含全部样本）
若有 m 个样本，每个样本有 n 个特征：
- 特征矩阵：X \in \mathbb{R}^{m \times n}（每行一个样本）
- 权重向量：W \in \mathbb{R}^{n \times 1}
- 偏置：b \in \mathbb{R}（标量）
为了简化运算，通常将偏置 b 合并进权重矩阵：令 \hat{W} = [b, w_1, \dots, w_n]^T，并在特征矩阵最左侧添加一列全 1，得到增广矩阵 X_{aug} \in \mathbb{R}^{m \times (n+1)}。
此时所有样本的预测向量为：
\hat{Y} = X_{aug} \hat{W}
若不加增广，则显式写为：
\hat{Y} = X W + b
其中 \hat{Y} \in \mathbb{R}^{m \times 1}，b 会通过广播（broadcasting）扩展到每个样本。
3. 损失函数（最小二乘法）
线性回归通过最小化均方误差（MSE） 来求解最优的 W 和 b：
J(W, b) = \frac{1}{2m} \sum_{i=1}^{m} \left( \hat{y}^{(i)} - y^{(i)} \right)^2
或写成向量/矩阵形式（含增广 \hat{W}）：
J(\hat{W}) = \frac{1}{2m} (X_{aug} \hat{W} - Y)^T (X_{aug} \hat{W} - Y)
- y^{(i)}：第 i 个样本的真实值
- \hat{y}^{(i)}：第 i 个样本的预测值（= W^T X^{(i)} + b）
目标是最小化该损失函数，求得最优参数。
4. 解析解（闭式解）
对损失函数求导并令梯度为 0，可直接得到最优参数（含偏置的增广形式）：
\hat{W}^* = (X_{aug}^T X_{aug})^{-1} X_{aug}^T Y
若分开表示 W 和 b，则：
- 权重：W^* = (X^T X)^{-1} X^T (Y - b)（但通常与 b 联合求解）
- 偏置：b^* = \bar{y} - W^T \bar{X}（其中 \bar{y} 和 \bar{X} 分别为目标值和特征的均值）
6. 模型预测流程（新样本）
对于一个新的测试样本 X_{new}，预测值为：
\hat{y}_{new} = W^T X_{new} + b
其中 W 和 b 为训练阶段学习到的最优参数。