机器学习--线性回归

这一块对应西瓜书第三章

03线性回归

3.1线性模型基本形式

其实 f(x)表达式可以理解为各属性的加权平均数。

3.2线性回归：

线性回归属于监督学习---目标值连续

常用于房价预测等情况：

3.2.1定义和公式：

 

3.2.2线性回归的特征与目标的关系分析

线性回归中主要有两种模型：线性关系 、非线性关系（线性关系就是一条直线，非线性关系就是曲线）

3.2.3线性回归的损失和优化

观察上面的图可以看出来，真实结果y和预测结果f(x)之间会存在误差---》损失。

3.2.3.1损失函数（最小二乘法）：

进一步带入得到。（其中只有w/b未知）

像这种基于均方误差最小化进行模型求解的方法我们称为 最小二乘法

在线性回归中，最小二乘法就是试图找到一条直线，是所有样本到直线上的欧氏距离之和最小。

求解w b 使最小化的过程称为线性回归的最小二乘“参数估计”，可以通过将J分别对w ,b

求偏导，令偏导=0的方法的到 w、b最优解。

3.2.3.2优化函数

常用两种方法：

正规方程、梯度下降法

2.1正规方程：

一般用于多元线性回归,即数据集并非单个属性，而是由多个属性构成

举例：

 该解只适用于满秩矩阵，但实际我们往往遇到的不是满秩矩阵，遇到的变量数目超过样本量，导致X的列数大于行数，此时可解出多个w，均可使误差最小化，一般选哪个作为输出，常见做法是：引入正则项。

2.2梯度下降

下降公式：

1.α 在梯度下降算法中被称作为学习率或者步长，我们可以通过 α来控制每一步走的距离。

但步子太大--》会跨过山谷，步子太小---》速度太慢

2.  中减号 便是负方向

ps：

梯度的方向是 函数在给定点上升最快的方向，那么梯度的反方向就是函数在给定点下降最快的方向，这正是我们所需要的。 所以我们只要沿着梯度的反方向一直走，就能走到局部 的最低点！（微积分定义）

算法举例过程：

2.3 对比

3.3梯度下降介绍：