cs231n笔记（一）——线性回归、逻辑回归、多分类

2018-07-15 2018-07-15 view times

线性回归

即对于多维空间中存在的样本点，我们用特征的线性组合去拟合空间中点的分布和轨迹，用于对连续值结果进行预测。

线性回归的代价函数

逻辑回归（二分类）

1.过程

输入特征x
用激活函数计算逻辑回归的输出 hθ(x)
计算hθ(x)的代价函数Jθ(x)
用梯度下降法结合Jθ(x)调整参数θ使得Jθ(x)最小
得出最终结果θ

2.激活函数

3.逻辑回归的代价函数

不用线性回归的代价函数，是因为会有“非凸”函数的问题，就是这个函数有很多个局部最低点。

多分类

（一）通过像素差异分类

1.NN 最近邻分类器

（1）Nearest Neighbor ：拿着测试图片和训练集中每一张图片去比较，然后将它认为最相似的那个训练集图片的标签赋给这张测试图片。

（2）k-Nearest Neighbor分类器：找最相似的k个图片的标签，然后让他们针对测试图片进行投票，最后把票数最高的标签作为对测试图片的预测。

2.像素差异分类的缺点：图像更多的是按照背景和颜色被分类，而不是语义主体本身。

（二）线性分类

一、分类三个步骤

由三部分组成：

1. 评分函数（score function） ：将原始图像数据映射为各个类别的得分，得分高低代表图像属于该类别的可能性高低。

线性分类评分函数为线性映射： $\displaystyle f(x_i,W,b)=Wx_i+b$

2. 损失函数（loss function） ：量化分类标签的得分与真实标签之间一致性。也就是量化某个具体权重集W的质量 。

3.最优化（Optimization） ：找到能够最小化损失函数值的W。

二、损失函数正则化

1.为什么正则化

向损失函数增加一个正则化惩罚（regularization penalty） $R(W)$ 部分。可以提升其泛化能力，因为这就意味着没有哪个维度能够独自对于整体分值有过大的影响，并避免过拟合。

注意：通常只对权重 $W$ 正则化，而不正则化偏差 $b$ 。

2.完整的损失函数

数据损失（data loss），即所有样例的的平均损失 $L_i$ ，和正则化损失（regularization loss）组成

$L=\displaystyle \underbrace{ \frac{1}{N}\sum_i L_i}_{data \ loss}+\underbrace{\lambda R(W)}_{regularization \ loss}$

三、损失函数分类

1.多类SVM

（1）多类SVM

希望正确分类类别 $y_i$ 的分数比不正确类别分数高，而且至少要高 $\Delta$ ，如果不满足这点，就开始计算损失值。

（2）损失函数

折叶损失（hinge loss）： $\displaystyle L_i=\sum_{j\not=y_i}max(0,s_j-s_{y_i}+\Delta)$

2.Softmax分类器

（1）Softmax分类器

是逻辑回归分类器即二分类，面对多个分类的一般化归纳。