损失函数

线性回归中的损失函数

用损失函数来度量预测系统的错误程度

线性回归模型

h θ (x) = θ 0 + θ 1 x

$h_\theta(x)=\theta_0+\theta_1x$

损失函数选用平方损失函数(线性回归的损失函数)

L (Y, h (X)) = (Y - h (X)) 2

$L(Y,h(X))=(Y-h(X))^2$

经验损失函数：

R e x p (h) = 1 m \sum i = 1 m L (y i, h (x i))

$R_{exp}(h)=\frac{1}{m}\sum^m_{i=1}L(y_i,h(x_i))$

实例：

已拥有如下点集（1，1），（2，2），（3，3）
为了简单选取模型 $h_\theta(x)=\theta x$ 进行拟合,则关于 $\theta$ 的经验损失函数 $J(\theta)$ 表示为：

J (θ) = 1 m \sum i = 1 m (y i - h (x i)) 2

$J(\theta)=\frac{1}{m}\sum_{i=1}^m(y_{i}-h(x_{i}))^2$
将

h(x)=θx $h(x)=\theta x$ 与已知点集带入经验损失函数：

J (θ) = 1 3 [(1 - θ) 2 + (2 - 2 θ) 2 + (3 - 3 θ) 2] = 14 3 (θ - 1) 2

$\begin{align} J(\theta) &=\frac{1}{3}[(1-\theta)^2+(2-2\theta)^2+(3-3\theta)^2] \\\ &=\frac{14}{3}(\theta-1)^2 \end{align} \qquad$
由化简式轻易可得当

θ=1 $\theta=1$ 时，经验损失函数最小，

minJ(θ)=0 $minJ(\theta)=0$ ，带入得最到函数

h(x)=x $h(x)=x$

实例拓展：

已然是线性回归，模型 $h_\theta(x)=\theta_0+\theta_1x$
参数有两个： $\theta_0,\theta_1$
损失函数： $J(\theta_0, \theta_1)=\frac{1}{2m}\sum_{i=1}^m(h_\theta(x_i)-y_i)^2$
目标： $minJ(\theta_0,\theta_1)$