偏差(bias)和方差(variance)

偏差(bias)和方差(variance)

偏差:偏差指的是由模型训练得到的结果与真实值之间的差。

解释:偏差度量了学习算法的期望预测与真实结果的偏离程度,即刻画了学习算法本身的拟合能力。如果偏差太大,我们就要缩小它,也就是缩小与真实值之间的差异,这样训练的效果会更好。

方差:方差指的是由不同训练集得到的结果之间的差异。期望预测是对不同训练集下的同一样本(测试集)的预测值取均值,而不是对一次训练的所有样本的预测值取均值。

解释:方差度量了同样大小的训练集的变动所导致的学习性能的变化,即刻画了数据扰动所造成的影响。

(1)定义期望为:

其中 为训练集中的对模型的输出,为模型在数据集中的标记,为的真实标记。

(2)方差的计算公式为:

(每个x得到的值和平均值的差异再求期望,不同的D会得到不同的方差,通过观察方差的变化来看模型的泛化性)

(3)偏差的计算公式为:

(先求x预测值的期望,再求与实际值y的差)

对于偏差和方差,可以估算。一个模型,使用不同的数据集进行建模,在测试集上进行测试,得到一系列的预测值,预测值的方差就是要求的方差,预测值的均值与真实值的差距是偏差。

下面是我计算的一个例子

相关推荐

女圣职哪个刷图厉害
世界杯将至,啤酒市场又要火了
BAPE STORE® PACK 城市别注迷彩鲨鱼帽衫独占登场
黑松为什么这么贵(探秘神秘的黑松)