软件研发

对学习算法除了通过实验估计其泛化性能,人们往往还希望了解它“为什么”具有这样的性能

2018-08-16 14:37:47 | 来源:中培企业IT培训网

以表2.5中的数据为例,先根据式(2.34)和(2.35)计算出TF=24.429,由表2.6可知,它大于a=0.05时的F检验临界值5.143,因此拒绝“所有算法性能相同”这个假设.然后使用Nemenyi后续检验,在表2.7中找到k=3时qo.os=2.344,根据式(2.36)计算出临界值域CD=1.657,由表2.5中的平均序值可知,算法A与B的差距,以及算法B与C的差距均未超过临界值域,而算法A与C的差距超过临界值域,因此检验结果认为算法A与C的性能显著不同,而算法A与B、以及算法B与C的性能没有显著差别.上述检验比较可以直观地用Friedman检验图显示.例如根据表2.5的序值结果可绘制出图2.8,图中纵轴显示各个算法,横轴是平均序值,对每个算法,用一个圆点显示其平均序值,以圆点为中心的横线段表示临界值域的大小.然后就可从图中观察,若两个算法的横线段有交叠,则说明这两个算法没有显著差别,否则即说明有显著差别.从图2.8中可容易地看出,算法A与B没有显著差别,因为它们的横线段有交叠区域,而算法A显著优于算法C,因为它们的横线段没有交叠区域, 对学习算法除了通过实验估计其泛化性能,人们往往还希望了解它“为什么”具有这样的性能.“偏差一方差分解”(bias-variance decomposition)是解释学习算法泛化性能的一种重要工具,偏差一方差分解试图对学习算法的期望泛化错误率进行拆解.我们知道,算法在不同训练集上学得的结果很可能不同,即便这些训练集是来自同一个分布.

标签: 学习算法