软件研发

交叉验证

2018-08-16 14:31:47 | 来源:中培企业IT培训网

2.4.2  交叉验证
     对两个学习器A和B,若我们使用尼折交叉验证法得到的测试错误率分别为e,e参….,e参和e#,e字,…,e宇,其中EjA和<3是在相同的第t折训练/测试集上得到的结果,则可用k折交叉验证“成对t检验”(paired t-tests)来进行比较检验.这里的基本思想是若两个学习器的性能相同,则它们使用相同的训练/测试集得到的测试错误率应相同,即e尹=e尹.具体来说,对k折交叉验证产生的k对测试错误率:先对每对结果求差,Ai=e手- tiB;若两个学习器性能相同,则差值均值应为零,因此,可根据差值△1,A2,…,△%来对“学习器A与B性能相同”这个假设做t检验,计算出差值的均值p和方差U2,在显著度a下,若变量小于临界值ta/2,k-l,则假设不能被拒绝,即认为两个学习器的性能没有显著差别;否则可认为两个学习器的性能有显著差别,且平均错误率较小的那个学习器性能较优.这里ta/2,'k-l是自由度为k-l的£分布上尾部累积分布为a/2的临界值.欲进行有效的假设检验,一个重要前提是测试错误率均为泛化错误率的独立采样,然而,通常情况下由于样本有限,在使用交叉验证等实验估计方法时,不同轮次的训练集会有一定程度的重叠,这就使得测试错误率实际上并不独立,会导致过高估计假设成立的概率.为缓解这一问题,可采用“5×2交叉验证”。

标签: 交叉验证

猜你喜欢