机器学习第2章 模型评估与选择

第2章模型评估与选择主要内容经验误差与过拟合评估方法性能度量比较检验偏差与方差误差误差（error）：学习器实际预测输出与样本真实输出之间的差异训练集：训练误差（training error），（经验误差，empirical error）训练集的补集：泛化误差（generalization error）我们希望泛化误差小的学习器过拟合过拟合（overfitting）：训练过度使泛化能力下降欠拟合（underfitting）：未能学好训练样本的普遍规律过拟合是机器学习的关键障碍且不可避免！模型误差包含了数据误差，或者说模型信息中包含了噪声学习器泛化评估实验测试测试方法方法数学表达数学表达注意事注意事项优缺点缺点留出法（hold-out）分层采样（stratified sampling）重复试验取平均评估结果测试集小，评估结果方差较大训练集小，评估结果偏差较大交叉验证法（cross validation）留一法（Leave-One-Out，LOO）每次使用一个样本验证不受随机样本划分方式影响数据量大时计算量大自助法（bootstrapping）可重复采样/有放回采样数据集较小有用改变初始数据集的分布，引入偏差调参与最终模型性能度量任务需求以二分类为例多混淆矩阵ROC与AUC代价敏感错误率与代价曲线比较检验单个学习器一个数据集多个学习器多个数据集和多个学习器偏差与方差谢谢！。