《表1 4类模型的AUC比较》
注:模型1为基于传统信息的逻辑回归模型,模型2为基于所有信息的逻辑回归模型,模型3为基于传统信息的随机森林模型模型,模型4为基于所有信息的随机森林模型。
图2画出了4类模型的ROC曲线。模型2(所有数据+逻辑回归)和模型1(传统数据+逻辑回归)的对比以及模型4(所有数据+随机森林)和模型3(传统数据+随机森林)的对比表明引入非传统数据有助于提升模型的有效性。模型3(传统数据+随机森林)和模型1(传统数据+逻辑回归)的对比以及模型4(所有数据+随机森林)和模型2(所有数据+逻辑回归)的对比则表明相比于传统的线形模型,随机森林模型有助于提高模型预测能力。表1给出了4类模型的AUC取值以及95%的置信区间。可以看出4类模型存在显著性差异。控制相同的模型比较不同的数据,模型2的AUC比模型1的AUC提升了0.0411(=0.6361-0.5950),模型4的AUC比模型3的AUC提升了0.0527(0.7286-0.6759);控制相同的数据比较不同的模型,模型3的AUC比模型1的AUC提升了0.0809(0.6759-0.5950),模型4的AUC比模型2的AUC提升了0.0925(0.7286-0.6361)。从结果看,引入非传统数据和随机森林模型均可以提升模型的风控能力。因为相比于传统模型,随机森林模型可以挖掘出变量之间的交互作用,达到“1+1>2”的效果。我们也使用不同参数的随机森林模型和其他机器学习方法进行稳定性检验,结果保持稳定(6)。
图表编号 | XD00195562500 严禁用于非法目的 |
---|---|
绘制时间 | 2021.02.05 |
作者 | 黄益平、邱晗 |
绘制单位 | 北京大学数字金融研究中心 |
更多格式 | 高清、无水印(增值服务) |