《表2 测试输入生成方法总结》

  提示：宽带有限、当前游客访问压缩模式

本系列图表出处文件名：随高清版一同展现

《深度神经网络测试研究综述》

1. 获取 高清版本忘记账户？点击这里登录

1. 下载图表忘记账户？点击这里登录

与测试传统软件类似，在对DNN系统的测试中，使用足够的测试输入对系统的一般行为和各种边界条件下的行为进行充分的测试是必要的.我们将当前DNN系统测试输入生成的研究工作分为两类:第1类方法通常从软件工程的角度出发，将传统软件测试的思路迁移到DNN模型的测试中，通过对给定的种子输入进行指定的变换，以最大化模型覆盖率为目标来生成测试输入，我们称这类方法为基于覆盖的测试输入生成方法；第2类则从机器学习和深度学习的角度入手，通过向原始样本添加微小扰动的方式产生对抗样本，使DNN系统进行错误分类，我们称此类方法为基于对抗的测试输入生成方法，包括白盒方法与黑盒方法.基于覆盖的方法更关注生成的测试输入对DNN内部状态的影响，即测试输入是否对网络内部状态实现了测试覆盖.基于对抗的方法则更关注生成的测试输入是否能够使DNN产生错误输出.图5展示了不同输入生成测试方法类别间的关系.表2总结了各种类别的输入生成方法的评价方法、指导目标和实验数据集.