5、数据导向的深度学习前沿进展

数据导向的深度学习前沿进展

1. 可解释性问题

如今，许多深度神经网络从人类的角度来看，无法以完全可理解的方式做出决策。尽管当前的模型在图形识别和语音识别方面的结果已接近完美，但人们对这些预测总是持谨慎态度，因为他们需要了解预测的依据，并且不知道何时可能会出现错误。这也是为什么几乎所有当前的模型都无法应用于一些对性能要求较高的关键领域，如交通、医疗、法律、金融等。

2. 数据导向的深度学习前沿进展

基于监督学习的深度神经网络在过去十年中取得了显著的成功。然而，监督学习严重依赖人工标注，并且容易受到人为攻击。这些缺陷促使人们寻找新的解决方案。

2.1 主动学习

深度学习方法主要基于监督学习，通常希望通过大量标注数据来优化大量参数，使模型学会提取高质量特征。但近年来，随着互联网技术的快速发展，我们处于信息洪流时代，存在大量未标注数据。获取大量高质量的标注数据集需要大量的人力，在一些需要高专业知识的领域，如语音识别、信息提取、医学影像等，这是不现实的。例如，对 COVID - 19 患者肺部病变图像的标注和描述需要有经验的临床医生，不可能让他们完成大量的医学图像标注工作。

因此，需要一种方法在模型满足性能要求的同时，尽可能降低标注成本。主动学习（AL）就是一种通过标记最少数量的样本，来最大化模型性能提升的方法。它可以主动选择最有价值的未标注样本进行标注，以尽可能少的标注样本达到模型的目标性能。

主动学习从应用场景可分为成员查询合成、基于流的选择性采样和基于池的主动学习：
- 成员查询合成：学习者可以请求查询输入空间中任何未标注样本的标签，包括学习者生成的样本。
- 基于流的选择性