百分点认知智能实验室：基于不完全标注样本集的信息抽取实践

编者按

信息抽取是从文本数据中抽取特定信息的一种技术，命名实体识别（Named Entity Recognition, NER）是信息抽取的基础任务之一，其目标是抽取文本中具有基本语义的实体单元，在知识图谱构建、信息抽取、信息检索、机器翻译、智能问答等系统中都有广泛应用。基于监督学习的NER系统通常需要大规模的细粒度、高精度标注数据集，一旦数据标注质量下降，模型的表现也会急剧下降。利用不完全标注的数据进行NER系统的建立，越来越受到专家学者们的关注。

第九届国际自然语言处理与中文计算会议（NLPCC 2020）针对此业界难题，推出技术评测任务：Auto Information Extraction（AutoIE），即信息抽取系统的自动构建，任务旨在通过利用只有少量不完全标注的数据集来完成NER抽取系统的构建。本文将主要介绍本次比赛过程中使用的主体技术方案以及对应的评测结果。

本文作者：宁星星 苏海波

一、背景介绍

得益于互联网发展和数字化进程，信息的丰富程度呈指数级爆炸增长，但同时也让我们陷入无法快速找到所需信息的困境中，信息抽取技术应运而生。信息抽取（Information Extraction，IE）就是指从自然语言文本中，抽取出特定信息，以及信息之间的相互关系，帮助我们将海量内容自动分类、提取和重构。这些特定信息通常包括实体（entity）、关系（relation）、事件（event）。例如从新闻中抽取时间、地点、关键人物，或者从技术文档中抽取产品名称、开发时间、性能指标等。能从自然语言中抽取用户感兴趣的事实信息，无论是在知识图谱、信息检索、问答系统还是在情感分析、文本挖掘中，信息抽取都有广泛应用。

目前，信息抽取的主流方案是靠数据驱动的机器学习方法，即在有监督、有足够多标注数据的场景下训练出适用的机器模型完成信息抽取。而信息抽取系统一般都是针对某一特定领域量身定做，根据业务需求人工标注相关数据集以供训练模型使用，例如从经济新闻中抽取新发行股票的相关信息，包括 “股票名称”、“股票价格”、“上市公司”、“募资金额”等等，就需要有大量已经标注好，包含上述信息的模板新闻进行训练，而“标注”这个过程需要纯人工来完成。也就是说，构建某一特定领域的信息抽取系统很大程度依赖于人工标注足够多的数据，这无疑使得信息抽取技术的人工成本急剧扩大，实施周期也随之拉长。

怎么减少模型对标注数据的依赖，如何自动化构建模型所需的数据集，以及对于不完全标注的数据集怎样利用等问题成为了攻克信息抽取难题的关键所在。本次比赛我们针对此类问题，构建了针对目标实体类型的信息抽取系统。本系统大大减少了模型对人工标注数据的依赖，符合业界实际需求。

二、任务场景描述

对于基于有监督学习的命名实体识别（NamedEntity Recognition, NER）的信息抽取系统，解决命名实体识别的领域自适应问题十分关键，而能够获取到目标领域的人工标注数据是最为理想的解决方法。为此，常用的方法包括使用半监督的方法，如Bootstrapping 学习框架；选用更为通用的、领域无关的特征来训练模型；模型融合等。这些方法最终的目的都是想要在模型训练过程中，让模型学习到更多的目标领域的特征，从而提高模型在目标领域数据上的性能。

学习目标领域特征的方法有很多，其中，一种较为直接的方法是使用目标领域的不完全标注数据。在解决领域自适应问题时，我们通常拥有大量的目标领域未标注的数据，同时，还有其中一些数据的不完整的标注信息，这些不完整的标注数据其实也包含了目标领域的重要信息，因而如何利用这些不完整的标注信息也是一个非常值得研究的工作。

在本