46、用于上下文情感检测的深度神经网络框架

用于上下文情感检测的深度神经网络框架

1. 相关工作

情感检测和情感分类一直是自然语言处理（NLP）领域的热门研究课题。现有情感检测研究大多聚焦于文本内容。近年来，深度神经网络被广泛应用于不同领域、媒介和语言的情感分析。常用的情感捕捉模型包括卷积神经网络（CNN）、循环神经网络（RNN），如长短期记忆网络（LSTM）和门控循环单元（GRU）。不过，这些模型主要在句子或话语层面进行情感分类，无法捕捉对话中话语间的上下文和相互依赖关系。

后续也有一些改进的模型出现：
- 有人提出使用双向长上下文短期记忆网络（bcLSTM）来检测对话中话语的情感。
- 之后，有人通过引入记忆网络改进了bcLSTM，该网络还利用说话者信息进行上下文建模。
- 还有人使用双向LSTM捕捉单词依赖关系并提取相关特征，同时应用自注意力机制捕捉对话中话语间的相互依赖关系。
- 另外，有工作使用分层注意力网络模型嵌入对话中话语间的上下文信息。
- 也有人使用双向门控循环单元（Bi - GRU）融合自注意力机制及其词嵌入，有效利用词级和话语级信息。

而提出的新模型与现有模型不同，它会推导话语中每个单词的深度上下文表示，并将其与预训练的Glove词嵌入一起作为特征融入模型。这些词嵌入来自预训练的ELMo模型，能考虑整个上下文，且基于字符，可让网络利用形态线索为训练中未见过的未登录词形成鲁棒表示。同时，使用分层Bi - GRU学习对话上下文，并融合通过类似任务的迁移学习获得的各种手工特征。

2. 提出的方法

提出的框架由两层层次结构组成：下层是话语编码器，用于编码话语；上层是对话编码器，用于编码对话。

具体