36、多选项阅读理解的选项注意力胶囊网络与暗网恶意网站识别

多选项阅读理解的选项注意力胶囊网络与暗网恶意网站识别

1. 多选项阅读理解模型

在多选项阅读理解任务中，提出了一种选项注意力胶囊网络模型，其主要流程如下：
- 文本表示 ：
- 利用预训练的词嵌入将问题、文章和每个候选选项中的每个单词映射到连续表示空间，得到词表示 (Q_{emb} \in R^{d×|Q|})、(P_{emb} \in R^{d×|P|}) 和 (O_{emb}^i \in R^{d×|O|})，其中 (d) 是嵌入大小。
- 使用两层高速公路网络和 ReLU 激活函数处理词表示：
[
\begin{align }
E_Q &= ReLU(Highway(Q_{emb}))\
E_P &= ReLU(Highway(P_{emb}))\
E_{o_i} &= ReLU(Highway(O_{emb}^i))
\end{align }
]
- 将处理后的表示输入双向门控循环单元（BiGRU）以捕获上下文信息：
[
\begin{align }
C_Q &= BiGRU(E_Q)\
C_P &= BiGRU(E_P)\
C_{o_i} &= BiGRU(E_{o_i})
\end{align }
]
- 序列匹配层 ：
- 以文章和问题的交互为例，使用注意力机制计算逐词相似度矩阵 (S_{PQ} = softmax((W_QC_Q)^T C_P