1. DKVMN工作机制
概述
蓝色分量描述获取注意权值的过程,绿色分量描述更新值记忆的过程,红色分量描述预测的过程。⊗和⊕分别表示按元素进行的乘法和加法。
1.1 获取注意力权重
-
接收问题qtq_tqt
-
从KC嵌入矩阵AAA ∈ RQ×dkR^{Q×d_k}RQ×dk 提取qtq_tqt 的嵌入向量 记作ktk_tkt
-
查询DKVMN模型中的密钥存储矩阵MkM_kMk 查询结果为该题目应该在每个知识点上投入的权重wtw_twt∈RNR^NRN ,计算方式如下
wti=Softmax(Mikkt)w_{ti}=Softmax(M^k_ik_t)wti=Softmax(Mikkt)
1.2 对该题目用户的做对概率做预测(读过程)
-
DKVMN模型读取t时刻值存储器MtvM^v_tMtv中的潜在知识状态,形成读取向量
rt=Σi=1Nwti(Mtiv)Tr_t=Σ^N_{i=1}w_{ti}(M^v_{ti})^Trt