多模态知识图谱构建与应用知网文献总结

1、多模态教学知识图谱的构建与应用：
论文中以《数据结构（c++）》为例，以教学教材、教学大纲、网络资源等为依据，对知识点进行分类汇总，从中抽取预先定义好的一些属性的值。
教材、大纲以及网络资源（信息来源）——知识点总结——知识点（独立，需要通过关联关系进行关系挖掘，通过知识点之间的关系建立联系——根据与定义好的属性，进行属性值以及多模态资源的抽取。
建模：
（1）文字描述型资源：教学大纲、教材等书本资料以及网络资源中获取。
（2）代码类资源：教材、习题册等网络资源中获取。
（3）多模态资源：图片、视频、语音等知识点相关资源（网络、多媒体平台、教师微课制作，小型教学实例视频）
（4）考题类资源：课堂练习题、之前的考试题。
关联关系挖掘：前序课程、后序课程、相似、易混、难易程度。

2、多模态领域知识图谱的构建方法与应用研究：
论文中采用半结构化数据的抽取为构建基础，具体构建技术包括多模态知识抽取，多模态知识融合、知识表示以及知识验证。通过不同信息抽取技术，实现将来源非常广泛的多模异构数据进行实体、属性值对及其关系的抽取。经过多模态数据融合，缩小从不同模态的数据中抽取出信息的歧义性，减少数据冗余，确保事实的准确性。
多模态知识抽取：给定多源异构数据，利用人工或机器学习、深度学习等自动化方式抽取出目标知识，计算机技术的研究。
从早期的文本知识抽取发展为如今抽取实体、音频、视频等具有模态多样性的数据。根据目前的研究现状，知识抽取的方法可以分为实体抽取、关系抽取和属性抽取。
实体抽取是指利用算法等手段将数据中的实体进行识别并从数据中抽取得到所需的实体。
Sun等首次使用了文本数据和视图数据进行了实体抽取，图片数据的