
基于 BERT 的中文期刊论文分类方法研究
第 1 页 共 4 页
目 录
摘要 ..................................................................................................................................................................1
Abstract.............................................................................................................................................................2
1. 绪论 .............................................................................................................................................................3
1.1. 研究背景与意义 ..............................................................................................................................3
1.2. 国内外研究现状 ..............................................................................................................................3
1.3. 本文研究内容 ..................................................................................................................................5
1.4. 论文组织结构 ..................................................................................................................................5
2. 相关技术背景 .............................................................................................................................................6
2.1. 自然语言处理 ..................................................................................................................................6
2.2. 文本表示 ..........................................................................................................................................7
2.2.1. 传统文本表示方法 ...............................................................................................................7
2.2.2. 词向量 ...................................................................................................................................7
2.3. 分词方法 ..........................................................................................................................................8
2.4. 经典语言模型 ................................................................................................................................10
2.4.1. 统计语言模型 .....................................................................................................................10
2.4.2. 深度神经网络 .....................................................................................................................11
2.4.3. 神经网络语言模型 .............................................................................................................15
2.4.4. 词向量层 .............................................................................................................................16
2.4.5. 卷积神经网络语言模型 .....................................................................................................16
2.4.6. 循环神经网络语言模型 .....................................................................................................18
2.5. 预训练词向量语言模型 ................................................................................................................21
2.5.1. 静态词向量语言模型 .........................................................................................................21
2.5.2. 动态词向量语言模型 .........................................................................................................23
2.6. 文本分类问题 ................................................................................................................................25
2.7. 经典文本分类模型 ........................................................................................................................26
2.7.1. FastText ................................................................................................................................26
2.7.2. TextCNN ..............................................................................................................................27
2.7.3. TextRNN ..............................................................................................................................28