自然语言处理中的词表示与语义组合学习

### 自然语言处理中的词表示与语义组合学习 #### 词表示学习 词作为自然语言的基本语义单元，其表示学习是自然语言处理中的重要基础。在词表示学习中，有符号表示和分布式表示等代表性方法。 常见的词表示模型众多，例如： - **One - hot 表示**：一种简单直接的词表示方式，每个词对应一个向量，向量中只有一个位置为 1，其余为 0。 - **LSA（Latent Semantic Analysis）**：通过奇异值分解等方法，从文本数据中提取潜在的语义结构。 - **PLSA（Probabilistic Latent Semantic Indexing）**：基于概率模型，对文本中的主题进行建模。 - **LDA（Latent Dirichlet Allocation）**：是一种主题模型，将文档表示为主题的概率分布，词表示为主题下的概率分布。 - **Word2vec**：通过神经网络学习词的分布式表示，能够捕捉词之间的语义关系。 - **GloVe（Global Vectors for Word Representation）**：结合了全局统计信息和局部上下文信息，学习词向量。 - **ELMo（Embeddings from Language Models）**：基于语言模型，生成上下文相关的词表示。 在计算关联分数时，可以使用余弦相似度或欧几里得距离，这与 WEAT（Word - Embedding Association Test）类似。有研究将关联分数与公开的按职业划分的性别统计数据进行对比，发现两者趋势几乎完全匹配。在研究形容词与性别的关联时，发现存在明显的相位偏移。在 1910 - 1960 年代和 1960 - 1990 年代，形容词与性别的关联分数相似度分别相似，但两个时间段之间差异显著，这种 1960 年代的相位偏移与美国历史上的妇女运动相对应。 为了使词表示更具信息性和可解释性，也有相应的方法。同时，词表示的应用广泛，尤其强调跨学科应用。 下面是一个简单的词表示模型对比表格： | 模型名称 | 特点 | | ---- | ---- | | One - hot 表示 | 简单直接，但维度高、稀疏 | | LSA | 提取潜在语义结构 | | PLSA | 基于概率模型建模主题 | | LDA | 主题模型，文档和词的概率分布表示 | | Word2vec | 捕捉词间语义关系 | | GloVe | 结合全局和局部信息 | | ELMo | 上下文相关的词表示 | mermaid 流程图展示词表示学习的一般流程： ```mermaid graph LR A[文本数据] --> B[预处理] B --> C[选择词表示模型] C --> D[训练模型] D --> E[生成词表示] ``` #### 语义组合的表示学习 在自然语言处理的许多重要应用中，需要理解由词组成的复杂语言单元，如短语、句子和文档。关键问题是语义组合，即如何通过组合词的语义来表示复杂语言单元的语义。 语义组合并非简单的部分相加，而是一个更为复杂的过程。其基本原理是整体的语义是其各部分语义的函数，复杂结构的语义取决于语义元素的组合方式。 考虑两个基本语义单元 $\mathbf{u}$ 和 $\mathbf{v}