nn.Embedding是什么词嵌入方法

torch.nn.embedding是PyTorch中的一个模块，它用于将离散的词语或符号映射到连续向量空间中的实数向量（即词嵌入）。词嵌入是自然语言处理（NLP）中常用的一种表示方式，它将单词表示为实数向量，能够捕捉单词之间的语义关系。 通过使用torch.nn.embedding模块，我们可以创建一个词嵌入层，将离散的词语索引作为输入，然后返回对应的词嵌入向量。这些向量可以用于训练神经网络模型，如文本分类、命名实体识别等任务。 以下是使用torch.nn.embedding进行词嵌入的一个简单示例： ```python import torch import torch.nn as nn # 假设有1000个单词，每个单词用一个100维的向量表示 embedding = nn.Embedding(1000, 100) # 输入的句子包含5个单词，每个单词用一个整数表示 input = torch.LongTensor([1, 4, 2, 3, 0]) # 每个整数对应一个单词 # 将输入的句子转换为词嵌入向量 output = embedding(input) print(output.shape) # 输出：torch.Size([5, 100]) ``` 在上面的示例中，我创建了一个词嵌入层`embedding`，它有1000个单词和每个单词100维的向量表示。然后，我定义了一个输入句子`input`，其中包含了5个单词的索引。将这个输入传递给词嵌入层后，得到了一个输出`output`，它的形状是`(5, 100)`，表示5个单词分别对应的词嵌入向量。 这只是一个简单的示例，实际上在使用词嵌入时，通常会在模型中的其他层和操作中进一步使用这些词嵌入向量来完成更复杂的任务。

### PyTorch `nn.Embedding` 含义与用法 #### 1. 定义与功能 `nn.Embedding` 是 PyTorch 提供的一种机制，用于将离散型数据（如词语索引）转换为连续的稠密向量表示。这种技术广泛应用于自然语言处理 (NLP) 领域以及其他涉及分类变量的任务中。通过嵌入操作，模型能够更好地捕捉输入特征之间的关系并提升性能。 具体来说，`nn.Embedding` 就是一个查找表，其中每一行代表某个类别或单词对应的固定维度向量[^1]。这些向量通常被初始化为随机值，在训练过程中会随着损失函数优化而调整。 #### 2. 参数说明 以下是 `torch.nn.Embedding` 构造器的主要参数及其作用： - **num_embeddings**: 嵌入矩阵中的总条目数，即字典大小或者类别的总数。 - **embedding_dim**: 输出向量的空间维度，决定了每个词/类别的表达能力。 - **padding_idx** *(可选)*: 如果指定此参数，则该位置上的任何更新都会被忽略；常用来标记填充符的位置以便不影响梯度计算。 - **max_norm**, **norm_type**, **scale_grad_by_freq**, 和其他选项则提供了额外控制手段来约束权重增长速度或是按频率缩放梯度等高级特性[^2]。 #### 3. 初始化方式 默认情况下，`nn.Embedding` 层内的权重会被赋予标准正态分布采样得到的结果。然而也可以手动设置初始状态，比如采用均匀分布或其他统计学意义上的良好性质作为起点。下面展示了几种常见的自定义初始化策略[^3]: ```python import torch from torch import nn # 创建一个简单的Embedding实例 embedding = nn.Embedding(5, 3) print('原始均值:', torch.mean(embedding.weight), '原始方差:', torch.var(embedding.weight)) # 方法一：使用高斯分布重新初始化 embedding.weight = nn.Parameter(torch.randn(5, 3)) print('高斯分布后均值:', torch.mean(embedding.weight), '高斯分布后方差:', torch.var(embedding.weight)) # 方法二：设定范围[-1,+1]间的均匀分布 embedding.weight.data.uniform_(-1, 1) print('均匀分布后均值:', torch.mean(embedding.weight), '均匀分布后方差:', torch.var(embedding.weight)) ``` #### 4. 实际应用案例 假设我们有一个小型词汇表包含三个唯一词条，并希望把它们映射成二维实数值坐标系下的点。那么可以通过如下代码实现这一目标[^4]: ```python import torch from torch import nn vocab_size = 20 # 字典大小设为20 embed_dim = 5 # 编码后的向量长度定为5 embedding_layer = nn.Embedding(vocab_size, embed_dim) input_indices = torch.LongTensor([0, 1, 2]) # 输入样本分别为第0号、第1号和第2号项 output_vectors = embedding_layer(input_indices) print(output_vectors) ``` 执行以上脚本将会打印出形状类似于 `(batch_size, embedding_dim)` 的张量结构体，这里 batch_size 即指代实际传入的数据批次数量。 --- ### 总结 综上所述，`nn.Embedding` 不仅简化了从稀疏到密集形式转化的过程，而且允许灵活定制各种属性满足不同场景需求。无论是基础研究还是工业部署阶段都极具实用价值。