超级会员免费看
大模型常见的几种解码方案
在自然语言生成任务中，如何从模型生成的概率分布中选择合适的词汇，是影响文本质量的关键问题。常见的解码方法包括贪心搜索（Greedy Search）、束搜索（Beam Search）、随机采样（Sampling）、Top-k 采样、Top-p 采样（Nucleus Sampling）以及温度调节（Temperature Sampling）。
1. 贪心搜索（Greedy Search）
贪心搜索在每个解码步骤中选择具有最高概率的词，形成最可能的序列。这种方法的优点是计算高效，但容易陷入局部最优，导致生成的文本缺乏多样性。
示例：
假设当前模型输出如下概率分布：
| 词 | 概率 |
|---|---|
| 女孩 | 0.6 |
| 鞋子 | 0.3 |
| 大象 | 0.1 |
贪心搜索会选择“女孩”作为下一个词。
2. 束搜索（Beam Search）
束搜索是一种改进的搜索策略，它在每个时间步维护 k 个候选序列，并选取概率最高的 k 个序列继续扩展。最终选择概率最高的序列作为
订阅专栏 解锁全文
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
