hdsbdjsjsbs的博客

本文介绍了使用vLLM框架在云服务器上部署大语言模型的完整流程。

本文介绍了Tokenizer（分词器）在文本处理中的三种主要分词方式：Word-based（基于单词）、Character-based（基于字符）和Subword-based（基于子词），重点分析了Subword分词的不同算法。文章详细讲解了BPE（字节对编码）和WordPiece算法的实现步骤，包括初始化词汇表、统计字符对频率、合并高频字符对等过程。此外还介绍了BPE的扩展版本BBPE（字节级BPE）。最后通过"unrunning"示例展示了贪婪最长匹配优先算法在复杂词汇分词中的应用。