AI大模型：（二）2.2 分词器Tokenizer

已于 2025-04-12 22:21:23 修改
阅读量210 收藏
点赞数
CC 4.0 BY-SA版权
分类专栏： AI大模型开发 文章标签： 人工智能
于 2025-04-12 18:34:51 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/yztezhl/article/details/147128193

       

目录

1.分词技术的发展

2.分词器原理

2.1.基于词分词

2.2.基于字符分词

2.3.基于子词分词

3.手搓Byte-Pair Encoding (BPE)分词及训练

3.1.Byte-Pair Encoding (BPE)分词原理

3.2.手搓Byte-Pair Encoding (BPE)分词器

4.如何选择已有的分词器

1. 常见子词分词器及特点

2. 选择关键因素

(1) 语言特性

(2) 数据规模

(3) 任务需求

(4) 技术限制

5.如何训练已有的分词器

场景1：中文NLP

场景2：多语言模型

场景3：低资源语言

       我们上一章简单介绍了分词器，它是大语言模型的基础组件，是大模型必不可少的。本篇我们详细介绍下分词器原理、如何选择分词器、以及如何训练分词器。       

1.分词技术的发展

        2013年Word2Vec出来之前是统计学习加特征工程的时代，搜索引擎、淘宝等等互联网软件为了分析和方便搜索就使用了统计学习加特征工程，使用决策书、SVM向量机等机器学习算法，导致词表非常的大，而且无法理解上下文语义，情感分析只靠关键词评判，很容易误判。直到2013年Google团队推出了Word2Vec，Word2Vec开启了NLP预训练时代。Word2Vec将分词进行了向量化，就是以一种数学的可计算方式表达了出来。Word2Vec是以一种神经网络算法使用大规模文本以窗口滑动的形式，每次拿出五个词，给出前两个和后两个预测中间的字或者给出中间的字预测前边、后边的两个词。后来又出了循环神经网络，它可以记住上下文了，但是它又不知道哪些词重要不重要。随之而来又有了LSTM长短记忆神经网络，它引入了门控机制，

了解本专栏 订阅专栏 解锁全文 超级会员免费看
ChatGLM2-6B 分词器 Tokenizer 的使用
Muti-Agent
07-14 764
分词器（Tokenizer）是一种将文本拆分成一系列词汇（Token）的工具。在 NLP 中，Token 可以是一个单词、一个标点符号或者一个子词。因为大模型只能识别数字，不能识别英文单词或者汉语的表示，所以需要将其转换为数字表示，通过唯一的 ID 表示一个词，这样就可以通过 ID 来唯一标识一个词。分词器首先将连续的文本切分成离散的词（Token），然后，为每个词分配一个唯一的标识符（ID），分词器可以实现编码和解析，类似于加解密算法。
AI大模型：（二）2.1 从零训练自己的大模型概述
yztezhl的专栏
04-06 140
近年来，大语言模型（LLM）如GPT-4、Claude、LLaMA等展现出强大的能力，推动AI技术在自然语言处理、代码生成、知识推理等领域的广泛应用。本文将系统性地概述大模型从零训练的全过程，包括分词器训练、预训练、微调、人类对齐
LLM基础｜最初的最初——分词器详解（只需看这篇就够！）
weixin_49659123的博客
10-15 2085
1. 根据不同的切分粒度可以把tokenizer分为: 基于词的切分，基于字的切分和基于subword的切分。 基于subword的切分是目前的主流切分方式。 2. subword的切分包括: BPE(/BBPE), WordPiece 和 Unigram三种分词模型。 3. 完整的分词流程包括：文本归一化，预切分，基于分词模型的切分，后处理。
AI分词：概念、代码示例、应用场景与注意事项
加入“Super Entity”，与全能开发团队共探AI智能体与数字人项目，开启前沿技术之旅。
03-26 620
分词是自然语言处理（NLP）中的一个重要任务，它将连续的文本字符串分解为有意义的单元，如单词、短语或符号。对于中文等语言，分词尤为重要，因为这些语言通常没有明显的单词分隔符。AI分词是自然语言处理中的一个重要任务，它通过将文本分解为有意义的单元，为后续的文本处理和分析提供了基础。通过选择合适的分词方法和工具，可以有效地提高分词的准确度和效率。希望本文的介绍能帮助你更好地理解和应用AI分词技术。如果你对这一领域感兴趣，欢迎在评论区留言交流！
一文详解预训练模型：Transformer/分词器Tokenizer/数据准备/训练参数设置/批次大小/学习率/优化器/损失和评测
最新发布
2401_85373691的博客
06-24 1175
目前AI大模型的技术岗位与能力培养随着人工智能技术的迅速发展和应用 ， 大模型作为其中的重要组成部分 ， 正逐渐成为推动人工智能发展的重要引擎 。大模型以其强大的数据处理和模式识别能力， 广泛应用于自然语言处理 、计算机视觉 、 智能推荐等领域 ，为各行各业带来了革命性的改变和机遇 。
IK分词器原理与原码分析
iteye_20432的博客
01-26 668
本文链接: http://quentinXXZ.iteye.com/blog/2180215 引言      做搜索技术的不可能不接触分词器。个人认为为什么搜索引擎无法被数据库所替代的原因主要有两点，一个是在数据量比较大的时候，搜索引擎的查询速度快，第二点在于，搜索引擎能做到比数据库更理解用户。第一点好理解，每当数据库的单个表大了，就是一件头疼的事，还有在较大数据量级的情况下，你让数据库去...
lucene 分词器的原理和学习
xiaomin1991222的专栏
11-10 358
  全文搜索引擎会用某种算法对要建索引的文档进行分析， 从文档中提取出若干Token(词元)， 这些算法称为Tokenizer(分词器)， 这些Token会被进一步处理， 比如转成小写等， 这些处理算法被称为Token Filter(词元处理器), 被处理后的结果被称为Term(词)， 文档中包含了几个这样的Term被称为Frequency(词频)。 引擎会建立Term和原文档的Inverte...
Lucene笔记14-Lucene的分词-分词器的原理讲解
王劭阳的博客
10-25 659
14
【大模型】Transformers基础组件 - Tokenizer
酒酿小圆子呀～
02-18 1876
Hugging Face 的 Transformers 库是目前最流行和功能最强大的自然语言处理（NLP）库之一，提供了对大量预训练模型的访问和支持。这些模型涵盖了文本生成、文本分类、命名实体识别、机器翻译等多种任务。Hugging Face 的 Transformers 库提供了 Tokenizer（分词器）、Model（模型）、Pipeline（流水线）等模块，便于灵活使用。本篇博客我们主要介绍基于Hugging Face 的 Transformers 库进行及。
【AI大模型】Transformers大模型库（一）：Tokenizer
m0_64752471的博客
09-06 1180
Tokenizer在自然语言处理（NLP）中是一个关键组件，它负责将文本字符串转换成模型可以处理的结构化数据形式，通常是将文本切分成“tokens”或单词、短语、子词等单位。这些tokens是模型理解文本的基础。Tokenizer的类型和复杂性可以根据任务需求而变化，从简单的基于空格的分割到更复杂的基于规则或机器学习的分词方法。本文对使用transformers的BertTokenizer进行尝试，主要功能是将字、词转换为可以运算的数字ID编码，供后面的model层使用。光注公众号 ai技术星球 回复88。
一文了解 StandardTokenizer 分词器，分词原理
兴趣是最好的老师，勤能补拙
11-24 2422
StandardTokenizer 是HanLP中的一个分词器，也是默认的标准分词器。它基于词典和规则的方式对中文文本进行分词，将输入的句子切分成一个个独立的词语。基于词典和规则使用一个内置的词典和规则来对中文文本进行分词。词典包含了大量的常见词汇和词语，规则则用于处理一些特殊的情况，如人名、地名、数字等。支持中英文混合分词可以处理中英文混合的文本，并正确地将其切分成独立的词语。例如，“我爱自然语言处理"会被切分成"我”、“爱”、“自然语言处理”。
IK中文分词器原理
05-12
详细讲解IK分词器原理
中文分词器的基本原理和简单实现
wbsrainbow的博客
03-27 5394
对“大学生活”这句话做分词，通常来说，一个分词器会分三步来实现： 找到“大学生活”这句话中的全部词做为一个集合，即：[大、大学、大学生、学、学生、生、生活、活] 在第一步中得到的集合中找到所有能组合成“大学生活”这句话的子集，即： [大、学、生、活] [大、学、生活] [大、学生、活] [大学、生、活] [大学、生活] [大学生、活] 在第二步中产生的所有子集中挑...
Lucene源码(一)：分词器的底层原理
sgyuanshi的博客
04-07 1115
文章目录官方DemoQueryTermStandardAnalyzer源码分析QueryBuilder.createFieldQueryStandardTokenizerStandardTokenizerImpl 官方Demo 我们先看官方提供的demo代码，从使用demo运行一遍，看看分词之后的结果，然后再对源码进行研究。分词的核心代码其实就是这几句： Analyzer analyzer = n...
分词器
hot_summery的专栏
09-02 196
三种分词查看方式： GET /_analyze { "analyzer": "standard", "text": "Mashtering Elasticsearch,elasticsearch in Action" } GET movies/_analyze { "field": "title", "text": "Mashtering Elasticsearch,elast...
ik中文分词器分词原则、原理
漫漫学习成长之路
11-06 9617
转自：https://blog.csdn.net/lala12d/article/details/82776571 仅供学习 1、IK分词器也是基于正向匹配的分词算法。 2、IK分词器，基本可分为两种模式，一种为smart模式，一种为非smart模式 3、非smart模式所做的就是将能够分出来的词全部输出；smart模式下，IK分词器则会根据内在方法输出一个认为最合理的分词结果，这就涉及到了歧...
深入理解 ElasticSearch 分词器：详解各种分词器的原理与应用
2410_89017463的博客
11-19 1141
ElasticSearch还支持用户自定义分词器，以满足特殊的分词需求。用户可以根据实际业务场景和数据特点，灵活配置字符过滤器、分词器和词项过滤器。ElasticSearch分词器在文本处理和全文搜索中发挥着至关重要的作用。通过深入了解各种分词器的原理和应用场景，我们可以更好地利用ElasticSearch进行高效、准确的全文搜索和分析。无论是处理英文文档还是中文文本，ElasticSearch分词器都能提供强大的支持，满足不同场景下的搜索需求。
IK 分词器的底层原理详解
qq_43496814的博客
02-07 2639
IK分词器是一个基于Java语言开发的轻量级的中文分词工具包，它采用了独特的“快速实现字典检索”的算法，并且可以结合词典进行词语的智能切分。IK分词器支持两种分词模式：最细粒度和智能分词。IK分词器凭借其高效的分词策略、灵活的配置以及良好的扩展性，在中文分词领域占据了一席之地。了解其底层原理和实现方式对于NLP技术的学习和应用具有重要意义。随着技术的不断演进，对IK分词器的优化和改进也会在未来不断进行，以迎合不断增长的中文信息处理的需求。
分词器的概念（通俗易懂版）
qq_56734304的博客
11-19 2187
什么是分词器？简单点说就是将字符序列转化为数字序列，对应模型的输入。通常情况下，Tokenizer有三种粒度：word/char/subword可以看到这三种粒度分词截然不同，各有利弊。最后为了平衡以上两种方法， 又提出了基于 subword 进行分词：它可以较好的平衡词表大小与语义表达能力；这种方法的目的是通过一个有限的词表 来解决所有单词的分词问题，同时尽可能将结果中 token 的数目降到最低。
掌握可逆性：探索Python自然语言分词器tokenizer-master
资源摘要信息:"Tokenizer（分词器）是一个专门设计用于自然语言处理的工具，它能够将文本数据转化为一系列的标记（tokens），以便于后续的处理和分析。可逆的自然语言标记器则强调了分词过程的可逆性，即从标记能够...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

hay_lee

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值