Tokenizer（切词器）的不同实现算法

### Tokenizer算法原理 Tokenizer的主要功能在于将输入文本转换成一系列的标记（tokens），这些标记可以是单词、字符或是子词单位。此过程对于自然语言处理至关重要，因为机器学习模型通常无法直接理解原始文本数据。 词汇表作为Tokenizer的核心组件，负责将所有可能出现的标记映射至独一无二的整数ID[^1]。这种映射不仅涵盖了基础标记和特殊标记，还包含了由特定子词分割算法产生的子词单元。这样的设计使得即使遇到未曾见过的新词项，也能有效地将其分解并编码为已知的部分组合形式。 ### 子词分割技术简介 常见的子字切分策略有Byte Pair Encoding (BPE)，WordPiece 和 SentencePiece等几种方式： - **Byte Pair Encoding (BPE)** 是一种基于频率统计的方法，在训练过程中不断寻找最常出现的一对标记对，并创建一个新的复合标记来表示这对标记。 - **WordPiece** 类似于BPE，但在选择新的标记时会考虑最大化整体语料库的概率分布，从而更倾向于保留高频短语而不拆解它们。 - **SentencePiece** 则提供了一种无监督的学习框架，可以直接作用于未标注的数据集上构建高效的前缀树结构用于快速查找匹配路径。 ### 实现示例：简易版 BPE Tokenizer 下面给出一段Python代码片段展示如何简单实现一个基于BPE算法的Tokenzier: ```python from collections import defaultdict, Counter import re class SimpleBPETokenizer: def __init__(self): self.vocab = {} # Vocabulary mapping from token to id self.id_to_token = [] # Reverse lookup list for ids def train(self, corpus, vocab_size=30000): """Train the tokenizer on a given text corpus.""" initial_vocab = set(' '.join(corpus).split()) self._build_initial_vocab(initial_vocab) pairs_freq = self._get_pair_frequencies(corpus) while len(self.vocab) < vocab_size and pairs_freq: best_pair = max(pairs_freq, key=pairs_freq.get) new_token = ''.join(best_pair) self.add_token(new_token) # Update pair frequencies after adding new token pairs_freq = self._update_pairs_frequency(best_pair, pairs_freq) def add_token(self, token): idx = len(self.vocab) self.vocab[token] = idx self.id_to_token.append(token) def _build_initial_vocab(self, tokens): for tok in sorted(tokens): self.add_token(tok) @staticmethod def _get_pair_frequencies(texts): counts = Counter() pattern = re.compile(r'(?u)([a-zA-Z]+)') all_tokens = ' '.join(pattern.findall(' '.join(texts))) bigrams = zip(*[all_tokens[i:] for i in range(2)]) counts.update(bigrams) return dict(counts) @staticmethod def _update_pairs_frequency(pair, freq_dict): updated = {} for k, v in freq_dict.items(): if pair not in k: updated[k] = v return updated def encode(self, sentence): encoded_sentence = [] words = sentence.split() for word in words: subwords = [] current_subword = '' for char in word + '</w>': current_subword += char if current_subword in self.vocab or '</w>' in current_subword: subwords.append(current_subword.replace('</w>', '')) current_subword = '' encoded_ids = [self.vocab[subword] for subword in subwords] encoded_sentence.extend(encoded_ids) return encoded_sentence # Example usage of the simple BPE tokenizer corpus = ["hello world", "hello there"] tokenizer = SimpleBPETokenizer() tokenizer.train(corpus, vocab_size=50) print(f"Vocabulary: {tokenizer.vocab}") encoded_text = tokenizer.encode("hello") print(f"Encoded Text IDs: {encoded_text}") ```