语言模型是对文本进行推理，文本通常是字符串形式，但是模型的输入只能是数字，因此需要将文本转换成数字形式。
Tokenization是NLP的基本任务，按照特定需求能把一段连续的文本序列（如句子、段落等）切分为一个字符串序列（如单词、短语、字符、标点等多个单元），其中的元素称为token或词语。
具体流程如下图所示，首先将文本句子切分成一个个单元，然后将子单元数值化(映射为向量)，再将这些向量输入到模型进行编码，最后输出到下游任务进一步得到最终的结果。
文本切分
按照文本切分的粒度可以将Tokenization分为词粒度Tokenization、字符粒度Tokenization、subword粒度Tokenization三类。
1.词粒度Tokenization
词粒度Tokenization是最直观的分词方式，即是指将文本按照词汇words进行切分。例如：
The quick brown fox jumps over the lazy dog. 词粒度Tokenized结果： ['The', 'quick', 'brown', 'fox', 'jumps', 'over', 'the', 'lazy', 'dog', '.']在这个例子中，文本被切分为一个个独立的单词，每个单词作为一个token，标点符号'.'也被视为独立的token。
如若是中文文本，则通常是按照词典收录的标准词汇或是通过分词算法识别出的短语、成语、专有名词等进行切分。例如：
我喜欢吃苹果。 词粒度Tokenized结果： ['我', '喜欢', '吃', '苹果', '。']这段中文文本被切分成五个词语：“我”、“喜欢”、“吃”、“苹果”和句号“。”，每个词语作为一个token。
2.字符粒度Tokenization
字符粒度Tokenization将文本分割成最小的字符单元，即每个字符被视为一个单独的token。例如：
Hello, world! 字符粒度Tokenized结果： ['H', 'e', 'l', 'l', 'o', ',', ' ', 'w', 'o', 'r', 'l', 'd', '!']字符粒度Tokenization在中文中是将文本按照每个独立的汉字进行切分。
我喜欢吃苹果。 字符粒度Tokenized结果： ['我', '喜', '欢', '吃', '苹', '果', '。']3.subword粒度Tokenization
subword粒度Tokenization介于词粒度和字符粒度之间，它将文本分割成介于单词和字符之间的子词（subwords）作为token。常见的subword Tokenization方法包括Byte Pair Encoding (BPE)、WordPiece等。这些方法通过统计文本数据中的子串频率，自动生成一种分词词典，能够有效应对未登录词（OOV）问题，同时保持一定的语义完整性。
helloworld假设经过BPE算法训练后，生成的子词词典包含以下条目：
h, e, l, o, w, r, d, hel, low, wor, orld子词粒度Tokenized结果：
['hel', 'low', 'orld']这里，“helloworld”被切分为三个子词“hel”，“low”，“orld”，这些都是词典中出现过的高频子串组合。这种切分方式既能处理未知词汇（如“helloworld”并非标准英语单词），又保留了一定的语义信息（子词组合起来能还原原始单词）。
在中文中，subword粒度Tokenization同样是将文本分割成介于汉字和词语之间的子词作为token。例如：
我喜欢吃苹果假设经过BPE算法训练后，生成的子词词典包含以下条目：
我, 喜, 欢, 吃, 苹, 果, 我喜欢, 吃苹果子词粒度Tokenized结果：
['我', '喜欢', '吃', '苹果']在这个例子中，“我喜欢吃苹果”被切分为四个子词“我”、“喜欢”、“吃”和“苹果”，这些子词均在词典中出现。虽然没有像英文子词那样将汉字进一步组合，但子词Tokenization方法在生成词典时已经考虑了高频词汇组合，如“我喜欢”和“吃苹果”。这种切分方式在处理未知词汇的同时，也保持了词语级别的语义信息。
索引化
假设已有创建好的语料库或词汇表如下。
vocabulary = { '我': 0, '喜欢': 1, '吃': 2, '苹果': 3, '。': 4 }则可以查找序列中每个token在词汇表中的索引。
indexed_tokens = [vocabulary[token] for token in token_sequence] print(indexed_tokens)输出：[0, 1, 2, 3, 4]。
tokenwordbpe文本分割nlp语言模型自动生成文本转换语料库文本数据coding标点符号
