一文搞懂大模型的分词器（Tokenizer），看这一篇

该算法与SentencePiece工具结合可实现高效分词，通过计算各分词方式的概率选择最优分词。

它从大词汇表开始逐步删除影响最小的token， ，然后采用负对数似然评估每个token的重要性，。

直到达到目标词汇量，首先构建包含所有可能子词的基础词汇表，相比穷举法，Unigram算法被广泛应用于AlBERT、T5等模型中， 摘要：Unigram算法是一种与BPE和WordPiece不同的分词方法，逐步删除对整体影响最小的token，实际使用维特比算法提高效率。