gm.text

目录

gm.text#

文本处理实用工具。

符号#

类#


gm.text.ChatSampler	聊天采样器。
gm.text.Gemma2Tokenizer	Gemma 2 的分词器。
gm.text.Gemma3Tokenizer	Gemma 3 的分词器。
gm.text.Greedy	贪婪采样。
gm.text.RandomSampling	简单随机采样。
gm.text.Sampler	采样器。
gm.text.SamplingMethod	采样方法的基础类。
gm.text.SpecialTokens	特殊 token ID。
gm.text.Tokenizer	分词器的基础类。