gm.ckpts.LoadCheckpoint

gm.ckpts.LoadCheckpoint#

class gemma.gm.ckpts.LoadCheckpoint(
path: str | os.PathLike,
quantize: bool = False,
)[source]

基类:kauldron.checkpoints.partial_loader.AbstractPartialLoader

从 Gemma 检查点加载权重。

注意:此检查点仅包含 Gemma transformer 权重,不包含步数、优化器状态等。使用 kd.ckpts.PartialKauldronLoader 从 Kauldron 检查点加载状态。

路径

orbax 检查点的路径。

类型:

str | os.PathLike

量化

如果为 True,则将映射参数以启用量化感知训练。

类型:

布尔值

path: str | os.PathLike
quantize: bool = False
transform(
state: gemma.gm.ckpts._checkpoint._StateT,
) gemma.gm.ckpts._checkpoint._StateT[source]

通过使用预训练值更新状态来转换状态。

注意

  • transform 函数可以修改 state 值,但不应修改其结构、形状或数据类型。

  • transform 应该从给定状态正确传播分片信息。

参数:

state – 要转换的 state 对象

返回:

更新后的 state