gm.nn.LoRA

class gemma.gm.nn.LoRA(

*,

rank: int,

model: flax.linen.module.Module,

dtype: numpy.dtype = <class 'jax.numpy.bfloat16'>,

parent: flax.linen.module.Module | flax.core.scope.Scope | flax.linen.module._Sentinel | None = <flax.linen.module._Sentinel object>,

name: str | None = None,

)

基类: flax.linen.module.Module

围绕 Gemma 模型的外包装器以启用 LoRA。

被包装的模型将替换所有其 nn.Dense、nn.Einsum 等层为其 LoRA 版本。 有关更多详细信息，请参阅 gemma.peft 文档。

秩

LoRA 分解的秩。

类型:

int

模型

要包装的模型。

类型:

flax.linen.module.Module

dtype

用于 LoRA 权重的 dtype。

类型:

numpy.dtype

rank: int

model: flax.linen.module.Module

dtype

别名 jax.numpy.bfloat16

name: str | None = None

parent: flax.linen.module.Module | flax.core.scope.Scope | flax.linen.module._Sentinel | None = None

scope: Scope | None = None