peft.QuantizationMethod

peft.QuantizationMethod#

class gemma.peft.QuantizationMethod(value)[source]

基类:etils.epy.py_utils.StrEnum

量化方法。

NONE

无量化。

INT4

每通道 4 位。

Q4_0

每块 4 位。

Q4_0_TRANSPOSE

每块 4 位(先转置 MLP 层)。

SFP8

8 位浮点数。

NONE = 'none'
INT4 = 'int4'
INT8 = 'int8'
Q4_0 = 'q4_0'
Q4_0_TRANSPOSE = 'q4_0_transpose'
SFP8 = 'sfp8'