peft.simulate_quantize

peft.simulate_quantize#

gemma.peft.simulate_quantize(
x: jax.Array | Any,
method: gemma.peft._quantization_utils.QuantizationMethod | str,
axis_to_reduce: int | None = None,
) jax.Array | Any[source]

量化给定的数组。

在这个 API 中,我们实际上并没有量化张量,因为输出不是使用更少的位来存储的,而是模拟量化以实现量化感知训练。

注意:你可以使用此实现来评估检查点,就像它已被量化一样。

参数:
  • x – 要模拟量化的数组。

  • method – 要使用的量化方法。

  • axis_to_reduce – 要在其上缩减数组的轴。

返回:

模拟量化后的数组。