ChenMnZ/PrefixQuant

An algorithm for weight-activation quantization (W4A4, W4A8) of LLMs, supporting both static and dynamic quantization

语言：Python · GitHub 星标：178 · Fork：19

在 GitHub 上查看原仓库