wejoncy/QLLM

A general 2-8 bits quantization toolbox with GPTQ/AWQ/HQQ/VPTQ, and export to onnx/onnx-runtime easily.

语言：Python · GitHub 星标：192 · Fork：19

在 GitHub 上查看原仓库