MarcoPizeta/flash-next-rtxpro6000-bench

Qwen3.8-Flash-Next on a single RTX PRO 6000 Blackwell (96 GB) with 64 GB host RAM: vLLM (NVFP4/FP8 + INT4 PLE offload) vs ExLlamaV3 (EXL3 4.05bpw) - reproducible speed, prefill and tool-calling benchmark

语言：Shell · GitHub 星标：4 · Fork：0

在 GitHub 上查看原仓库