jpezzulli/sglang-rtxpro6000

Optimized SGLang runtime for Qwen3.8-27B FP8 with DFlash2 and Qwen3.8 Flash-Next NVFP4 with FR-Spec on one NVIDIA RTX PRO 6000 Blackwell 96 GB GPU (SM120): 524K context, HiCache and NIXL.

语言：Python · GitHub 星标：189 · Fork：26

话题：blackwell · dflash2 · fp8 · fr-spec · hicache · llm-inference · local-llm · long-context

在 GitHub 上查看原仓库