MrTrenchTrucker/turbohaul-manager

Ollama-shape inference manager using Tom's TurboQuant llama.cpp. FIFO queue + grace + IDLE_HOT hot-hold + model swap on Blackwell.

语言：C++ · GitHub 星标：42 · Fork：17

在 GitHub 上查看原仓库