snowflakedb/ArcticInference

ArcticInference: vLLM plugin for high-throughput, low-latency inference

语言：Python · GitHub 星标：494 · Fork：69

在 GitHub 上查看原仓库