vllm-project/vllm

A high-throughput and memory-efficient inference and serving engine for LLMs

语言：Python · GitHub 星标：96,479 · Fork：24,499

话题：amd · blackwell · cuda · deepseek · deepseek-v3 · gpt · gpt-oss · inference

在 GitHub 上查看原仓库