vllm-project/vllm-ascend

Community maintained hardware plugin for vLLM on Huawei Ascend

语言：Python · GitHub 星标：3,055 · Fork：2,634

话题：inference · llm · llm-serving · llmops · mlops · model-serving · transformer · vllm

在 GitHub 上查看原仓库