linzm1007/nano-vllm-ascend

nano-vllm是开源的一个gpu推理项目，基于开源版本弄的一个ascend npu版本推理小demo，旨在帮助初学者了解推理的整体流程，区别于vllm，nano-vllm体量更小，麻雀虽小五脏俱全，更有助于初学者学习。

语言：Python · GitHub 星标：96 · Fork：23

话题：nlp · python · qwen · transformers

在 GitHub 上查看原仓库