powerserve-project/PowerServe

High-speed and easy-use LLM serving framework for local deployment

语言：C++ · GitHub 星标：167 · Fork：22

话题：llama · llm · llm-inference · llm-serving · npu · qwen · smallthinker · smartphone

在 GitHub 上查看原仓库