zhihu/ZhiLight

A highly optimized LLM inference acceleration engine for Llama and its variants.

语言：C++ · GitHub 星标：906 · Fork：105

话题：cuda · deepseek-r1 · gpt · inference-engine · llama · llm · llm-inference · llm-serving

在 GitHub 上查看原仓库