Tiiny-AI/PowerInfer

High-speed Large Language Model Serving for Local Deployment

语言：C++ · GitHub 星标：9,865 · Fork：612

话题：large-language-models · llama · llm · llm-inference · local-inference

在 GitHub 上查看原仓库