ArtificialZeng/baichuan-speedup

纯c++的全平台llm加速库，支持python调用，支持baichuan, glm, llama, moss基座，手机端流畅运行chatglm-6B级模型单卡可达10000+token / s，

语言：C++ · GitHub 星标：43 · Fork：4

在 GitHub 上查看原仓库