5258MF/ninfer-rtx3060-27b

RTX 3060 12GB/8GB 本地跑 27B 大模型：256K 上下文、约 45 token/秒，能看图、调工具，附懒人包和源码

语言：C++ · GitHub 星标：45 · Fork：3

在 GitHub 上查看原仓库