snu-comparch/InfiniGen

InfiniGen: Efficient Generative Inference of Large Language Models with Dynamic KV Cache Management (OSDI'24)

语言：Python · GitHub 星标：195 · Fork：40

在 GitHub 上查看原仓库