flashinfer-ai/flashinfer

FlashInfer: Kernel Library for LLM Serving

语言：Cuda · GitHub 星标：6,867 · Fork：1,705

话题：attention · cuda · distributed-inference · gpu · jit · large-large-models · llm-inference · moe

在 GitHub 上查看原仓库