FasterDecoding/Medusa

Medusa: Simple Framework for Accelerating LLM Generation with Multiple Decoding Heads

语言：Jupyter Notebook · GitHub 星标：2,774 · Fork：206

话题：llm · llm-inference

在 GitHub 上查看原仓库