apoorvumang/prompt-lookup-decoding

Simple speculative decoding technique, integrated in vLLM and transformers

语言：Jupyter Notebook · GitHub 星标：621 · Fork：28

在 GitHub 上查看原仓库