mlx-community/speculative-decoding

Native speculative decoding implementation for fast LLM inference on Apple Silicon using MLX-Swift.

语言：Swift · GitHub 星标：9 · Fork：1

话题：inference · llm · llm-inference · mlx · mlx-swift · speculative-decoding

在 GitHub 上查看原仓库