mindtro/semafold

Vector compression with TurboQuant codecs for embeddings, retrieval, and KV-cache. 10x compression, pure NumPy core — optional GPU acceleration via PyTorch (CUDA/MPS) or MLX (Metal).

语言：Python · GitHub 星标：19 · Fork：1

话题：embedding-compression · kv-cache · llm-inference · qjl · quantization · retrieval · semafold · turboquant

在 GitHub 上查看原仓库