A top for local LLMs: memory, paging, GPU and tokens/s for oMLX, Ollama, llama.cpp, vLLM and more
语言:Rust · GitHub 星标:142 · Fork:14
话题:apple-silicon · llama-cpp · llm · local-llm · mlx · monitoring · ollama · rust
在 GitHub 上查看原仓库