ADT109119/llamacpp-distributed-inference

一個基於 llama.cpp 的分佈式 LLM 推理程式，讓您能夠利用區域網路內的多台電腦協同進行大型語言模型的分佈式推理，使用 Electron 的製作跨平台桌面應用程式操作 UI。

语言：JavaScript · GitHub 星标：95 · Fork：19

话题：distributed-inference · distributed-llm · gguf · llamacpp · llm · llm-inference · rpc

在 GitHub 上查看原仓库