模型与研究 / 全球
Mesh-LLM/mesh-llm：把多台机器的模型推理资源连成一个接口
Mesh LLM 将机器间的 GPU 与内存资源组织成网络，对外提供兼容 OpenAI 的接口，可选择本地推理、路由到其他节点或拆分大模型运行。
+189近 7 天 Star
3,776总 Star
项目用途
Mesh LLM 以统一接口承接推理请求，再决定模型在当前机器执行、转发给其他节点，或者通过 Skippy 的阶段拆分运行超出单机容量的模型。项目将责任分成两部分：Skippy 管理模型、原生推理和拆分执行，Mesh 负责节点发现、传输、路由、插件与管理控制台，二者共享底层服务实现。
能力与使用入口
README 给出公共网络、私有网络、邀请加入、仅本地模型和纯 API 客户端等不同模式，并提供桌面与服务器安装入口。需要注意，自动启动示例会发现并加入公共网络，不能与完全本地模式混为一谈；处理私有内容时应明确选择相应拓扑。开发者可先查模型列表和服务模式文档，再决定是否使用多节点或模型拆分。仓库列出各平台包、校验信息和配置指南，但跨机器运行能否改善自己的负载，还需要结合网络与硬件进行实际评估。