模型与研究 / 全球
sgl-project/sglang
SGLang 是面向大语言、视觉语言和扩散模型的推理框架，覆盖服务部署与强化学习采样，并提供多种硬件路径，适合搭建和研究开放模型运行服务。
+946近 7 天 Star
38,168总 Star
用途与核心能力
SGLang 将语言模型推理、智能体负载与大规模服务作为核心场景，仓库内的 Diffusion 引擎还支持图像和视频生成。README 列出 GPU、TPU、NPU、CPU 及 Apple Silicon 等平台路径，同时区分已经支持与仍在集成中的硬件。生态还包含语音服务、推测解码草稿模型训练以及用于强化学习采样的框架连接，方便按任务选择组件。
适用场景与上手入口
上手可从 Docker 镜像或 Python 环境安装，再通过快速开始发送第一条请求。Cookbook 按模型和硬件给出启动示例，部署与编排部分则连接路由、负载均衡和集群工具。它适合需要自建推理后端、研究采样效率或探索多模态服务的开发者。具体模型与精度支持要按平台指南核对，不能仅凭硬件出现在清单中就推定所有模型均可运行；上线前应使用真实请求评估性能与输出质量。