模型与研究 / 全球
vllm-project/vllm
vLLM 是面向大语言模型推理与服务部署的开源引擎，通过请求调度、缓存和优化算子提高资源利用率，适合从单机实验走向多人调用的模型服务。
+1,363近 7 天 Star
95,260总 Star
项目用途与能力
vLLM 提供 LLM 推理和服务能力，README 将 PagedAttention、连续批处理、分块预填充及前缀缓存列为核心优化。它还支持多种量化格式、推测解码，以及不同层面的分布式并行。除普通文本生成之外，项目列出结构化输出、工具调用解析、流式返回和多 LoRA 服务等能力，覆盖聊天应用与智能体后端常见需求。
适用场景与上手入口
开发者可从快速开始和支持模型列表确认自己的架构、硬件及精度组合，再选择安装或源码构建。服务接口包含 OpenAI 兼容入口，以及 Anthropic Messages API 和 gRPC 支持，方便已有客户端适配。README 列出多模态、嵌入、奖励模型等类别，但具体支持程度应逐项查看文档。对于需要扩容的团队，值得先用自己的请求长度与并发分布测试吞吐和延迟，而不是直接套用通用性能结论。