本地模型 · OPEN SOURCE
vllm-project/vllm
面向高吞吐与高效显存使用的 LLM 推理服务引擎。
适合谁
采用前检查
生产部署需要 GPU、容量规划和安全隔离。
Stars 仅反映关注度。生产采用前还需检查维护活跃度、安全公告、依赖、许可证全文与实际资源成本。