AGI Pulse
动态vLLM · agipulse

vLLM 发布 v0.32.0:新增默认开启的 /v1/systemone「结构化决策」接口,支持决策类模型直接输出选项和打分;同时修复三个安全漏洞并收紧默认 CORS

阅读 0

发布日期
2026-10-19
类型
动态
相关机构
vLLM
信息来源
agipulse

这件事意味着什么

【要点】

开源推理引擎 vLLM 于北京时间 10 月 18 日 14:50 发布 v0.32.0,包含 363 位贡献者的 814 个提交(新贡献者 121 人)。最受关注的是新增的 POST /v1/systemone「结构化决策」接口:给定一份结构化状态,模型对 choice(多选一)、noul(是/否)、score(分级打分)三类问题直接给出每个答案的概率,而不是生成自由文本。官方文档说明,它读取模型回复第一个 token 的对数概率来算各选项概率,单次请求最多 64 个问题,需开启 logprobs 模式,不支持的模型返回 501。这个接口默认开启,已能跑在 Cloudflare clef-omni、LiquidAI d1-3B 和 DiffusionGemma 上。同时新增通用的 hf 工具调用和推理解析器,会读取模型权重里自带的 response_template,自带模板的模型不再需要专门写解析器。

其他重点:NVFP4 低精度 KV 缓存扩展到更多 GPU 架构,GLM-5.x 在 SM100 上默认用 FP8 KV 缓存(每卡 KV 显存减半);新增对 EmbeddingGemma 2、MiniCPM-V 4.7、Nemotron 3.5 ASR 的支持;修复三个安全公告(GHSA,涉及聊天模板资源耗尽、tokenizer 越界、P2P ZMQ 套接字耗尽)。另有破坏性变更:默认 CORS 不再允许所有来源,不再支持 Python 3.10,并移除了 cascade attention 等功能。

【可核验】

GitHub 发布页:https://github.com/vllm-project/vllm/releases/tag/v0.32.0

接口文档:https://docs.vllm.ai/en/latest/models/structured_decisions_models/

PyPI:https://pypi.org/project/vllm/

X 上中文 AI 日报已开始转述 /v1/systemone 接口,讨论量还不大。

【我们的判断】

一、过去一个月,「决策模型」这条线很密集:Liquid d1、Cloudflare Clef、Perplexity pplx-decider 等都是输出选项或打分,不生成长文本。vLLM 把这类调用做成默认开启的标准接口,说明它已经从个别厂商的做法变成推理基础设施要支持的一种形态,以后部署这类模型不必再各写一套接口。

二、对自建 vLLM 服务的团队,这一版更值得注意的是安全修复和默认 CORS 收紧:升级能补上漏洞,但依赖跨域调用的前端可能要改配置。

三、这是例行大版本,没有官方博客配套的性能数据。接下来看 systemone 会不会被其他推理框架和模型厂商跟进,成为事实标准。

原文 →

同一天的短讯集中在 2026-10-19 短讯

继续了解相关进展

本页由 AGI Pulse 聚合,仅保留标题与链接,不转载正文。 编辑政策