Google 开源端侧 GPU 推理引擎 ML Drift：一套代码跑手机、浏览器和桌面，TFLite GPU 代理停止加新功能

这件事意味着什么

【要点】

10 月 8 日，Google AI Edge 团队在 Google 开发者博客宣布开源 ML Drift，许可证为 Apache 2.0。它是 LiteRT 里负责端侧 GPU 推理的核心引擎，一套代码同时覆盖 OpenGL ES、OpenCL、Metal 和 WebGPU，也能作为独立 C++ 库给自研推理框架使用。Google 同时宣布旧的 TensorFlow Lite GPU 代理不再加新功能，建议开发者迁到 ML Drift。

【可核验】

博文列出的技术改动包括：用「张量虚拟化」把逻辑张量和 GPU 上的物理存储解耦，各后端共用一套着色器；原生支持 5D 张量，可直接跑 3D 卷积和时空模型；跑大模型时按预填充和逐字解码两个阶段切换不同内核与 KV 缓存布局；借助 Chromium 的 WebGPU 实现 Dawn，同一套代码还能在 Windows 和 Linux 桌面上运行（目前是预览）。Google 称在 Gemma 测试里内存开销比其他框架低最多 12%。已在生产中使用的案例有：YouTube Shorts 分割特效平均帧延迟降低最多 40%，Chrome 用它加速 Gemini Nano 的 Prompt、Summarize、Writer 等内置 API，Adobe Lightroom 移动端部分 AI 功能提速最多 30%，Snapchat 滤镜模型延迟降低 30%。仓库还附了一份给编程 Agent 用的 SKILL.md，帮它们编写和验证自定义着色器。

【我们的判断】

端侧 AI 的瓶颈一直不在模型，而在手机、浏览器、PC 上五花八门的 GPU 和驱动。Google 把已经跑在数以百万计设备上的引擎整体开源，相当于把端侧推理的底层统一层公开出来，和苹果 MLX、高通等厂商自家方案正面竞争。对开发者最直接的影响是迁移：TFLite GPU 路线进入维护期。值得关注的是桌面 WebGPU 后端，如果性能站得住，本地编程 Agent 跑小模型会多一条不依赖 CUDA 的路。