概览
GroundingPI 是由小鹏汽车研究人员与北京大学、香港大学等学术机构合作开发、并由小鹏支持的开源视觉感知基础模型，全称是面向物理智能、以视觉基元做定位的基础模型。它的思路是先把物理 AI 最基础的一步做好：准确找出画面里的物体，并说清它们的位置和空间关系。模型约 40 亿参数，由 MoonViT-V2（Kimi K3）视觉编码器、可学习的多模态投影层和 Qwen3-4B 语言骨干组成，用一个模型统一完成目标检测、指代表达定位、指点、文字识别（OCR）、图形界面元素定位和文档版面定位等任务，输出框、点等结构化结果。研究团队在覆盖 11 类能力的 34 个感知基准上评测，GroundingPI 平均 73.68 分，在 44 个基线模型中综合第一，高于 GPT-6 Astra 的 71.54 分；这些成绩为团队自报。训练感知模型时不依赖机器人动作标签，仿真实验显示，把它接入机器人策略后能提升机械臂操作表现和训练数据效率。论文 2026 年 9 月 30 日上 arXiv，权重 10 月 1 日在 Hugging Face 发布，之后上架 ModelScope，代码仓库提供安装、vLLM 部署、批量标注和完整评测流程；小鹏于 11 月 4 日发布官方新闻稿介绍这项成果。项目原创部分采用 Apache-2.0 协议，源自 Kimi 的部分仍适用 Kimi K3 License。官方来源：https://www.xpeng.com/pressroom/news/01a1a60de92ba181a8f48a02aa970133 、https://github.com/groundingpi/GroundingPI 、https://huggingface.co/GroundingPI/GroundingPI （2026-11-05 核对）。 定价：开源权重，可免费下载自行部署，官方没有提供按 token 计费的 API。
- 模态
- 多模态
- 参数量
- 4B
- 许可说明
- 开源 · Apache-2.0
能力
- 约 4B 参数的开源视觉定位（grounding）基础模型，面向机器人、自动驾驶等物理 AI 场景
- 一个模型统一目标检测、指代定位、指点（pointing）、OCR、GUI 元素定位与版面定位
- 研究团队评测中 34 个感知基准平均 73.68 分，高于 GPT-6 Astra 的 71.54，在 44 个基线中综合第一（自报）
- 架构为 MoonViT-V2（Kimi K3）视觉编码器加多模态投影层加 Qwen3-4B 语言骨干
- 训练不依赖机器人动作标签，仿真中提升机械臂操作表现与训练数据效率
- 权重已上 Hugging Face 与 ModelScope，附代码、vLLM 部署和批量标注指南，Apache-2.0