概览
WeVisOne-VL 是腾讯微信视觉团队（WeChat Vision）于 2026 年 10 月 22 日开源的视觉语言模型，名字取自 WeChat Vision All-in-One，有 2B 和 4B 两个尺寸，本条目对应 4B 版。它把以前要分几个专用模型做的视觉定位任务合到了一起：目标检测、按一句话描述找物体、数数、点出物体位置、找出并识别图中文字，以及按描述分割物体和抠图。物体级任务用坐标 token（<0> 到 <1000>）直接输出框和点；需要像素级结果时，每个框后面跟一个 <OBJ> token，由 9.6M 参数的轻量像素解码器结合 Qwen3-VL 视觉特征输出整图分辨率的掩码或 alpha 抠图，不需要再接 SAM。要找的东西不在图里时，模型会返回 None。训练数据来自官方的数据引擎：用知识图谱发现概念，多个专家模型定位后由 VLM 核验，再把框扩展成掩码和 alpha 抠图，累计标注超过 1 亿张图。官方报告 4B 版在 LVIS 检测、Dense200 密集检测、RefCOCOg 指代定位、PixMo-Count 计数、TotalText OCR、ReasonSeg 分割等测试上超过 Qwen3-VL-8B、Qwen3.5-9B、Rex-Omni-3B、LocateAnything-3B 等开源模型（官方自测）。用法：克隆 GitHub 仓库并 pip install -e . 安装，用 WeVisOneVL("tencent/WeVisOne-VL-4B", backend="transformers") 加载（也可用 vllm 后端），调用 model.predict(image, task="detection", query=[...]) 或 task="matting" 等；也可以直接在 Hugging Face Space 上试 2B/4B 在线演示。仓库中腾讯编写的代码按 Apache 2.0 开源，模型卡许可同为 Apache 2.0；微调代码还没放出。上下文长度官方没有单独写明，留空。官方来源：https://github.com/Tencent/WeVisOne-VL 、https://huggingface.co/tencent/WeVisOne-VL-4B 、https://tencent.github.io/WeVisOne-VL/ 、https://arxiv.org/abs/2610.31329 （2026-10-26 核对）。 定价：权重在 Hugging Face 免费下载，Apache 2.0 许可；官方没有提供托管 API，也没有公布调用价格。
- 模态
- 多模态
- 参数量
- 4B
- 许可说明
- 开源 · Apache 2.0
能力
- 一个模型做完多种视觉定位任务：目标检测、按描述找物体（指代定位）、计数、点选、OCR（定位并识别文字）、指代分割、可提示抠图（alpha matte）
- 物体级结果用坐标 token 输出框和点；像素级结果由一个 9.6M 参数的轻量像素解码器生成整图分辨率的掩码或 alpha 抠图，不依赖 SAM
- 图里没有要找的东西时返回 None，不会编一个框出来：官方 WeRef-Bench 拒答率 96.4%
- 基于 Qwen3-VL 架构（Transformers 里是 Qwen3VLForConditionalGeneration），4B 版 BF16 权重约 4.8B 参数；另有 2B 版 WeVisOne-VL-2B
- 官方自测（4B 对同类最强开源基线）：LVIS 检测 F1 55.3 对 50.7、Dense200 71.3 对 58.7、RefCOCOg 81.8 对 77.6、PixMo-Count 计数 89.6 对 82.8、TotalText OCR 52.0 对 43.3、ReasonSeg 71.2 对 65.0
- 提供 Python 推理包（Transformers 或 vLLM 后端）、Cookbooks、评测脚本、Gradio 演示（HF Space 在线可试）；微调代码尚未开放
- 同时开源数据引擎里用的抠图标注工具 Mask2Alpha（仓库 mask2alpha 分支）
