EmbeddingGemma 2

概览

Google DeepMind 开源的 7.4 亿参数原生多模态嵌入模型：把文本、代码、图片、视频、音频映射到同一个 768 维向量空间，量化后可在手机上离线运行，Apache 2.0 可商用。 主要能力： - 原生多模态：文本（含代码）、图像、视频、音频及其混合输入，统一映射到 768 维向量空间 - 模块化：纯文本只需 2.7 亿参数，视觉（1.7 亿）和音频（3 亿）编码器按需加载，总计 7.4 亿 - Matryoshka 表示学习：向量可截断到 512 / 256 / 128 维，存储最多减少 6 倍，降到 256 维时质量接近无损 - 8K 上下文，比上一代大 4 倍，单次最多约 5.5 分钟音频、29 张图片或 58 帧视频 - 代码检索大幅提升：MTEB Code 从 68.76 提高到 78.68，可用于本地代码库索引和编程智能体检索 - 理解 100 多种语言；在 Pixel 11 Pro 上量化运行，纯文本约 191MB 内存、完整多模态约 567MB - 基于 Gemma 4 架构，与 Gemma 4 共用文本分词器和音频编码器，便于组合成端侧多模态 RAG EmbeddingGemma 2 是 Google DeepMind 于 2026 年 10 月 6 日发布的开放嵌入模型，也是 EmbeddingGemma 的第二代。第一代只处理文本，官方称下载量已超过 2,000 万；第二代基于 Gemma 4 架构，采用与 Gemini Embedding 相同的技术，把代码、图像、视频和音频统一到同一个嵌入空间，可以实现「用一段语音备忘找到某个视频片段」「用文字搜索几个小时的录音」这类跨模态检索，并且全部在本地完成。模型总参数 7.4 亿：文本部分 2.7 亿（1.3 亿 Transformer 主干 + 1.4 亿嵌入层），另有可按需加载的视觉编码器（1.7 亿）和音频编码器（3 亿）；24 层，滑动窗口 1,024 tokens，词表 262,144，均值池化后投影到 768 维。预训练数据截至 2025 年 1 月，文本涵盖 140 多种语言，官方称模型能理解 100 多种语言。 官方模型卡给出的 768 维全精度成绩：MTEB 多语言 v2 61.36（上一代 61.15）、MTEB Code v1 78.68（上一代 68.76）、MIEB lite 64.64、MMEB v2 图像 57.28 / 视觉文档 67.84 / 视频 50.67、MSEB 检索 69.54、MAEB 49.39。官方称它在 10 亿参数以下的多模态嵌入模型中同尺寸领先，部分任务追平或超过两倍以上规模的专用模型（以上为官方数据）。 使用方式：权重已在 Hugging Face（google/embeddinggemma-2）和 Kaggle 发布，Gemini Enterprise Agent Platform Model Garden 即将上线；端侧可用 Google AI Edge 的 MediaPipe、LiteRT，浏览器端可用 transformers.js / WebGPU，服务端支持 transformers、sentence-transformers、MLX、vLLM、llama.cpp、SGLang、Ollama 和 LM Studio，微调可参考 Unsloth 指南。最简示例：pip install -U sentence-transformers transformers，然后 from sentence_transformers import SentenceTransformer；model = SentenceTransformer("google/embeddinggemma-2")；查询用 model.encode(query, prompt_name="SearchQuery")，文档用 model.encode(document, prompt_name="Document")，再用 model.similarity(...) 计算相似度。文本输入建议加任务前缀（带标题的文档写成 title: {标题} | text: {正文}），图像、视频、音频不加前缀；查询和文档必须使用相同维度。官方提醒这是未经安全对齐的预训练嵌入模型。来源：blog.google EmbeddingGemma 2 发布文、ai.google.dev EmbeddingGemma 2 模型卡、huggingface.co/google/embeddinggemma-2（2026-10-07 核对）。 API ID：google/embeddinggemma-2（Hugging Face / Kaggle）；Ollama 为 embeddinggemma-2

模态

多模态

参数量

7.4 亿（740M）

许可说明

开源 · Apache 2.0