昆
昆仑AI工具大全KUN.NET
提交工具

Cactus 4 上手：用 Python 在本机跑 Needle 3 工具调用与结构化抽取，再用 Whistle 转写语音、用 Mirage 读图识字，并导出断网运行包

按 Cactus 官方 Needle Python Docs、工具设计与置信度指南、结构化抽取指南和 Whistle、Mirage 介绍页整理（cactus-compute 4.1.0 实测，无需 API Key 和显卡）：用 pip 装好 cactus-compute，用 run() 和 complete() 跑通 Needle 3 工具调用并读懂返回结构；用 Field 约束、系统事实和置信度三档路由把调用做稳，用 extract() 抽出结构化数据并跑官方 32 条测试集；用 Whistle 转写英文语音拿到词级时间戳，用 Mirage 识别招牌文字、按表单读照片并学会看概率；最后用 cactus download 和环境变量验证断网运行。

入门3 课时70 分钟图文实操

免费学习无需登录

开始学习 查看课程目录
Cactus 4 上手：用 Python 在本机跑 Needle 3 工具调用与结构化抽取，再用 Whistle 转写语音、用 Mirage 读图识字，并导出断网运行包 课程封面

你将学会

  • 安装 cactus-compute 4.1 并跑通工具调用
  • 读懂 function_calls、reasoning 与 confidence
  • 用 Field、Literal、triggers 设计工具
  • 用系统事实换算相对日期
  • 按置信度分执行、确认、拒绝三档
  • 用 extract() 做结构化抽取
  • 用 Whistle 转写语音并拿到词级时间戳
  • 用 Mirage 识别文字并按表单填值
  • 导出离线运行包，断网部署

适合谁

  • 做端侧语音助手与智能家居的开发者
  • 想用本地小模型替代云端函数调用的工程师
  • 关注端侧 AI 的学生和研究者

课前准备

  • 会用终端和 Python 虚拟环境
  • Python 3.9 或更高
  • 课时 3 需要 FFmpeg
  • 能读懂简单英文指令

课程目录

3 课时 · 70 分钟
  1. 01装好 cactus-compute，跑通第一次工具调用并看懂返回结构用 pip 安装 cactus-compute 4.1.0 并核对版本，关闭匿名用量统计；用 @cactus.tool 和 run() 跑通官方天气示例，看引擎和权重缓存在哪里；用 complete() 单步执行，读懂 function_calls、reasoning、confidence、peak_ram_mb，把执行结果传回模型；再看清三条边界：会多调、不闲聊、不支持中文。图文20 分钟开始本课
  2. 02把工具调用做稳：参数约束、系统事实、置信度路由与结构化抽取用 cactus.Field 把金额范围和收款人格式写进解码语法，并亲眼看到越界的 50000 被改写成 500；用系统事实让模型把「明天」「下周二」换算成日期；按置信度把调用分成执行、确认、拒绝三档，拦住越界值和否定句两条错误调用；用 extract() 把一句话抽成 Pydantic 对象；最后运行官方智能家居 32 条测试集给模型打分。图文25 分钟开始本课
  3. 03听和看：用 Whistle 转写语音、用 Mirage 读图识字，再导出断网运行包用 FFmpeg 准备 16 kHz 音频，用 Whistle 转写英文演讲并拿到词级时间戳，把语音直接交给 Needle 3 做工具调用；用 Mirage 识别招牌上的文字、读懂归一化坐标；用 extract() 按表单读一张猫的照片，从认错的结果里学会看概率和交叉检查；最后用 cactus download、cactus fetch 与环境变量导出离线包，用空缓存验证断网可用。图文25 分钟开始本课

课程说明

Cactus 是 Cactus Compute 开源的端侧 AI 套件（Apache-2.0），目标是让手机、手表、树莓派和普通笔记本的 CPU 也能本地跑「听懂、看懂、调用函数」这几件事。它的 Python 包 cactus-compute 在 4.x 版本里把三个小模型装进同一个引擎：做工具调用和结构化抽取的 Needle 3（权重约 35 MB）、做语音转文字的 Whistle（约 17 MB）、做图片理解和文字识别的 Mirage（约 22 MB）。引擎本身不到 2 MB，权重第一次使用时从 Hugging Face 下载，之后完全离线推理。4.0.0 于 2026-11-06 发布，测试时 GitHub 仓库已有约 1.47 万星。本课不需要任何 API Key、账号或显卡。

本课按 Cactus 官方 Needle Python Docs、工具设计指南、置信度指南、结构化抽取指南、Whistle 与 Mirage 介绍页和 GitHub README 整理。2026-11-12（Asia/Shanghai）在一台没有显卡的 Linux x86_64 云主机上，用 Python 3.13.5 从 PyPI 安装 cactus-compute 4.1.0，课里每一段代码都实跑过：安装与第一次工具调用、单步执行与返回结构、参数约束与越界值、系统事实与相对日期、按置信度分档路由、Pydantic 结构化抽取、官方 32 条测试集、Whistle 转写与词级时间戳、语音直接做工具调用、Mirage 读文字与按表单填值，以及用空缓存和离线模式验证断网运行。「对照结果」都是这台机器的真实输出，只做了节选，置信度和耗时类数值每次运行会有小幅出入。课里也如实保留了模型出错的例子（多调、否定句、越界值被改写、把猫认成狗），并给出兜底写法。没有实测的有：浏览器 Playground、麦克风录音（[mic] 扩展）、LoRA 微调（[train] 扩展）、手机和 macOS、Windows 上的运行。

需要提前知道的限制：Needle 3、Whistle 和 Mirage 官方支持的语言是英语、德语、法语、西班牙语、意大利语、荷兰语和波兰语，不支持中文。课里的例子都用英文指令，面向中文用户的产品需要先翻译，或者用官方微调流程训练自己的版本。

课时你会做完的事需要什么
1装好 4.1.0，跑通第一次工具调用，看懂返回结构和边界终端，Python 3.9 或更高
2用约束、系统事实、置信度把工具调用做稳，做结构化抽取并跑测试集同上，另装 pydantic
3转写语音、读图片文字、按表单看照片，导出离线运行包同上，另需 FFmpeg

适合

  • 想在手机、IoT 或边缘设备上做语音助手、智能家居控制的开发者
  • 想用一个很小的本地模型替代云端 API 做函数调用和表单抽取的工程师
  • 关注端侧 AI、想亲手试一试几十 MB 级模型能做到什么程度的学生和研究者

先修

  • 会用终端和 Python 虚拟环境，看得懂基础的 Python 函数和类型标注
  • 本机有 Python 3.9 或更高（PyPI 上 4.1.0 的要求）；课时 3 需要 FFmpeg
  • 能读懂简单的英文指令（模型只接受英文等七种语言）

你会学到

  • 用 @cactus.tool 定义工具，用 run() 和 complete() 驱动 Needle 3，读懂 function_calls、reasoning、confidence
  • 用 cactus.Field、Literal 和 triggers 设计工具，用系统事实换算相对日期
  • 按置信度把调用分成执行、确认、拒绝三档，用官方测试集给工具打分
  • 用 cactus.extract() 把一句话抽成 Pydantic 对象
  • 用 Whistle 转写音频并拿到词级时间戳，用 Mirage 识别文字、按表单填值并看懂概率
  • 用 cactus download、cactus fetch 和环境变量把模型部署到断网设备

官方资料

绑定工具： Cactus Needle（https://www.kun.net/tools/cactus-needle/ ）