概览
Needle 3 是 Cactus Compute 做的端侧基础模型，目标设备是手机、可穿戴、机器人、智能家居、车机甚至微控制器。它主动放弃了通用聊天能力，只做三件事：工具调用、结构化抽取和文本向量。用法是先声明你的应用有哪些函数，模型读懂一句话后决定调哪个、参数怎么填；一句话里有两个请求就按顺序给出两个调用，没有工具能处理时返回空列表，不会编一个出来。抽取则是给一个字段结构，把发票、订单、通知这类杂乱文本变成带类型的数据。 模型采用 Cactus 自研的 Simple Attention Network，并做了「分层阶梯」设计：20 层里的每一段前缀都是能单独用的子网络，开发者可以在 2 层到 20 层之间按设备挑选，参数量从 29M 到 121M，用 CQ2 2-bit 量化后单个二进制只有 8 到 29 MB。解码时按工具定义编译字节级语法约束，所以输出一定能被解析；每个调用还附带校准过的置信度和逐参数的推导说明，方便产品决定直接执行还是先让用户确认。官方给出的速度是在树莓派 5 上解码每秒 400 到 4,000 个 token。官方称它在手机端工具调用上胜过 10 倍体量的模型，在抽取任务上与 2 到 3 倍体量的模型相当；4 层子网络在下游任务上做一轮 LoRA 微调可追平 DeepSeek V4 Flash，以上均为官方自测。需要注意，官方支持的语言是英语、德语、法语、西班牙语、意大利语、荷兰语和波兰语，中文指令目前用不了。 使用方式是 pip install cactus-compute，首次运行时从 Hugging Face 下载不到 2 MB 的引擎和约 35 MB 的 needle3.cact 权重，之后完全离线推理；同一个包里还有语音模型 Whistle 和视觉模型 Mirage。权重和代码均为 Apache-2.0。官方来源：https://cactuscompute.com/needle 、https://cactuscompute.com/blog/needle-python-docs 、https://huggingface.co/Cactus-Compute/needle3 、https://github.com/cactus-compute/cactus 。站内教程：https://www.kun.net/tutorials/cactus-4-python-quickstart-needle-whistle-mirage/ 。 定价：权重与代码以 Apache-2.0 协议免费开源，在本机或设备上离线运行；官方另有需要 API Key 的托管微调平台，模型本身不按 token 收费，因此不列单价。
- 模态
- 文本
- 参数量
- 29M–121M
- 许可说明
- 开源 · Apache-2.0
能力
- Cactus Compute 为手机、手表、机器人、智能家居、车机和微控制器做的端侧小模型，专做工具调用、结构化抽取和文本向量，不做闲聊
- 可选 2 到 20 层子网络，参数 29M 到 121M，CQ2 2-bit 量化后单个二进制 8 到 29 MB；Python 包里的默认权重 needle3.cact 约 35 MB
- 根据你声明的函数选择调用并从原句填参数；一句话两个请求会按顺序给出两个调用，没有工具能处理时返回空列表而不是猜
- 按工具定义编译字节级语法约束解码，输出一定是合法 JSON；每次调用带 0 到 1 的校准置信度和逐参数推导说明
- 官方数据：树莓派 5 上解码 400 到 4,000 tokens/s、预填充 1,000 到 10,000 tokens/s；训练数据为 3,600 亿 token 的自有结构化数据
- 支持 LoRA 微调，官方称 4 层子网络在下游任务上微调一个 epoch 可追平 DeepSeek V4 Flash
- 官方支持英语、德语、法语、西班牙语、意大利语、荷兰语、波兰语，不支持中文；通过 pip install cactus-compute 使用，Apache-2.0