FreeToken

简介

FreeToken 是 FlashML 开源（Apache-2.0）的端侧 MoE 推理引擎，目标是在个人电脑和消费级显卡上跑前沿规模的开源权重 MoE 模型（官方称可在游戏 PC 上以交互速度运行 290B 以上的模型）。它把 GPU、CPU、内存和互联当作一个整体来调度：按带宽自适应地让 CPU 和 GPU 协同计算，用全局 LRU 缓存常用专家，还能在不重启、不重载权重的情况下在专家缓存和 KV 缓存之间重新分配显存。支持 DeepSeek-V4.1-Flash、GLM-5.2、Qwen3.6-35B-A3B、gpt-oss、Gemma-4、MiniMax-M3 等模型及 MXFP4/NVFP4/FP8/BF16 等格式。用法有两种：在 flashml.ai 下载 Windows/Linux 桌面端，图形界面里跑模型、聊天、调参；或用 uv pip install "freetoken[accel]" 装命令行，ft serve 加模型名启动服务（默认 127.0.0.1:1919），对外提供 OpenAI（/v1/chat/completions、/v1/responses、/v1/models）和 Anthropic（/v1/messages）兼容接口，ft launch claude/codex/opencode 等可一键把编程智能体接到本地服务。命令行版要求 Linux x86_64、NVIDIA 显卡、r580+ 驱动（CUDA 13）、Python ≥3.10；原生支持 RTX 30/40/50 系列。GitHub 约 1.5 万星，官网当前版本 v0.2.0-beta.25。官方来源：https://www.flashml.ai/ 、https://github.com/FlashML-org/FreeToken 、https://arxiv.org/abs/2608.16157 （2026-11-02 核对）。 定价：开源免费（Apache-2.0），本地运行，官网未列付费方案。

• 消费级显卡跑大 MoE｜CPU–GPU 按带宽自适应协同，配合专家缓存，在游戏本和台式机上跑前沿规模开源 MoE 模型。
• 弹性显存管理｜运行时在专家缓存和 KV 缓存之间重新分配显存，不用重启引擎或重载权重。
• 智能体友好的缓存｜语义锚点检查点让工具调用、思考块等上下文改动不必整段重算。
• OpenAI / Anthropic 双兼容 API｜提供 /v1/chat/completions、/v1/responses、/v1/messages 等接口，现成客户端改个 base URL 就能用。
• 一键接编程智能体｜ft launch 可为 Claude Code、Codex、OpenCode、OpenClaw 等写好配置并直接启动。
• 桌面端与终端｜Windows/Linux 桌面应用管理模型、聊天和调参；ft shell 提供终端聊天界面。

界面截图

可左右滑动，或使用方向键、Home 和 End 浏览截图。