oMLX

简介

oMLX 是面向 Mac Apple Silicon 的 MLX 推理服务器，从菜单栏管理模型驻留与换出，热内存+SSD 分层 KV 缓存可跨请求复用上下文，适合 Claude Code 等本地编码 Agent。提供 OpenAI/Anthropic 兼容 API（默认 localhost:8000/v1），支持 .dmg 与 Homebrew 安装。官网 https://omlx.ai/ ，仓库 github.com/jundot/omlx（约 2 万+★）。

• Apple Silicon / MLX 本地推理
• 连续批处理与分层 KV 缓存
• 菜单栏管理多模型
• OpenAI / Anthropic 兼容 API
• dmg 与 Homebrew 安装

界面截图

可左右滑动，或使用方向键、Home 和 End 浏览截图。