oMLX

面向 Apple Silicon 的本地 LLM 推理服务(菜单栏管理 + SSD KV 缓存)。

更新于

系列
0
模型
0
产品
1

公司简介

oMLX(omlx.ai,github.com/jundot/omlx)是面向 Mac Apple Silicon 的开源 MLX 推理服务器:连续批处理、热内存+SSD 分层 KV 缓存、多模型、OpenAI/Anthropic 兼容 API,可从菜单栏管理;Homebrew 与 .dmg 安装。中文 README 可用,对国内 Mac 本地编码 Agent 场景价值高。

旗下产品

1

同地区厂商