llmspeed

llmspeed

选一块 GPU 或一台 Mac 和一个模型,按预测的首字延迟和 tokens/s 实时播放回答,看本地 LLM 跑起来到底多快。

更新于 2026-10

产品概览
概览
厂商llmspeed
分类AI 编程

简介

https://llmspeed.dev/ 与 GitHub README 已打开核验。没有实测数据时,生成速度按显存带宽推算,预填充速度按 FP16 算力推算,系数用实测基准校准。目前只模拟单卡,不支持多卡切分。驱动、引擎版本、功耗墙等因素会让实际速度相差 10–30%。欢迎用 llama-bench 跑分后提 PR 补数据。 定价:免费网页工具;开源 MIT

  • 实时模拟先等待按提示长度估算的首字延迟,再按预测速度逐字输出
  • 竞速模式两套配置并排比较,例如 RTX 5090 对 Mac Studio
  • 显存估算各量化级别能否装下、要不要部分卸载到内存、还是根本跑不了
  • 覆盖约 30 种 GPU、Mac、CPU 和 15 个热门模型,后端含 CUDA、Metal、ROCm、Vulkan、CPU
  • 每个数字都标注「实测 / 推算 / 按规格预估」,任意配置都能生成分享链接
本地大模型LLM推理显卡选购Macllama.cpp基准测试开源

界面截图

相关工具