llmspeed

买显卡前先跑分，本地大模型速度一目了然

开源 🏷️定价信息待确认 ⏳ 访问状态待核验 评测安全 🍴 复刻 7 🐛 待处理 5
访问官网 ↗ GitHub ↗
GitHub 星标 ★ 171
维护状态 较活跃
是否开源 开源
定价模式 🏷️定价信息待确认

项目预览

llmspeed 项目界面预览图
图片来源：项目官网

项目数据

分类评测安全
开发团队nicorobinreal
官网地址https://llmspeed.dev
GitHubhttps://github.com/nicorobinreal/llmspeed
定价模式🏷️定价信息待确认
价格说明定价信息待确认
访问状态⏳ 访问状态待核验
是否开源是
开源协议MIT
主要语言TypeScript
技术栈/模型benchmark,gpu,hardware,inference,llm,llm-inference,local-llm,ollama,self-hosted
GitHub 星标★ 171
上线时间2026-08-28 00:00:00
代码更新2026-10-20
仓库体积1.5 MB
本站数据更新2026-11-07
维护状态较活跃
收录时间2026-11-07
浏览次数0

项目介绍

llmspeed 是一个用 TypeScript 编写的本地大模型推理速度评测工具，目标是在购买 GPU 或整机之前，先量化本地 LLM 的实际运行表现。它对接 Ollama 等本地推理后端，自动发送标准化请求并采集首 token 延迟、每秒生成 token 数、总耗时等指标，把「这块卡跑这个模型到底多快」变成可对比的数字。核心能力包括：统一测试流程减少人为误差、支持多模型与多硬件配置横向对比、输出结构化结果便于记录和分享。适合个人装机选型、团队评估自托管推理成本，以及开发者调优量化等级和上下文长度时做基线测量。项目处于早期阶段，星标约 171，代码量不大，胜在定位清晰、上手直接，填补了「买前先测」这一环节的工具空白。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整

数据来源：GitHub API 逐日快照 · 收录于 2026-11-07 · 当前星标 ★ 171

核心亮点

  • 围绕「买硬件前先测速」设计，直接输出首 token 延迟和每秒 token 数等可对比指标
  • 对接 Ollama 等本地推理后端，无需自建评测框架即可跑通完整测试流程
  • TypeScript 实现，安装和二次开发门槛低，结果结构化便于记录与横向比较

不足之处

  • 项目处于早期，测试维度与硬件覆盖范围有限，结论外推需谨慎
  • 缺少成熟的基准数据集与统计显著性设计，多次运行波动可能影响对比

适用场景

  • 个人装机前对比不同 GPU 跑同一模型的推理速度
  • 团队评估自托管 LLM 的硬件成本与吞吐是否满足业务需求
  • 开发者调整量化等级或上下文长度后做性能基线复测

替代项目

llama.cpp、vLLM、Ollama

上一篇：SurrogateShield

下一篇：lm_understand-logs

同类项目推荐

DSBench 开源

测测你的AI助手能不能像数据科学家一样干活

[ICLR 2025] DSBench: How Far are Data Science Agents from Becoming Data Science Expe···

★ 131 2026-08-09
ProteinWorkshop 开源

统一蛋白质表示学习的数据、模型与评测流程

Benchmarking framework for protein representation learning. Includes a large number ···

★ 280 2026-10-31
ClawProBench 开源

在真实 OpenClaw 里反复跑 Agent，用确定性打分比出谁更稳

ClawProBench is a live-first benchmark harness for evaluating LLM agents in the Op···

★ 829 2026-09-16
aiewf-eval 开源

专测大模型长上下文下的安全表现

A long-context eval

★ 169 2026-09-14
arksim 开源

模拟真实用户对话，上线前自动揪出智能体错误。

Find your agents errors be fore your real users do

★ 235 2026-08-09
Video-MME-v2 开源

评测视频大模型，从看懂片段到理解长视频全场景。

Video-MME-v2: Towards the Next Stage in Benchmarks for Comprehensive Video Understan···

★ 368 2026-08-09
overmind 开源

追踪+评测+微调，让 Agent 越用越准

The platform for continuously improving AI agents.

★ 751 2026-10-07
ResolveLab 开源

给 Agent 工具注入故障，用副作用打分验真本事

Fault-injected tool environments with side-effect grading for evaluating and post-tr···

★ 105 2026-11-06