ollama-benchmark

一键测本地大模型吞吐，选模型不靠猜

开源 🏷️定价信息待确认 ✅ 目前可打开 评测安全 🍴 复刻 48 🐛 待处理 7 👀 关注 5
访问官网 ↗ GitHub ↗
GitHub 星标 ★ 397
维护状态 较活跃
是否开源 开源
定价模式 🏷️定价信息待确认

项目预览

ollama-benchmark 项目界面预览图
图片来源：GitHub 官方仓库名片

项目数据

分类评测安全
开发团队aidatatools
官网地址https://llm.aidatatools.com
GitHubhttps://github.com/aidatatools/ollama-benchmark
定价模式🏷️定价信息待确认
价格说明定价信息待确认
访问状态✅ 目前可打开
是否开源是
开源协议MIT
主要语言Python
技术栈/模型ai,ai-tools,benchmark,llm,ollama
GitHub 星标★ 397
上线时间2024-01-18 00:00:00
代码更新2026-10-27
仓库体积10.9 MB
本站数据更新2026-11-03
维护状态较活跃
收录时间2026-09-16
浏览次数1

项目介绍

ollama-benchmark 是一个面向本地大模型（通过 Ollama 运行）的吞吐量基准测试工具。它解决的核心问题是：当你在本地部署 Llama、Mistral、Qwen 等模型时，很难快速知道不同模型、不同量化版本、不同硬件配置下的实际推理速度到底如何。项目通过调用 Ollama 的 API，自动向模型发送请求并统计每秒生成的 token 数（tokens/s）、首 token 延迟等关键指标，最终以表格或图表形式输出对比结果。核心能力包括：支持批量测试多个模型、可配置提示词与生成长度、输出结构化性能数据、便于横向比较不同模型在同一机器上的表现。它适合开发者、AI 爱好者在选购硬件、选择模型或调优推理参数时，用数据代替感觉来做决策。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整

数据来源：GitHub API 逐日快照 · 收录于 2026-09-16 · 当前星标 ★ 397

技术标签

核心亮点

  • 直接对接 Ollama API，无需额外部署推理服务，开箱即用
  • 输出 tokens/s 等量化指标，可批量对比多个模型在同一硬件上的表现
  • Python 实现，代码轻量，便于按需修改测试参数或扩展指标

不足之处

  • 仅覆盖吞吐量维度，缺少显存占用、功耗、准确率等综合评测
  • 项目星标较少，文档和社区案例有限，长期维护情况待观察

适用场景

  • 选购本地推理显卡或主机前，对比不同模型的实际生成速度
  • 在 Llama、Qwen、Mistral 等模型间做选型，用数据决定哪个更快
  • 调整量化等级或上下文长度后，验证推理性能变化

替代项目

llama.cpp、vLLM、LocalAI

上一篇：llm-jp-eval

下一篇：llm-coding-benchmark

同类项目推荐

AutoControl-Arena 开源

自动给AI找茬，提前暴露危险行为

[ICML 2026] AutoControl Arena: Frontier AI Risk Auto-Discovery Platform

★ 93 2026-08-09
Doberman-Core 开源

给 AI 智能体装上安全锁，防提示注入，控工具权限

Your AI's guard dog. Doberman sits at runtime, gating every input, output and tool c···

★ 277 2026-08-09
LLM4Pentest 开源

让大模型真刀真枪打渗透，测出真实攻防水平

★ 377 2026-09-16
ai-evals 开源

用 Ruby 脚本跑 AI 模型评测，选型对比有据可依

Evals and benchmarks for AI models

★ 117 2026-09-24
AwesomeLLM4APR 开源

一页看尽大模型修Bug研究全景，快速入门与选题

[TOSEM 2026]A Systematic Literature Review on Large Language Models for Automated Pr···

★ 250 2026-08-09
NiceEval 开源

10分钟为你的AI Agent搭建评测体系

build eval for your agent in 10 mins

★ 163 2026-08-23
RWKU 开源

给大模型做“记忆清除手术”，并验证效果是否达标

RWKU: Benchmarking Real-World Knowledge Unlearning for Large Language Models. NeurIP···

★ 103 2026-08-09
bergen 开源

给RAG系统做体检，量化对比谁更强

Benchmarking library for RAG

★ 283 2026-08-09