primitive-bench

声明任务先定价，AI 干完验证，不成退款

开源 🏷️按量计费 ✅ 目前可打开 评测安全 🍴 复刻 4 🐛 待处理 12 👀 关注 2
访问官网 ↗ GitHub ↗
GitHub 星标 ★ 122
维护状态 维护中
是否开源 开源
定价模式 🏷️按量计费 按任务固定价格预付，未交付可退款，具体定价待确认

项目预览

primitive-bench 项目界面预览图
图片来源：项目官网

项目数据

分类评测安全
开发团队primitive-bench
官网地址https://www.primitivebench.com
GitHubhttps://github.com/primitive-bench/primitive-bench
定价模式🏷️按量计费
价格说明按任务固定价格预付，未交付可退款，具体定价待确认
访问状态✅ 目前可打开
是否开源是
开源协议Apache-2.0
主要语言Python
技术栈/模型agent-tools,ai-agents,benchmark,evaluation,llm,mcp,ocr,rerankers,retrieval,tool-use
GitHub 星标★ 122
上线时间2026-06-17 00:00:00
代码更新2026-09-03
仓库体积818 KB
本站数据更新2026-11-13
维护状态维护中
收录时间2026-09-30
浏览次数1

项目介绍

primitive-bench 是一个面向 AI 智能体结果的可验证评测与交付层。它把「任务」当作商品：用户声明要完成的任务，平台先给出固定价格，再自动在多种工具（OCR、检索、重排、MCP 工具调用等）之间路由，尝试完成该任务；若最终结果未达成，则退款。项目核心是开源验证层，负责判断 AI 输出是否真正满足任务要求，而不是只看模型自评或人工抽查。它解决的是 AI Agent 落地时「结果不可信、计费不透明、失败无兜底」的问题，把评测、路由、结算和退款串成闭环。技术上以 Python 实现，围绕 agent-tools、benchmark、evaluation、LLM、MCP、OCR、rerankers、retrieval、tool-use 等能力构建，适合需要可审计、可复现 AI 交付的团队。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整

数据来源：GitHub API 逐日快照 · 收录于 2026-09-30 · 当前星标 ★ 122

核心亮点

  • 把固定报价、工具路由、结果验证和退款做成闭环，AI 交付有兜底
  • 开源验证层可独立接入，便于审计 AI 输出是否真正满足任务
  • 覆盖 OCR、检索、重排、MCP 工具调用等，适合多工具组合型 Agent 评测

不足之处

  • 项目早期，星标仅 122，生态与生产案例有限
  • 验证层对复杂主观任务的判定边界和准确率仍需更多公开评测

适用场景

  • 企业采购 AI 数据处理服务，按任务固定报价并要求未达标退款
  • Agent 团队在发布前用可验证基准回归工具调用与检索效果
  • 平台方对第三方 AI 工具做结果验收与自动结算

替代项目

OpenAI Evals、LangSmith、Braintrust

上一篇：perceptual_abilities_evaluation

下一篇：agentgg

同类项目推荐

L1B3RT4S 开源

玩转 AI 提示词，用幽默解锁创意交互

TOTALLY HARMLESS LIBERATION PROMPTS FOR GOOD LIL AI'S! [DISREGARD PRE···

★ 23309 2026-08-09
context-bombs 开源

用现成的攻击字符串，测出你的 AI 系统抗不抗揍。

Context bomb strings

★ 166 2026-08-10
XRAG 开源

给 RAG 系统做全面体检，量化每个核心模块的真实实力

XRAG: eXamining the Core - Benchmarking Foundational Component Modules in Advanced R···

★ 612 2026-08-09
SafeGen_CCS2024 开源

给文生图模型加安全锁，推理时自动过滤违规内容

[CCS'24] SafeGen: Mitigating Unsafe Content Generation in Text-to-Image Models

★ 139 2026-08-09
overmind 开源

追踪+评测+微调，让 Agent 越用越准

The platform for continuously improving AI agents.

★ 758 2026-10-07
SkillEvaluator 开源

给 Agent 技能做体检：查冲突、测安全、验效果

Multi-tier framework for evaluating AI agent skills with quality gates, semantic ove···

★ 1057 2026-10-13
sample-agent-cost-bench 开源

横向评测编程代理的成本、质量与耗时

Benchmark framework that measures cost, quality, and duration of coding agents acros···

★ 110 2026-10-27
svelte-bench 开源

专测大模型写 Svelte 5 代码行不行

An LLM benchmark for Svelte 5 based on the OpenAI methodology from OpenAIs paper "Ev···

★ 190 2026-09-15