primitive-bench

声明任务先定价，AI 干完验证，不成退款

primitive-bench 是一个面向 AI 智能体结果的可验证评测与交付层。它把「任务」当作商品：用户声明要完成的任务，平台先给出固定价格，再自动在多种工具（OCR、检索、重排、MCP 工具调用等）之间路由，尝试完成该任务；若最终结果未达成，则退款。项目核心是开源验证层，负责判断 AI 输出是否真正满足任务要求，而不是只看模型自评或人工抽查。它解决的是 AI Agent 落地时「结果不可信、计费不透明、失败无兜底」的问题，把评测、路由、结算和退款串成闭环。技术上以 Python 实现，围绕 agent-tools、benchmark、evaluation、LLM、MCP、OCR、rerankers、retrieval、tool-use 等能力构建，适合需要可审计、可复现 AI 交付的团队。