ArtifactsBenchmark

一键跑分，量化 AI 生成工件质量

ArtifactsBenchmark 是一个用于评估和比较 AI 生成工件（如代码、文档、设计稿等）质量的基准测试框架。它解决了当前 AI 模型在生成复杂、多步骤工件时缺乏统一、客观评估标准的问题。该项目提供了一套标准化的测试用例、评估指标和自动化评分流程，支持多种主流 AI 模型，能够量化模型在生成代码、文本、图表等不同类别工件时的准确性、完整性和实用性。其核心能力包括：可扩展的测试集、灵活的评估插件、以及详细的报告生成，帮助开发者快速对比不同模型的优劣，推动 AI 生成质量的持续改进。

开源 free 开源模型

访问官网 ↗ GitHub ↗ 文档 ↗

GitHub 星标 ★ 279

维护状态低维护

是否开源是

定价模式 free

项目数据

分类开源模型

开发团队Tencent-Hunyuan

所属国家

官网地址https://artifactsbenchmark.github.io

GitHubhttps://github.com/Tencent-Hunyuan/ArtifactsBenchmark

定价模式free

价格说明开源项目，无在线服务，需自行部署，完全免费。

访问状态

是否开源是

开源协议NOASSERTION

主要语言Python

技术栈/模型artifacts,benchmark,large-language-models,llm,mllm,reward-model

GitHub 星标★ 279

30天Star增速

HF 下载量

上线时间2025-06-26 00:00:00

最近更新2026-09-24 00:00:00

维护状态低维护

中文支持

访问方式

移动端支持

综合评分

收录时间2026-08-09

浏览次数5

使用教程

核心亮点

提供标准化测试集，覆盖代码、文档、设计等多类工件，评估维度全面
自动化评分流程，减少人工干预，结果可复现
支持插件化扩展，方便接入新模型和自定义评估指标

不足之处

早期项目，测试集覆盖场景有限，可能无法反映真实复杂任务
文档和社区生态尚不完善，上手门槛较高

适用场景

AI 模型选型时对比不同模型的生成质量
研究机构评估最新生成模型的性能
开发团队在集成 AI 生成功能前进行质量验收

替代项目

HELM、lm-evaluation-harness、Big-Bench

项目介绍

ArtifactsBenchmark 是评测安全领域的开源项目，由 Tencent-Hunyuan 开发，2025 年首次发布。

它收录于评测安全分类，该分类目前共有 458 个项目，GitHub 星标数为 278。

项目已超过三个月没有代码更新，维护节奏明显放缓，最近一次代码更新于 2026-08-18。无在线服务，需自行部署，完全免费。

它主要面向的使用场景是：AI模型选型时对比不同模型的生成质量。同类可对比的替代方案包括 HELM、lm-evaluation-harness、Big-Bench。

上一篇：Awesome-LVLM-Hallucination

下一篇：tool-retrieval-benchmark