dingo

一键评测AI数据与模型质量，自动出报告

开源 🏷️定价信息待确认 ✅ 目前可打开 评测安全 🍴 复刻 80 🐛 待处理 6 👀 关注 10
访问官网 ↗ GitHub ↗
GitHub 星标 ★ 764
维护状态 活跃
是否开源 开源
定价模式 🏷️定价信息待确认

项目预览

dingo 项目界面预览图
图片来源：项目官网

项目数据

分类评测安全
开发团队MigoXLab
官网地址https://dingo.openxlab.org.cn
GitHubhttps://github.com/MigoXLab/dingo
定价模式🏷️定价信息待确认
价格说明定价信息待确认
访问状态✅ 目前可打开
是否开源是
开源协议Apache-2.0
主要语言Python
技术栈/模型agent-as-a-judge,common-crawl,data-agent,data-evaluation,data-quality,data-quality-assessment,data-quality-report,data-validation,dataquality,datascience,deepseek,hallucination,hallucination-detection,llm,llm-as-a-judge,openai,opencompass,qwen,spark,vlm
GitHub 星标★ 764
上线时间2024-12-24 00:00:00
代码更新2026-11-04
仓库体积61.4 MB
本站数据更新2026-11-04
维护状态活跃
收录时间2026-09-16
浏览次数1

项目介绍

Dingo 是一个面向 AI 数据、模型与应用的质量评测工具，用 Python 编写。它要解决的问题是：大模型项目里数据质量参差不齐、模型输出难以量化评估，团队往往缺少一套统一、可复用的评测流程。Dingo 提供从数据质量检查到模型/应用效果评估的一体化能力，内置多种评测规则与指标，并引入 agent-as-a-judge 思路，用智能体辅助打分，降低人工标注成本。它支持对常见爬取数据（如 Common Crawl 来源）做质量评估并生成质量报告，也能对模型输出做多维度打分。整体定位是让数据清洗、模型选型和上线前的质量把关有据可依，适合需要批量评估语料与模型表现的工程团队快速接入。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整

数据来源：GitHub API 逐日快照 · 收录于 2026-09-16 · 当前星标 ★ 764

使用教程

ℹ 本教程由 AI 依据该项目 README 整理，个别步骤可能需要按你的环境微调。

难度：进阶 约 25 分钟 部署方式：本地安装 4 步

环境要求

  • Python 3.9+
  • 模型 Key（部分指标）

安装与启动步骤

  1. 1装包

    面向大模型与 RAG 的自动化评测工具。

    pip install dingo-python

  2. 2按需装扩展

    多模态或检索评测是分开的 extra。

    pip install "dingo-python[hhem]"
pip install "dingo-python[retrieval]"

  3. 3准备待评数据

    输入是模型输出或检索结果。

    dingo eval --input results.jsonl

  4. 4看报告

    输出分维度的评分与问题清单。

    dingo report --format html

如何确认成功

能对一份模型输出生成含各维度分数的报告。

注意事项

  • 评测指标有的是规则、有的是模型判，注意区分可信度。
  • 自定义指标要写清楚判定标准，否则不可复现。
  • 全量 extra 装得多，按需选。

核心亮点

  • 内置多种数据质量规则与指标，开箱即可对语料批量打分
  • 引入 agent-as-a-judge，用智能体辅助评测，减少纯人工标注
  • 支持生成数据质量报告，便于团队复盘与决策

不足之处

  • 项目星标约756，属于早期阶段，生态与案例积累有限
  • 评测规则和指标的覆盖面可能仍需按业务自行扩展

适用场景

  • 大模型训练前对爬取语料做质量筛查与打分
  • 模型上线前对输出效果做多维度自动评测
  • 数据团队定期生成数据质量报告，跟踪数据健康度

替代项目

DeepEval、Ragas

上一篇：ClawProBench

下一篇：ps-fuzz

同类项目推荐

vestige 开源

给AI智能体装黑匣子，每步操作可查可证

Think before doing, prove before saving. Vestige is the local-first cognitive operat···

★ 659 2026-10-10
humanbound 开源

给 AI 智能体找茬，自动发现安全漏洞和逻辑缺陷。

Open-source adversarial testing engine, SDK, and CLI for AI agents. Runs locally or ···

★ 228 2026-08-09
Awesome-Machine-Generated-Text 开源

一站式找全大模型生成文本的检测与分析资源

Continuously updated list of related resources for generative LLMs like GPT and thei···

★ 231 2026-08-09
ChronoMagic-Bench 开源

测文生视频的时间演化能力，让模型从动起来到变起来

[NeurIPS 2024 D&B Spotlight] ChronoMagic-Bench: A Benchmark for Metamorphic Evaluati···

★ 214 2026-08-09
ErrorAnalysis_Prompt 开源

用 ChatGPT 快速定位翻译错误，输出结构化评估报告

:gift:[ChatGPT4MTevaluation] ErrorAnalysis Prompt for MT Evaluation in ChatGPT

★ 91 2026-08-09
synbad 开源

同一模型多家推理服务商，跑一轮评测看谁更靠谱

LLM evals to test open-source inference providers

★ 136 2026-10-07
OpenRT 开源

一键对多模态大模型发起42+攻击，快速暴露安全漏洞

Open-source red teaming framework for MLLMs with 42+ attack methods

★ 279 2026-08-10
AgentMark 开源

给AI智能体行为打上隐形水印，防止被盗用

【ACL 2026 Main】AgentMark: Utility-Preserving Behavioral Watermarking for Agents

★ 100 2026-08-09
gpt6-Astra 开源

一个工作台集中测试各大模型的越狱与安全边界

gpt6 Astra-claude-grok4.7-deepseekv4.1flash-glm5.3-gemini破甲越狱 · 冷咖啡 BREAK//O···

★ 1932 2026-10-17