DreamLayer-Eval

一键自动化评测扩散模型，告别手动调参和结果不可复现。

开源 🏷️定价信息待确认 ✅ 目前可打开 图像生成 🍴 复刻 204 🐛 待处理 74 👀 关注 4
访问官网 ↗ GitHub ↗
GitHub 星标 ★ 412
维护状态 较活跃
是否开源 开源
定价模式 🏷️定价信息待确认

项目预览

DreamLayer-Eval 项目界面预览图
图片来源：项目官网

项目数据

分类图像生成
开发团队TheDesignFounder
官网地址https://dreamlayer.io/opensource
GitHubhttps://github.com/TheDesignFounder/DreamLayer-Eval
定价模式🏷️定价信息待确认
价格说明定价信息待确认
访问状态✅ 目前可打开
是否开源是
开源协议GPL-3.0
主要语言Python
技术栈/模型benchmarking,diffusion-models,evaluation-metrics,generative-ai,image-generation,stable-diffusion
GitHub 星标★ 412
上线时间2025-06-22 00:00:00
代码更新2026-10-30
仓库体积296.9 MB
本站数据更新2026-11-11
维护状态较活跃
收录时间2026-08-09
浏览次数4

项目介绍

DreamLayer-Eval 是一个面向扩散模型的自动化评测基准工具，旨在解决图像生成模型评估过程繁琐、结果难以复现的问题。它通过自动化管理评估流程、随机种子和关键指标，帮助开发者快速、公平地对比不同扩散模型（如 Stable Diffusion 系列）的性能。核心能力包括：一键运行标准化评测、自动记录种子与配置以保证可复现性、内置多种评估指标（如 FID、CLIP Score 等），并支持自定义扩展。项目采用 Python 编写，接口简洁，适合集成到现有开发流程中，尤其适用于模型迭代、版本对比和论文实验。目前项目处于早期阶段，但已提供核心功能，为图像生成领域的工程实践和学术研究提供了高效、可靠的评测基础设施。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整

数据来源：GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 412

使用教程

ℹ 本教程由 AI 依据该项目 README 整理，个别步骤可能需要按你的环境微调。

难度：进阶 约 40 分钟 部署方式：本地构建 4 步

环境要求

  • Node.js 20+
  • Python 3.10+
  • （评测模型）NVIDIA GPU

安装与启动步骤

  1. 1装两套依赖

    前端与研究侧环境分开装。

    .venv-research/bin/python -m pip install -r requirements-research.lock.txt

  2. 2起本地工作台

    它绑本机地址，不对外。

    npm run dev -- --host 127.0.0.1 --port 8080

  3. 3导入一组素材

    图片与视频都能评，先小批量。

  4. 4固定评分口径

    同一套标准重跑，才谈得上可复现。

如何确认成功

同一批素材用同一配置重跑两次，评分结果一致，且能看到每条素材的评分依据

注意事项

  • 它是本地评测工作台，重点是可复现而不是打分高低。
  • 评分口径不固定时，两次结果没有可比性。
  • 评测依赖模型判断，模型换版本结果就会变。
  • 素材涉及版权与肖像，本地存放要控访问。
  • 研究侧依赖锁定在文件里，别随意升级。

核心亮点

  • 自动化管理种子和配置，确保评测结果可复现
  • 内置多种主流评估指标，开箱即用
  • 接口简洁，易于集成到现有模型开发流程

不足之处

  • 文档/社区待观察
  • 早期项目，功能覆盖可能不够全面

适用场景

  • 对比不同扩散模型版本或超参的生成质量
  • 在论文或技术报告中生成标准化的模型评估数据
  • 作为 CI/CD 流程中的模型回归测试工具

替代项目

FID Score、CLIP Score、T2I-CompBench

上一篇：vistorybench

下一篇：clean-fid

同类项目推荐

MarkDiffusion 开源

给扩散模型生成图加水印，统一接口做嵌入、提取与评测

[JMLR] MarkDiffusion: An Open-Source Toolkit for Generative Watermarking of Latent D···

★ 334 2026-10-29
benchmark 开源

用200个真实网页任务，跑分对比你的浏览器AI智能体

Open benchmarks for browser agents: BU Bench V2.1, 200 real web tasks. Rerun them wi···

★ 167 2026-10-21
VEFX-Bench 开源

给视频编辑和特效模型打分，选型不再靠感觉

VEFX-Bench: A Holistic Benchmark for Generic Video Editing and Visual Effects

★ 177 2026-08-09
Zero-Breach-Toolkit 开源

离线自查设备是否留有已知间谍软件痕迹

Free, open-source check for traces of mercenary spyware (Pegasus, Predator, Graphite···

★ 4657 2026-10-29
dingo 开源

一键评测AI数据与模型质量，自动出报告

Dingo: A Comprehensive AI Data, Model and Application Quality Evaluation Tool

★ 767 2026-09-16
Awesome-LM-SSP 开源

一网打尽大模型安全、隐私攻防的精华资料，快速跟上前沿。

A reading list for large models safety, security, and privacy (including Awesome LLM···

★ 2103 2026-08-09
AgentBench 开源

一套基准测出 LLM 当智能体到底行不行

A Comprehensive Benchmark to Evaluate LLMs as Agents (ICLR'24)

★ 3820 2026-08-09
ai-safe2-framework 开源

给 AI 智能体装上治理与合规操作系统，让 AI 安全落地。

The Universal Governance, Risk, Compliance (GRC) Operating System with Integrated Se···

★ 158 2026-08-10
jevals 开源

每条 trace 一次请求，几分钱延迟低到能进 Agent 循环

Agent evals and guardrails as Jev decisions: one request per trace, a fraction of a ···

★ 120 2026-10-03