torch-fidelity

PyTorch 生成模型指标,数值对齐可复现

开源 🏷️完全免费 🔧 仅开源项目,无在线服务,需自行部署 评测安全 🍴 复刻 87 👀 关注 5
GitHub ↗
GitHub 星标 ★ 1206
维护状态 较活跃
是否开源 开源
定价模式 🏷️完全免费 开源免费,MIT 许可证

项目预览

torch-fidelity 项目界面预览图
图片来源:GitHub 官方仓库名片

项目数据

分类评测安全
开发团队toshas
定价模式🏷️完全免费
价格说明开源免费,MIT 许可证
访问状态🔧 仅开源项目,无在线服务,需自行部署
是否开源是
开源协议NOASSERTION
主要语言Python
技术栈/模型evaluation,frechet-inception-distance,gan,generative-model,inception-score,kernel-inception-distance,metrics,perceptual-path-length,precision,pytorch,reproducibility,reproducible-research
GitHub 星标★ 1206
上线时间2020-04-23 00:00:00
代码更新2026-10-25
仓库体积2.4 MB
本站数据更新2026-11-03
维护状态较活跃
收录时间2026-11-03
浏览次数0

项目介绍

torch-fidelity 是面向 PyTorch 生成模型的评测指标库,主要解决生成模型评估中指标实现不一致、数值不可复现的问题。它提供 FID、Inception Score、KID、PRC 等常用指标的标准化实现,强调与参考实现数值对齐,并支持自定义特征提取器与数据集接口。核心能力包括:统一的数据加载与批处理流程、对预训练 Inception 特征的精确复现、支持大规模数据集的分块统计、提供命令行与 Python API 两种调用方式。项目还内置了与官方 TensorFlow 实现对比的数值校验测试,方便研究者在论文或实验中引用可信指标。适合需要严谨对比 GAN、扩散模型等生成模型质量的学术与工程场景。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整

数据来源:GitHub API 逐日快照 · 收录于 2026-11-03 · 当前星标 ★ 1206

使用教程

难度:入门 约 10 分钟 部署方式:库/依赖 7 步

环境要求

  • Python 3 环境,pip 可正常使用
  • 已安装 PyTorch(生成器为 torch 模型)
  • 如需 GPU 加速,需 CUDA 版 PyTorch 与可用显卡
  • 首次评估会缓存特征与统计,建议预留磁盘空间

安装与启动步骤

  1. 1准备运行环境

    确认 Python 3 与 pip 可用,并已安装 PyTorch;没有 GPU 时,后面把 cuda 设为 False。

  2. 2安装库

    从 PyPI 安装 torch-fidelity,pip 会自动处理依赖,建议在虚拟环境中执行。

    pip install torch-fidelity
  3. 3验证导入

    在 Python 中导入模块,确认安装成功、没有导入报错。

    python -c "import torch_fidelity; print('ok')"
  4. 4包装生成模型

    用 GenerativeModelModuleWrapper 包装生成器,依次传入噪声维度、分布类型与截断参数。

    wrapped_generator = torch_fidelity.GenerativeModelModuleWrapper(generator, 128, 'normal', 0)
  5. 5计算指标

    调用 calculate_metrics,把生成器与参考数据集 cifar10-train 传入,按需开启各指标。

    metrics_dict = torch_fidelity.calculate_metrics(
        input1=wrapped_generator,
        input2='cifar10-train',
        cuda=True,
        isc=True,
        fid=True,
        kid=True,
        prc=True,
        verbose=False,
    )
  6. 6输出结果

    返回的字典包含各项指标数值,可直接打印或写入 tensorboard、wandb 等日志工具。

    print(metrics_dict)
  7. 7命令行工具入口

    安装后会生成 fidelity 命令;若提示该脚本不在 PATH,用安装目录下的完整路径调用即可。

关键配置

配置项必填说明示例
input1是待评估的生成数据来源,示例为包装后的生成器对象wrapped_generator
input2是参考真实数据来源,可用内置数据集名称或自定义接口cifar10-train
cuda否是否使用 GPU 计算,无可用显卡时应设为 FalseTrue
isc否是否计算 Inception ScoreTrue
fid否是否计算 Fréchet Inception DistanceTrue
kid否是否计算 Kernel Inception DistanceTrue

如何确认成功

执行 print(metrics_dict) 后能看到 inception_score_mean、frechet_inception_distance 等键值且无报错,即表示评估流程正常运行。

常见问题

Q:安装后提示 fidelity 脚本不在 PATH 怎么办?

A:把提示中的目录加入 PATH 环境变量,或直接使用该目录下的完整路径调用,例如 <SOMEPATH>/fidelity。

Q:为什么指标数值要与参考实现对照?

A:该项目强调数值精确性,官方称结果与参考实现一致到浮点机器精度,可在论文中直接引用;细节见其 precision 文档。

Q:每个 epoch 都评估会不会太慢?

A:库内部做特征共享和多级缓存,重复评估相同输入时可复用已算好的特征与统计,适合放在训练循环中。

Q:设了 cuda=True 却报错怎么排查?

A:通常是当前环境没有可用 GPU 或安装的是 CPU 版 PyTorch,可先改为 cuda=False 验证流程是否跑通。

Q:还能计算哪些指标?

A:除 ISC、FID、KID、PRC 外,还提供 PPL、MIND 等指标,具体参数与调用方式见官方 API 文档。

注意事项

  • 命令行与 Python API 两种用法都受支持,README 未列出具体命令行参数,使用前请查阅官方文档。
  • 指标计算会缓存特征与统计数据,更换数据集或模型结构后缓存可能失效,需重新计算。
  • 自定义特征提取器与数据集接口可扩展评估流程,不必限制在二维图像生成任务上。

核心亮点

  • 指标实现与官方 TensorFlow 版本做数值对齐测试,结果可信
  • 覆盖 FID、IS、KID、PRC 等多种常用生成模型指标
  • 提供命令行与 Python API,支持自定义特征提取器和数据集

不足之处

  • 仅聚焦评测指标,不包含训练或模型实现
  • 部分新指标与自定义扩展的文档示例较少,社区规模待观察

适用场景

  • 论文实验中对比 GAN 与扩散模型的生成质量
  • 模型迭代时批量计算 FID 监控训练效果
  • 复现他人工作时使用统一指标实现保证可比性

替代项目

pytorch-fid、clean-fid、torchmetrics

上一篇:seismometer

下一篇:没有了!

同类项目推荐

SuperCLUE 开源

测一测中文大模型哪家强,榜单见分晓

SuperCLUE: 中文通用大模型综合性基准 | A Benchmark for Foundation Models in Chinese

★ 3304 2026-08-09
DallEval 开源

测出文生图模型的推理短板与偏见,优化生成质量

DALL-Eval: Probing the Reasoning Skills and Social Biases of Text-to-Image Generatio···

★ 141 2026-08-09
CL4R1T4S 开源

看穿AI底牌,一键获取各大模型系统提示词

LEAKED SYSTEM PROMPTS FOR CHATGPT, CLAUDE, GEMINI, GROK, PERPLEXITY, CURSOR, LOVABLE···

★ 51699 2026-08-09
bigcodebench 开源

用真实编程难题,测出大模型代码能力的真实天花板

[ICLR'25] BigCodeBench: Benchmarking Code Generation Towards AGI

★ 517 2026-08-09
agent-skills-eval 开源

跑一遍测试,就知道你的 AI 技能行不行

A test runner for agentskills.io-style AI agent skills

★ 809 2026-08-09
SkillEvaluator 开源

给 Agent 技能做体检:查冲突、测安全、验效果

Multi-tier framework for evaluating AI agent skills with quality gates, semantic ove···

★ 622 2026-10-13
power-pwn 开源

给 AI 助手做安全体检,防黑客钻空子

An offensive/defense security toolset for discovery, recon and ethical assessment of···

★ 1266 2026-08-09
augustus 开源

一条命令跑 190+ 探针,快速测出大模型安全漏洞

LLM security testing framework for detecting prompt injection, jailbreaks, and adver···

★ 315 2026-10-07