
项目预览
项目数据
项目介绍
Star 增长趋势
本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整
数据来源:GitHub API 逐日快照 · 收录于 2026-11-03 · 当前星标 ★ 1206
使用教程
环境要求
- Python 3 环境,pip 可正常使用
- 已安装 PyTorch(生成器为 torch 模型)
- 如需 GPU 加速,需 CUDA 版 PyTorch 与可用显卡
- 首次评估会缓存特征与统计,建议预留磁盘空间
安装与启动步骤
-
1准备运行环境
确认 Python 3 与 pip 可用,并已安装 PyTorch;没有 GPU 时,后面把 cuda 设为 False。
-
2安装库
从 PyPI 安装 torch-fidelity,pip 会自动处理依赖,建议在虚拟环境中执行。
pip install torch-fidelity -
3验证导入
在 Python 中导入模块,确认安装成功、没有导入报错。
python -c "import torch_fidelity; print('ok')" -
4包装生成模型
用 GenerativeModelModuleWrapper 包装生成器,依次传入噪声维度、分布类型与截断参数。
wrapped_generator = torch_fidelity.GenerativeModelModuleWrapper(generator, 128, 'normal', 0) -
5计算指标
调用 calculate_metrics,把生成器与参考数据集 cifar10-train 传入,按需开启各指标。
metrics_dict = torch_fidelity.calculate_metrics( input1=wrapped_generator, input2='cifar10-train', cuda=True, isc=True, fid=True, kid=True, prc=True, verbose=False, ) -
6输出结果
返回的字典包含各项指标数值,可直接打印或写入 tensorboard、wandb 等日志工具。
print(metrics_dict) -
7命令行工具入口
安装后会生成 fidelity 命令;若提示该脚本不在 PATH,用安装目录下的完整路径调用即可。
关键配置
| 配置项 | 必填 | 说明 | 示例 |
|---|---|---|---|
input1 | 是 | 待评估的生成数据来源,示例为包装后的生成器对象 | wrapped_generator |
input2 | 是 | 参考真实数据来源,可用内置数据集名称或自定义接口 | cifar10-train |
cuda | 否 | 是否使用 GPU 计算,无可用显卡时应设为 False | True |
isc | 否 | 是否计算 Inception Score | True |
fid | 否 | 是否计算 Fréchet Inception Distance | True |
kid | 否 | 是否计算 Kernel Inception Distance | True |
如何确认成功
执行 print(metrics_dict) 后能看到 inception_score_mean、frechet_inception_distance 等键值且无报错,即表示评估流程正常运行。
常见问题
Q:安装后提示 fidelity 脚本不在 PATH 怎么办?
A:把提示中的目录加入 PATH 环境变量,或直接使用该目录下的完整路径调用,例如 <SOMEPATH>/fidelity。
Q:为什么指标数值要与参考实现对照?
A:该项目强调数值精确性,官方称结果与参考实现一致到浮点机器精度,可在论文中直接引用;细节见其 precision 文档。
Q:每个 epoch 都评估会不会太慢?
A:库内部做特征共享和多级缓存,重复评估相同输入时可复用已算好的特征与统计,适合放在训练循环中。
Q:设了 cuda=True 却报错怎么排查?
A:通常是当前环境没有可用 GPU 或安装的是 CPU 版 PyTorch,可先改为 cuda=False 验证流程是否跑通。
Q:还能计算哪些指标?
A:除 ISC、FID、KID、PRC 外,还提供 PPL、MIND 等指标,具体参数与调用方式见官方 API 文档。
注意事项
- 命令行与 Python API 两种用法都受支持,README 未列出具体命令行参数,使用前请查阅官方文档。
- 指标计算会缓存特征与统计数据,更换数据集或模型结构后缓存可能失效,需重新计算。
- 自定义特征提取器与数据集接口可扩展评估流程,不必限制在二维图像生成任务上。
核心亮点
- 指标实现与官方 TensorFlow 版本做数值对齐测试,结果可信
- 覆盖 FID、IS、KID、PRC 等多种常用生成模型指标
- 提供命令行与 Python API,支持自定义特征提取器和数据集
不足之处
- 仅聚焦评测指标,不包含训练或模型实现
- 部分新指标与自定义扩展的文档示例较少,社区规模待观察
适用场景
- 论文实验中对比 GAN 与扩散模型的生成质量
- 模型迭代时批量计算 FID 监控训练效果
- 复现他人工作时使用统一指标实现保证可比性
替代项目
pytorch-fid、clean-fid、torchmetrics
上一篇:seismometer
下一篇:没有了!
同类项目推荐
SuperCLUE
开源
测一测中文大模型哪家强,榜单见分晓
SuperCLUE: 中文通用大模型综合性基准 | A Benchmark for Foundation Models in Chinese
DallEval
开源
测出文生图模型的推理短板与偏见,优化生成质量
DALL-Eval: Probing the Reasoning Skills and Social Biases of Text-to-Image Generatio···
CL4R1T4S
开源
看穿AI底牌,一键获取各大模型系统提示词
LEAKED SYSTEM PROMPTS FOR CHATGPT, CLAUDE, GEMINI, GROK, PERPLEXITY, CURSOR, LOVABLE···
bigcodebench
开源
用真实编程难题,测出大模型代码能力的真实天花板
[ICLR'25] BigCodeBench: Benchmarking Code Generation Towards AGI
agent-skills-eval
开源
跑一遍测试,就知道你的 AI 技能行不行
A test runner for agentskills.io-style AI agent skills
SkillEvaluator
开源
给 Agent 技能做体检:查冲突、测安全、验效果
Multi-tier framework for evaluating AI agent skills with quality gates, semantic ove···
power-pwn
开源
给 AI 助手做安全体检,防黑客钻空子
An offensive/defense security toolset for discovery, recon and ethical assessment of···
awesome-cybersecurity-agentic-ai
开源
一页清单,快速找到能落地的安全智能体方案
augustus
开源
一条命令跑 190+ 探针,快速测出大模型安全漏洞
LLM security testing framework for detecting prompt injection, jailbreaks, and adver···