iFixAi

120秒快速审计AI Agent，确保它按预期干活

iFixAi 是一个面向 AI Agent 的独立审计工具，旨在快速回答 AI Agent 经济中最关键的问题：Agent 是否在按预期工作？它支持由人类或 Agent 自身运行审计，能在 120 秒内给出结果。项目采用 Python 编写，提供命令行界面，核心能力包括检测幻觉、评估对齐性、诊断行为偏差，并参考欧盟 AI 法案等治理框架，帮助开发者或企业在部署前验证 Agent 的可靠性与安全性。它解决了 AI Agent 在实际应用中缺乏透明度和可验证性的痛点，通过自动化审计流程降低人工审查成本，提升信任度。

开源 unknown 评测安全

访问官网 ↗ GitHub ↗ 文档 ↗

GitHub 星标 ★ 15686

维护状态活跃

是否开源是

定价模式 unknown

项目数据

分类评测安全

开发团队ifixai-ai

所属国家

官网地址https://www.ifixai.ai

GitHubhttps://github.com/ifixai-ai/iFixAi

定价模式unknown

价格说明定价信息待确认

访问状态

是否开源是

开源协议Apache-2.0

主要语言Python

技术栈/模型agent-evaluation,ai,ai-alignment,ai-evaluation,ai-governance,ai-safety,cli,diagnostic-tool,eu-ai-act,hallucination-detection,iso-42001,llm-evaluation,llm-security,nist-ai-rmf,owasp-llm,prompt-injection,python,responsible-ai,risk-assessment,risk-management

GitHub 星标★ 15686

30天Star增速

HF 下载量

上线时间2026-04-27 00:00:00

最近更新2026-09-22 00:00:00

维护状态活跃

中文支持

访问方式

移动端支持

综合评分

收录时间2026-08-10

浏览次数7

使用教程

难度：入门约 10 分钟部署方式：命令行工具 5 步

环境要求

Python 3.10 或更高版本
pip 包管理工具
至少一个模型厂商的 API Key（如 Anthropic、Google、OpenAI），用于评委打分
任意终端环境（可选：uvx，用于把 iFixAi 安装为 Agent 的 Skill）

安装与启动步骤

1安装 CLI 与扩展

按你要评测的厂商选择对应 extra，用 pip 安装 iFixAi 命令行工具与厂商依赖。
```
pip install "ifixai[anthropic]"
```
2运行配置向导

向导会自动检测可用的密钥并写入配置文件，只保存环境变量名而不保存密钥本身。
```
ifixai setup
```
3执行审计

配置完成后无需再带任何参数，直接运行即可对目标 Agent 做一次完整诊断。
```
ifixai run
```
4脚本化指定参数

适合 CI 与自动化场景，用显式参数指定套件与密钥，完全可脚本化批量执行。
```
ifixai run --suite core --api-key sk-xxxxxxxx
```
5安装为 Agent Skill

让 Agent 自己充当操作者运行审计，任何 Agent 都可用该命令搭建 /ifixai-skill。
```
uvx ifixai install
```

关键配置

配置项	必填	说明	示例
`ifixai[]`	是	安装时按评测厂商选择 extra，如 anthropic、google、openai	`ifixai[anthropic]`
`ifixai.yaml`	是	向导生成的配置文件，记录检测到的厂商与环境变量名，不存密钥明文	`ifixai.yaml`
`--suite`	否	选择审计套件，可选 smoke、strategic、core、extended、all	`--suite core`
`--api-key`	否	以命令行方式传入厂商密钥，也可改用环境变量注入	`sk-xxxxxxxx`

如何确认成功

终端输出富文本评分卡，并生成 JSON 与 Markdown 报告即为成功；也可先用内置 mock 离线验证流程跑通。

常见问题

Q：没有 API Key 可以先试一下吗？

A：README 提到内置 mock 无需密钥、无需网络、约 1 秒即可跑完，可在正式审计前验证流程；具体命令见 docs/get-started.md。

Q：审计结果由谁打分？

A：可选自评、单一独立厂商打分，或多评委集成打分。推荐单评委用 anthropic/claude-sonnet-4.6，或双评委用 google/gemini-2.5-pro 加 openai/gpt-5.4-mini。

Q：跑一次全量套件大概多少钱？

A：README 估算单评委 Sonnet 约 12–18 美元；双评委组合约 10–14 美元，且跨厂商评分更稳健。

注意事项

密钥建议通过环境变量注入，不要明文写进命令行参数或提交到仓库。
不同厂商需要安装对应的 extra，例如评测 Anthropic 时用 ifixai[anthropic]。
CI 与批量审计场景建议使用显式 flag 模式，便于脚本化与留档。
全量套件会真实调用模型，产生实际 API 费用，建议先用 smoke 套件试跑。

核心亮点

审计速度快，120秒内出结果，适合集成到CI/CD流程
支持人类或Agent自主运行，灵活适配不同审计场景
覆盖幻觉检测、对齐性评估等关键安全维度，且参考EU AI Act

不足之处

文档/社区待观察
仅提供CLI，可能缺乏可视化界面，对非技术用户不友好

适用场景

开发者在部署AI Agent前进行快速安全审计
企业合规团队验证Agent是否符合AI治理法规
Agent自我监控，定期检查自身行为是否偏离目标

替代项目

LangChain Evaluators、DeepEval、Ragas

项目介绍

iFixAi 是评测安全领域的开源项目，由 ifixai-ai 开发，是 2026 年新上线的项目。

在全站 13,090 个收录项目中，它的 GitHub 星标数（15,686）位列前 4%，在评测安全分类的 466 个项目里位列前 2%。

近 41 天，它的 GitHub 星标从 8,347 增加到 15,686，净增 7,339。

项目目前处于活跃维护状态，最近一次代码更新于 2026-09-22。从国内网络环境看，可直接访问。

它主要面向的使用场景是：开发者在部署AIAgent前进行快速安全审计。同类可对比的替代方案包括 LangChain Evaluators、DeepEval、Ragas。

上一篇：garak

下一篇：chinese-llm-benchmark