
factcircuit
给 AI 事实核查装上可审计的证据链和可复现评测
项目预览
项目数据
项目介绍
Star 增长趋势
本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整
数据来源:GitHub API 逐日快照 · 收录于 2026-10-04 · 当前星标 ★ 927
使用教程
ℹ 本教程由 AI 依据该项目 README 整理,个别步骤可能需要按你的环境微调。
环境要求
- Python 3.10+
- 能访问 GitHub 与模型 API 的网络
安装与启动步骤
-
1建虚拟环境
官方推荐用 venv 隔离依赖,装完后 factcircuit 以模块方式调用,不需要额外入口脚本。
git clone --branch v0.3.2 --depth 1 https://github.com/superwesleyhys-ux/factcircuit.git cd factcircuit python3 -m venv .venv .venv/bin/python -m pip install . -
2跑一次本地样例
trace 子命令读 examples 里的链路 JSON,把证据链求值结果写到 reports 目录,先确认能跑通再换自己的数据。
python3 -m factcircuit trace examples/local_trace.json --output reports/local-trace.json -
3看内置演示
trace-demo 不依赖外部 API,适合快速验证安装是否完整。
python3 -m factcircuit trace-demo --output reports/trace-demo-local.json -
4接模型/接新闻源
trace-model 走真实模型,trace-news 用于抓取新闻证据,两者都需先配好对外访问凭据。
python3 -m factcircuit trace-model examples/model_trace.json --output reports/model-local.json
如何确认成功
reports 目录生成 JSON 结果文件,命令行无异常退出。
常见问题
Q:跑 trace 时提示找不到模块?
A:确认是在仓库根目录激活 venv 后再执行,且已经用 pip install . 装过本包。
注意事项
- Windows 下用 .venv\Scripts\python.exe 代替 .venv/bin/python。
- 还有 score / compare 子命令,可对同一份 gold 集做批量打分与对比。
核心亮点
- 提供不可篡改的来源记录,每条声明与证据的对应关系可回溯审计
- 分阶段检查加有界检索,控制检索范围避免证据无限扩散
- 支持可复现评测,相同配置下能重复得到一致结论
不足之处
- 项目处于早期,465 星标,生态与周边工具尚不成熟
- 文档和社区规模有限,复杂场景的接入成本可能偏高
适用场景
- 新闻机构对报道中的事实性声明做自动化核查与留痕
- AI 安全团队评估大模型在事实性问题上的准确率退化
- 研究人员做可复现的 LLM 事实核查基准评测
替代项目
FactScore、FEVER、claimbuster
同类项目推荐
UltraText_Bench
开源
给文生图模型做中英文写字能力体检
[Preprint] UltraText Bench: A Comprehensive Bilingual Benchmark for Evaluating Visua···
terminal-bench-science
开源
让 AI 在终端里跑通真实科研任务并自动打分
Terminal-Bench-Science: Evaluating AI agents on research workflows across scientific···
hallucination-leaderboard
开源
看哪个大模型摘要最不容易瞎编
Leaderboard Comparing LLM Performance at Producing Hallucinations when Summarizing S···
faster_coco_eval
开源
替换 pycocotools,COCO 评测提速数倍不丢精度
Continuation of an abandoned project fast-coco-eval
MMStar
开源
更公平地测出大模型真实视觉能力,避免作弊分
[NeurIPS 2024] This repo contains evaluation code for the paper "Are We on the Right···
awesome-cybersecurity-agentic-ai
开源
一页清单,快速找到能落地的安全智能体方案
RouterArena
开源
统一基准评测 LLM 路由器,跑分上榜选型不踩坑
RouterArena: An open framework for evaluating LLM routers with standardized datasets···
promptmap
开源
给 LLM 应用做安全体检,防提示注入攻击
a security scanner for custom LLM applications
auto_LiRPA
开源
给神经网络算严格上下界,验证对抗鲁棒性
auto_LiRPA: An Automatic Linear Relaxation based Perturbation Analysis Library for N···