factcircuit

给 AI 事实核查装上可审计的证据链和可复现评测

开源 🏷️完全免费 🔧 仅开源项目,无在线服务,需自行部署 评测安全 🍴 复刻 73 🐛 待处理 9 👀 关注 57
GitHub ↗
GitHub 星标 ★ 927
维护状态 活跃
是否开源 开源
定价模式 🏷️完全免费 开源项目,无官网,免费使用

项目预览

factcircuit 项目界面预览图
图片来源:GitHub 官方仓库名片

项目数据

分类评测安全
开发团队superwesleyhys-ux
定价模式🏷️完全免费
价格说明开源项目,无官网,免费使用
访问状态🔧 仅开源项目,无在线服务,需自行部署
是否开源是
开源协议MIT
主要语言Python
技术栈/模型accuracy-decline,ai-safety,audit-trail,fact-checking,factcircuit,information-retrieval,llm-evaluation,news-verification,provenance,python,reproducible-research
GitHub 星标★ 927
上线时间2026-09-06 00:00:00
代码更新2026-11-13
仓库体积3.0 MB
本站数据更新2026-11-18
维护状态活跃
收录时间2026-10-04
浏览次数3

项目介绍

FactCircuit 是一个面向事实核查与 LLM 评测的开源验证框架,核心是把「声明-证据」验证过程做成可审计的闭环。它针对大模型事实核查中证据来源不可追溯、检索范围失控、评测结果难以复现等痛点,提供不可篡改的来源记录、分阶段检查流程、有界检索以及可复现的评测机制。项目用 Python 实现,支持新闻核查、AI 安全审计、信息检索质量评估等场景。通过把每一步验证动作和证据链固化下来,使用者可以回溯某条声明为何被判定为真或假,也能在相同配置下重复跑出相同结论。它同时关注 accuracy-decline 等模型退化信号,适合做事实性基准测试与安全评估。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整

数据来源:GitHub API 逐日快照 · 收录于 2026-10-04 · 当前星标 ★ 927

使用教程

ℹ 本教程由 AI 依据该项目 README 整理,个别步骤可能需要按你的环境微调。

难度:进阶 约 25 分钟 部署方式:本地安装 4 步

环境要求

  • Python 3.10+
  • 能访问 GitHub 与模型 API 的网络

安装与启动步骤

  1. 1建虚拟环境

    官方推荐用 venv 隔离依赖,装完后 factcircuit 以模块方式调用,不需要额外入口脚本。

    git clone --branch v0.3.2 --depth 1 https://github.com/superwesleyhys-ux/factcircuit.git
    cd factcircuit
    python3 -m venv .venv
    .venv/bin/python -m pip install .
  2. 2跑一次本地样例

    trace 子命令读 examples 里的链路 JSON,把证据链求值结果写到 reports 目录,先确认能跑通再换自己的数据。

    python3 -m factcircuit trace examples/local_trace.json --output reports/local-trace.json
  3. 3看内置演示

    trace-demo 不依赖外部 API,适合快速验证安装是否完整。

    python3 -m factcircuit trace-demo --output reports/trace-demo-local.json
  4. 4接模型/接新闻源

    trace-model 走真实模型,trace-news 用于抓取新闻证据,两者都需先配好对外访问凭据。

    python3 -m factcircuit trace-model examples/model_trace.json --output reports/model-local.json

如何确认成功

reports 目录生成 JSON 结果文件,命令行无异常退出。

常见问题

Q:跑 trace 时提示找不到模块?

A:确认是在仓库根目录激活 venv 后再执行,且已经用 pip install . 装过本包。

注意事项

  • Windows 下用 .venv\Scripts\python.exe 代替 .venv/bin/python。
  • 还有 score / compare 子命令,可对同一份 gold 集做批量打分与对比。

核心亮点

  • 提供不可篡改的来源记录,每条声明与证据的对应关系可回溯审计
  • 分阶段检查加有界检索,控制检索范围避免证据无限扩散
  • 支持可复现评测,相同配置下能重复得到一致结论

不足之处

  • 项目处于早期,465 星标,生态与周边工具尚不成熟
  • 文档和社区规模有限,复杂场景的接入成本可能偏高

适用场景

  • 新闻机构对报道中的事实性声明做自动化核查与留痕
  • AI 安全团队评估大模型在事实性问题上的准确率退化
  • 研究人员做可复现的 LLM 事实核查基准评测

替代项目

FactScore、FEVER、claimbuster

同类项目推荐

UltraText_Bench 开源

给文生图模型做中英文写字能力体检

[Preprint] UltraText Bench: A Comprehensive Bilingual Benchmark for Evaluating Visua···

★ 115 2026-10-23
terminal-bench-science 开源

让 AI 在终端里跑通真实科研任务并自动打分

Terminal-Bench-Science: Evaluating AI agents on research workflows across scientific···

★ 936 2026-09-22
hallucination-leaderboard 开源

看哪个大模型摘要最不容易瞎编

Leaderboard Comparing LLM Performance at Producing Hallucinations when Summarizing S···

★ 3329 2026-08-09
faster_coco_eval 开源

替换 pycocotools,COCO 评测提速数倍不丢精度

Continuation of an abandoned project fast-coco-eval

★ 148 2026-09-14
MMStar 开源

更公平地测出大模型真实视觉能力,避免作弊分

[NeurIPS 2024] This repo contains evaluation code for the paper "Are We on the Right···

★ 218 2026-08-09
RouterArena 开源

统一基准评测 LLM 路由器,跑分上榜选型不踩坑

RouterArena: An open framework for evaluating LLM routers with standardized datasets···

★ 158 2026-10-07
promptmap 开源

给 LLM 应用做安全体检,防提示注入攻击

a security scanner for custom LLM applications

★ 1297 2026-08-09
auto_LiRPA 开源

给神经网络算严格上下界,验证对抗鲁棒性

auto_LiRPA: An Automatic Linear Relaxation based Perturbation Analysis Library for N···

★ 358 2026-10-23