hypoarena

埋好因果链的合成文献,用 Elo 赛出谁能挖出真假设

开源 🏷️完全免费 🔧 仅开源项目,无在线服务,需自行部署 评测安全 🍴 复刻 29 🐛 待处理 12
GitHub ↗
GitHub 星标 ★ 527
维护状态 较活跃
是否开源 开源
定价模式 🏷️完全免费 开源免费,NumPy 核心,CPU-only torch 可选

项目预览

hypoarena 项目界面预览图
图片来源:GitHub 官方仓库名片

项目数据

分类评测安全
开发团队OpSafari
定价模式🏷️完全免费
价格说明开源免费,NumPy 核心,CPU-only torch 可选
访问状态🔧 仅开源项目,无在线服务,需自行部署
是否开源是
开源协议MIT
主要语言Python
GitHub 星标★ 527
上线时间2026-09-30 00:00:00
代码更新2026-11-01
仓库体积1.5 MB
本站数据更新2026-11-21
维护状态较活跃
收录时间2026-10-06
浏览次数2

项目介绍

HypoArena 是一个面向科学假设发现的评测工作台,核心目标是让「AI 能否从文献中挖出真正有价值的假设」这件事变得可复现、可量化。它用合成文献生成器在语料里埋入已知的因果链,再让不同模型或策略通过「生成—辩论—进化」循环去挖掘假设,最后用 Elo 锦标赛检验系统能否恢复出预设的能力排序。项目内置假设—证据图结构,把每个假设和支撑它的文献片段绑定,避免模型凭空编造;同时提供释义去重、贝叶斯证据累积和可复现报告,方便横向比较不同适配器。计算核心基于 NumPy,CPU 即可运行,torch 只是可选依赖,离线适配器可插拔,适合在无网络或受限环境下做对照实验。它解决的是假设生成类研究长期缺少客观基准的问题:以往只能靠人工读论文判断好坏,现在可以用埋点因果链和 Elo 排名给出可重复的分数。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整

数据来源:GitHub API 逐日快照 · 收录于 2026-10-06 · 当前星标 ★ 527

使用教程

ℹ 本教程由 AI 依据该项目 README 整理,个别步骤可能需要按你的环境微调。

难度:高级 约 50 分钟 部署方式:本地安装 5 步

环境要求

  • Python 3.10+
  • 至少 16G 内存

安装与启动步骤

  1. 1建虚拟环境

    它按可编辑模式装,方便改评测逻辑。

    python -m venv .venv
  2. 2装开发依赖

    带测试与静态检查,装全才方便二次开发。

    .venv/bin/pip install -e ".[dev]"
  3. 3要接模型再加一组

    默认是纯离线模式,要跑模型推理得另装。

    .venv/bin/pip install -e ".[dev,torch]"
  4. 4跑一个假设发现任务

    给一个领域问题,看它产出的假设质量。

  5. 5看评测口径

    它自带评测,重点读评分标准合不合你的场景。

如何确认成功

给一个具体科研问题跑完一轮,产出的假设里有至少一条是你没想到但可以被数据检验的

注意事项

  • 它是完全离线的科学假设发现工作台,不依赖外部服务。
  • 离线是它的核心卖点,也意味着模型能力上限受本地硬件约束。
  • 评测口径决定你能不能用它做严肃研究,先读评分标准。
  • 适合做假设生成的辅助,不适合替代实验验证。

核心亮点

  • 用合成文献埋入已知因果链,让假设发现能力有客观标准答案可对照
  • 生成—辩论—进化循环配合可插拔离线适配器,方便横向对比不同模型策略
  • NumPy 核心加 CPU-only torch,无需 GPU 也能跑完整评测流程

不足之处

  • 合成文献与真实科研语料的分布差距较大,评测结论外推到真实场景需谨慎
  • 项目处于早期,社区规模小,适配器与数据集的生态丰富度有限

适用场景

  • 科研团队评估不同大模型在文献假设生成任务上的真实能力差异
  • AI 研究者做假设发现算法的消融实验,需要可复现的基准与排名
  • 受限离线环境下搭建无 GPU 的假设挖掘评测流水线

替代项目

SciAgent、PaperQA

上一篇:getIPIntel

下一篇:overmind

同类项目推荐

heurigym 开源

用 LLM 设计优化算法,一键评测智能体启发式能力

Agentic Benchmark for LLM-Crafted Heuristics in Combinatorial Optimization (ICLR'26)

★ 96 2026-08-09
ChronoMagic-Bench 开源

测文生视频的时间演化能力,让模型从动起来到变起来

[NeurIPS 2024 D&B Spotlight] ChronoMagic-Bench: A Benchmark for Metamorphic Evaluati···

★ 214 2026-08-09
factualNLG 开源

用新基准测出LLM事实性推理真实水平

Code for the arXiv paper: "LLMs as Factual Reasoners: Insights from Existing Benchma···

★ 60 2026-08-09
benchflow 开源

一键搭建 RL 训练与评测流水线,省去重复造轮子

Research infra for creating RL environments, post-training, and evals.

★ 369 2026-08-10
OceanGym 开源

打造水下机器人的“健身房”,让智能体在仿真洋流中练就真本事。

[EMNLP 2026] OceanGym: A Benchmark Environment for Underwater Embodied Agents

★ 155 2026-08-09
llm-coding-benchmark 开源

自动跑编码题,横向比出哪个大模型写代码更强

Simple benchmark to test the most popular open source and commercial LLMs with autom···

★ 377 2026-09-16
AgentCompass 开源

一套框架统一跑各家智能体评测,结果可横向对比

[EMNLP 2026] AgentCompass is an extensible open-source evaluation infrastructure for···

★ 197 2026-10-23
GenAI-LLM-Top10 开源

对照 OWASP 清单,快速排查大模型应用安全风险

OWASP Top 10 for Large Language Model Applications

★ 174 2026-09-15
WatermarkDM 开源

给AI生成的图像打上隐形水印,一键溯源防滥用

[Tech report]: A Recipe for Watermarking Diffusion Models

★ 155 2026-08-09