PhysGym

让大模型在物理实验环境里动手推理、发现方程

开源 🏷️完全免费 🔧 仅开源项目,无在线服务,需自行部署 评测安全 🍴 复刻 14 👀 关注 9
GitHub ↗
GitHub 星标 ★ 103
维护状态 活跃
是否开源 开源
定价模式 🏷️完全免费 开源基准套件,免费使用

项目预览

PhysGym 项目界面预览图
图片来源:GitHub 官方仓库名片

项目数据

分类评测安全
开发团队principia-ai
定价模式🏷️完全免费
价格说明开源基准套件,免费使用
访问状态🔧 仅开源项目,无在线服务,需自行部署
是否开源是
开源协议MIT
主要语言Python
技术栈/模型agentic-ai,ai-scientist,benchmark,equation-discovery,llm,physics
GitHub 星标★ 103
上线时间2025-10-22 00:00:00
代码更新2026-11-13
仓库体积611 KB
本站数据更新2026-11-20
维护状态活跃
收录时间2026-11-20
浏览次数0

项目介绍

PhysGym 是一个面向大语言模型交互式科学推理能力的基准测试套件,用 Python 实现。它把物理问题求解设计成多轮交互环境:模型需要主动提出实验、观察反馈、修正假设,最终发现或推导出背后的物理方程,而不是一次性给出答案。项目针对现有静态题库难以衡量「科学发现式推理」的空白,提供可复现的任务集、环境接口和评测脚本,覆盖方程发现、实验设计、假设检验等环节,并可与 agentic AI、AI Scientist 类工作流结合。核心能力包括:标准化的交互式物理环境、可扩展的任务配置、对模型推理轨迹的记录与打分,以及便于对比不同 LLM 或 agent 框架的统一评测流程。适合研究者评估模型在科学场景中的探索、归纳与自我纠错能力。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整

数据来源:GitHub API 逐日快照 · 收录于 2026-11-20 · 当前星标 ★ 103

核心亮点

  • 把物理推理做成多轮交互环境,能测出模型主动实验、修正假设的能力,而非只看最终答案
  • 提供统一任务集与评测脚本,便于横向对比不同 LLM 和 agent 框架的科学推理表现
  • 基于 Python,环境接口清晰,可扩展新物理任务与评分规则

不足之处

  • 项目处于早期,任务规模和覆盖的物理领域有限
  • 文档与社区生态尚不完善,接入自定义模型需读源码

适用场景

  • 评估 LLM 在方程发现任务上的探索与归纳能力
  • 对比不同 agent 框架在科学实验设计中的表现
  • 作为 AI Scientist 类研究流程的推理能力测试环节

替代项目

ScienceAgentBench、DiscoveryBench

上一篇:auto-ontology-eval

下一篇:MARBLE

同类项目推荐

One-Eval 开源

用 agent 自动跑完 LLM 评测全流程,省去手工配数据与打分

Automated system for LLM evaluation via agents. Doc as below:

★ 166 2026-09-15
Awesome-LLMSecOps 开源

一库在手,LLM 安全运营全链路资源速查

LLM | Agentic | Security | Operations in one github repo with good links and picture···

★ 172 2026-08-10
MMStar 开源

更公平地测出大模型真实视觉能力,避免作弊分

[NeurIPS 2024] This repo contains evaluation code for the paper "Are We on the Right···

★ 218 2026-08-09
VLGuard 开源

给视觉大模型加安全锁,几乎零成本防恶意图片诱导

[ICML 2024] Safety Fine-Tuning at (Almost) No Cost: A Baseline for Vision Large Lang···

★ 91 2026-08-09
llm_chess 开源

让大模型下棋,测出推理和守规则的真实水平

LLM Chess - evaluating Large Language Models' reasoning and instruction-following ab···

★ 141 2026-09-15
langtest 开源

给大模型做全面体检,上线前揪出安全漏洞

Deliver safe & effective language models

★ 560 2026-08-09
agent-skills-eval 开源

跑一遍测试,就知道你的 AI 技能行不行

A test runner for agentskills.io-style AI agent skills

★ 817 2026-08-09
ASTRA 开源

实战对抗攻击,一键测出 AI 模型的安全漏洞

Amazon Nova AI Challenge Winner - ASTRA emerged victorious as the top attacking team···

★ 78 2026-08-09