PhyX

测测你的AI有没有物理常识,一测便知

开源 🏷️完全免费 🔧 仅开源项目,无在线服务,需自行部署 开源模型 🍴 复刻 1 🐛 待处理 2 👀 关注 3
访问官网 ↗ GitHub ↗
GitHub 星标 ★ 55
维护状态 低维护
是否开源 开源
定价模式 🏷️完全免费 开源项目,MIT许可证,完全免费,可自行部署使用。

项目预览

PhyX 项目界面预览图
图片来源:GitHub 官方仓库名片

项目数据

分类开源模型
开发团队killthefullmoon
定价模式🏷️完全免费
价格说明开源项目,MIT许可证,完全免费,可自行部署使用。
访问状态🔧 仅开源项目,无在线服务,需自行部署
是否开源是
开源协议MIT
主要语言Python
技术栈/模型benchmark,computer-vision,deep-learning,deep-neural-networks,evaluation,foundation-models,large-language-models,large-multimodal-models,machine-learning,multimodal,multimodal-learning,natural-language-processing,physics,science,visual-question-answering
GitHub 星标★ 55
上线时间2025-05-15 00:00:00
代码更新2026-03-16
仓库体积156.7 MB
本站数据更新2026-11-08
维护状态低维护
收录时间2026-08-09
浏览次数3

项目介绍

PhyX 是一个专注于物理推理能力评估的开源基准测试项目,旨在回答“你的模型是否具备物理推理的‘智慧’”。它通过设计一系列需要物理常识和因果推断的任务,来测试大语言模型(LLM)和多模态模型在理解物理世界规律方面的表现。项目解决了当前AI模型在物理常识推理上表现薄弱、缺乏系统性评估的问题,提供了一套标准化的测试集和评估脚本。核心能力包括:构建多样化的物理场景题目、自动评分机制、以及支持对模型输出进行细粒度分析。目前项目处于早期阶段,代码和数据集已开源,便于研究者复现和扩展。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整

数据来源:GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 55

核心亮点

  • 聚焦物理推理这一细分能力,填补通用基准的空白
  • 提供标准化测试集和评估脚本,便于直接复现结果
  • 支持多模型对比,可快速定位模型在物理常识上的短板

不足之处

  • 项目早期,星标少,社区和文档待观察
  • 测试集规模和覆盖场景可能有限,需进一步扩充

适用场景

  • 评估大模型在物理问答任务上的表现
  • 对比不同模型在物理推理能力上的差异
  • 指导模型在物理常识方面的针对性训练

替代项目

PIQA、ARC、OpenBookQA

上一篇:LLF-Bench

下一篇:axbench

同类项目推荐

PoisonedRAG 开源

看穿 RAG 软肋:用知识投毒测试你的大模型防线

[USENIX Security 2025] PoisonedRAG: Knowledge Corruption Attacks to Retrieval-Augmen···

★ 308 2026-08-09
InfiniteBench 开源

测出大模型在10万字长文本下的真实水平

Codes for the paper "∞Bench: Extending Long Context Evaluation Beyond 100K Tokens":···

★ 393 2026-08-09
modelbench 开源

给 AI 模型做安全体检,一键出详细报告

Run safety benchmarks against AI models and view detailed reports showing how well t···

★ 139 2026-10-10
mt-rag-benchmark 开源

多轮对话下测 RAG,暴露单轮评测看不到的短板

Multi-Turn RAG Benchmark

★ 158 2026-10-02
watchtower 开源

扫描AI模型漏洞,守护AI供应链安全

AIShield Watchtower: Dive Deep into AI's Secrets! Open-source tool by AIShield for ···

★ 201 2026-08-09
Internal-Safety-Collapse 开源

把AI智能体放进正常代码流程,看它如何自己补出危险操作

[NeurIPS 2026] Safety failures in coding agents and frontier LLMs. Reproducible work···

★ 2598 2026-10-10
promptfoo 开源

一条命令测试你的提示词和模型,防漏洞防降级。

Test your prompts, agents, and RAGs. Red teaming/pentesting/vulnerability scanning f···

★ 26947 2026-08-09
deepteam 开源

自动模拟越狱攻击,提前测出 LLM 安全漏洞

DeepTeam is a framework to red team LLMs and AI agents.

★ 3092 2026-09-12
evals 开源

配置驱动的 Agent 评测,批量跑完直接看结果

Fast, robust, configurable agent evals

★ 164 2026-11-05