llm-srbench

测测大模型能不能发现科学公式,一测便知

开源 🏷️完全免费 🔧 仅开源项目,无在线服务,需自行部署 开源模型 🍴 复刻 12 🐛 待处理 4 👀 关注 5
GitHub ↗
GitHub 星标 ★ 132
维护状态 低维护
是否开源 开源
定价模式 🏷️完全免费 开源基准测试项目,完全免费,无付费版本。

项目预览

llm-srbench 项目界面预览图
图片来源:GitHub 官方仓库名片

项目数据

分类开源模型
开发团队deep-symbolic-mathematics
定价模式🏷️完全免费
价格说明开源基准测试项目,完全免费,无付费版本。
访问状态🔧 仅开源项目,无在线服务,需自行部署
是否开源是
主要语言Python
技术栈/模型ai4code,ai4math,ai4science,large-language-models,llm-agent,scientific-discovery
GitHub 星标★ 132
上线时间2025-01-30 00:00:00
代码更新2025-07-31
仓库体积1.3 MB
本站数据更新2026-11-10
维护状态低维护
收录时间2026-08-09
浏览次数4

项目介绍

LLM-SRBench 是一个用于评估大语言模型在科学方程发现任务上能力的基准测试,发表于 ICML 2025 Oral。该基准旨在解决现有符号回归基准未能充分测试 LLM 在真实科学发现场景中表现的问题。它包含来自物理、化学、生物等领域的多样化方程,并设计了从数据中直接生成符号表达式的任务。核心能力包括:提供标准化评估协议、支持多种 LLM 后端(如 GPT-4)、内置基线方法对比,以及可视化分析工具。通过该基准,研究者可以系统比较不同 LLM 在科学发现上的潜力,推动 AI for Science 的发展。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整

数据来源:GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 132

核心亮点

  • 首个专门针对 LLM 科学方程发现的基准,填补空白
  • 涵盖多学科方程,任务设计贴近真实科研场景
  • 提供标准化评估和基线,便于横向对比

不足之处

  • 项目早期,文档和社区支持待观察
  • 基准规模有限,可能未覆盖所有科学领域

适用场景

  • 评估 LLM 在科学发现任务中的能力
  • 对比不同 LLM 或提示策略在符号回归上的表现
  • 作为 AI for Science 研究的参考基准

替代项目

SRBench、Feynman Symbolic Regression Benchmark、AI Feynman

上一篇:alpaca_eval

下一篇:MisguidedAttention

同类项目推荐

CUREBench 开源

给AI看病决策打分,推动医疗AI更靠谱

CUREBench @ NeurIPS 2025: Benchmarking AI reasoning for therapeutic decision-making ···

★ 136 2026-08-09
athina-sdk 开源

写测试、跑监控,让 LLM 应用在生产环境不翻车

LLM Testing SDK that helps you write and run tests to monitor your LLM app in produc···

★ 131 2026-08-09
Awesome-Video-MLLMs 开源

一站式追踪视频多模态大模型前沿,快速找到所需模型和基准。

:fire: :fire: :fire: Awesome MLLMs/Benchmarks for Short/Long/Streaming Video Underst···

★ 75 2026-08-09
vulnhuntr 开源

让LLM自动帮你扫代码找漏洞,零样本开箱即用

Zero shot vulnerability discovery using LLMs

★ 2820 2026-08-09
Rules.txt 开源

用指令集撬开AI黑盒,审计推理与偏见

LLM alignment jailbreak; a set of instructions for auditing their internal reasoning···

★ 110 2026-08-09
langfair 开源

给LLM做公平性体检,防偏见翻车

LangFair is a Python library for conducting use-case level LLM bias and fairness ass···

★ 261 2026-08-09
OpenAPPA 开源

给 AI Agent 加确定性护栏,安全不打断任务

Deterministic guardrails that don't break agents

★ 1625 2026-10-09
FuzzyAI 开源

自动给 LLM 做安全体检,找出越狱漏洞

A powerful tool for automated LLM fuzzing. It is designed to help developers and sec···

★ 1603 2026-08-09
AIGoat 开源

本地靶场练 LLM 攻击与防御

AIGoat - Open-source AI security playground for hands-on LLM red teaming. Explore pr···

★ 277 2026-11-08