heurigym

用 LLM 设计优化算法,一键评测智能体启发式能力

开源 🏷️完全免费 🔧 仅开源项目,无在线服务,需自行部署 对话助手 🍴 复刻 11 🐛 待处理 6 👀 关注 2
GitHub ↗
GitHub 星标 ★ 96
维护状态 低维护
是否开源 开源
定价模式 🏷️完全免费 开源项目,Apache-2.0 许可证,完全免费,无付费版本。

项目预览

heurigym 项目界面预览图
图片来源:GitHub 官方仓库名片

项目数据

分类对话助手
开发团队cornell-zhang
定价模式🏷️完全免费
价格说明开源项目,Apache-2.0 许可证,完全免费,无付费版本。
访问状态🔧 仅开源项目,无在线服务,需自行部署
是否开源是
开源协议Apache-2.0
主要语言Python
技术栈/模型agent,benchmark,chatgpt,large-language-models,optimization
GitHub 星标★ 96
上线时间2025-04-02 00:00:00
代码更新2026-04-25
仓库体积10.3 MB
本站数据更新2026-11-08
维护状态低维护
收录时间2026-08-09
浏览次数2

项目介绍

heurigym 是一个面向组合优化问题的智能体基准测试框架,由 ICLR'26 论文提出。它专门评估大型语言模型(LLM)在组合优化任务中自主设计启发式算法的能力。该框架将优化问题转化为智能体交互环境,支持 ChatGPT 等主流 LLM 作为智能体,通过迭代生成、测试和改进启发式规则,衡量模型在求解 TSP、图着色等经典问题上的表现。它解决了当前 LLM 评估缺乏复杂推理场景的问题,为研究 LLM 在算法设计领域的潜力提供了标准化测试平台。核心能力包括:多问题实例支持、可复现的评估协议、以及智能体与优化环境的无缝对接。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整

数据来源:GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 96

核心亮点

  • 首个专门针对 LLM 设计组合优化启发式的基准,填补空白
  • 提供标准化评估协议,支持多类经典优化问题(如 TSP、图着色)
  • 与 ICLR'26 论文配套,学术严谨性高,便于引用对比

不足之处

  • 项目处于早期阶段,文档和社区支持待完善
  • 仅支持 Python,且依赖特定 LLM 接口,扩展性受限

适用场景

  • 学术研究:评估 LLM 在算法设计任务中的推理能力
  • AI 教育:作为教学工具,演示 LLM 如何解决组合优化问题
  • 算法开发:辅助研究者探索 LLM 生成的启发式策略

替代项目

OpenAI Evals、LangChain Benchmarks、AgentBench

同类项目推荐

agent-skills-eval 开源

跑一遍测试,就知道你的 AI 技能行不行

A test runner for agentskills.io-style AI agent skills

★ 812 2026-08-09
ai-eval-platform 开源

一站式评测 AI 应用,让质量看得见

开源 AI 应用评测平台,支持 RAG、AI Agent、多轮对话、LLM-as-Judge、接口评测、评测报告···

★ 17 2026-08-09
Awesome-MCoT 开源

一张图看懂多模态推理研究脉络与代表工作

Multimodal Chain-of-Thought Reasoning: A Comprehensive Survey

★ 1029 2026-11-01
Awesome-LLM-Red-Teaming 开源

一站式收集 LLM 红队测试资源,快速上手安全攻防

A curated list of awesome LLM Red Teaming training, resources, and tools.

★ 148 2026-08-09
Internal-Safety-Collapse 开源

把AI智能体放进正常代码流程,看它如何自己补出危险操作

[NeurIPS 2026] Safety failures in coding agents and frontier LLMs. Reproducible work···

★ 2598 2026-10-10
llm-colosseum 开源

让大模型打街霸,用对战胜负测实力

Benchmark LLMs by fighting in Street Fighter 3! The new way to evaluate the quality ···

★ 1486 2026-08-09
rebuff 开源

给 LLM 应用加装防注入安全层,拦截恶意提示词

LLM Prompt Injection Detector

★ 1532 2026-08-09
RAMPART 开源

用 pytest 给 AI 智能体做安全体检,上线前跑一遍

A pytest-native safety and security testing framework for agentic AI applications

★ 426 2026-10-10