llm_chess

让大模型下棋,测出推理和守规则的真实水平

开源 🏷️完全免费 ✅ 目前可打开 评测安全 🍴 复刻 15 👀 关注 2
访问官网 ↗ GitHub ↗
GitHub 星标 ★ 137
维护状态 活跃
是否开源 开源
定价模式 🏷️完全免费 开源免费项目,无付费信息

项目预览

llm_chess 项目界面预览图
图片来源:GitHub 官方仓库名片

项目数据

分类评测安全
开发团队maxim-saplin
定价模式🏷️完全免费
价格说明开源免费项目,无付费信息
访问状态✅ 目前可打开
是否开源是
开源协议Apache-2.0
主要语言Python
GitHub 星标★ 137
上线时间2024-09-28 00:00:00
代码更新2026-10-28
仓库体积1.11 GB
本站数据更新2026-11-03
维护状态活跃
收录时间2026-09-15
浏览次数2

项目介绍

llm_chess 是一个通过模拟国际象棋对局来评测大语言模型推理与指令遵循能力的开源项目。它不依赖传统静态题库,而是让模型在真实棋盘规则下走子,观察其能否理解局面、规划多步策略、遵守合法走法约束并完成整局对弈。项目以 HTML 为主要语言,提供可交互的网页界面,方便研究者直观查看模型每一步决策与对局过程,从而暴露模型在长程推理、规则遵守和状态跟踪上的短板。核心能力包括:生成合法走法、维持棋盘状态、记录对局历史、对比不同模型的胜率与失误模式。它适合作为 LLM 评测的补充工具,尤其关注模型在动态、规则严格环境中的表现,而非仅靠文本问答打分。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整

数据来源:GitHub API 逐日快照 · 收录于 2026-09-15 · 当前星标 ★ 137

核心亮点

  • 用真实对局替代静态问答,能暴露模型多步推理和状态跟踪的缺陷
  • 规则严格,可检验模型是否真正遵守合法走法约束
  • 提供网页交互界面,对局过程直观可回放,便于人工分析

不足之处

  • 项目早期,星标仅128,评测维度和基准覆盖有限
  • 以 HTML 为主,工程化和自动化评测流程可能不够完善

适用场景

  • 研究者对比不同 LLM 在规则约束下的推理能力
  • 开发者用对局日志分析模型指令遵循失败模式
  • 教学演示中展示大模型在棋类任务上的表现边界

替代项目

gpt-chess、chess-llm-eval

同类项目推荐

VLGuard 开源

给视觉大模型加安全锁,几乎零成本防恶意图片诱导

[ICML 2024] Safety Fine-Tuning at (Almost) No Cost: A Baseline for Vision Large Lang···

★ 91 2026-08-09
opencompass 开源

一站式评测大模型,百个数据集横向对比,快速选出最强模型。

OpenCompass is an LLM evaluation platform, supporting a wide range of models from Op···

★ 7563 2026-08-09
Aegis 开源

给AI代理装上监控摄像头,实时盯住它的每一个动作。

Your agents have access. You deserve visibility. A local security dashboard for AI c···

★ 159 2026-08-09
secure-ai-agent-boundary 开源

给 AI 代理划数据红线,越界访问直接拦住

Secure AI Engineering Framework 2026: Data-Boundary Security for Frontier Models

★ 114 2026-10-27
evals 开源

用真实 React Native 任务,测出 AI 编码真本事。

A benchmark suite for evaluating how coding models solve real React Native tasks.

★ 112 2026-08-10
meta-agents-research-environment··· 开源

在动态仿真环境中,逼真考验AI智能体的适应力与决策力。

Meta Agents Research Environments is a comprehensive platform designed to evaluate A···

★ 577 2026-08-09
bigcodebench 开源

用真实编程难题,测出大模型代码能力的真实天花板

[ICLR'25] BigCodeBench: Benchmarking Code Generation Towards AGI

★ 517 2026-08-09
Static-to-Dynamic-LLMEval 开源

动态生成评测样本,防数据污染,测出模型真实力

The official GitHub repository of the paper "Recent advances in large language model···

★ 492 2026-08-12
llm-hallucination-survey 开源

一站式读懂大模型幻觉,从入门到前沿

Reading list of hallucination in LLMs. Check out our new survey paper: "Siren’s Son···

★ 1086 2026-08-09