nyt-connections
用759道文字分组谜题，测出大模型的语义推理短板
项目预览
项目数据
项目介绍
Star 增长趋势
本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整
数据来源：GitHub API 逐日快照 · 收录于 2026-11-06 · 当前星标 ★ 250
核心亮点
- 题库规模达759道，并额外注入干扰词，能有效区分模型的语义归类与排除干扰能力
- 覆盖 GPT、Claude、Gemini、Grok 等主流模型，支持横向对比跑分
- Python 实现，题目与评测流程可直接复现和扩展
不足之处
- 题目源自 NYT Connections，题库风格单一，难以覆盖其他类型的推理任务
- 项目星标约250，社区规模较小，长期维护与更新频率有待观察
适用场景
- 模型发布前做文字推理能力的横向对比评测
- 研究语义归类和干扰词排除对 LLM 表现的影响
- 作为教学或面试题，观察模型在多步约束推理中的失误模式
替代项目
lm-evaluation-harness、BIG-bench、HELM
同类项目推荐
power-pwn
开源
给 AI 助手做安全体检，防黑客钻空子
An offensive/defense security toolset for discovery, recon and ethical assessment of···
awesome-ai-agents-security
开源
一张地图看懂AI代理安全生态，快速找到关键资源
A living map of the AI agent security ecosystem.
CRUD_RAG
开源
测一测你的RAG系统，中文场景下到底行不行
CRUD-RAG: A Comprehensive Chinese Benchmark for Retrieval-Augmented Generation of La···
helm
开源
一站式跑分对比大模型，多维度评测可复现
Holistic Evaluation of Language Models (HELM) is an open source Python framework cre···
factcircuit
开源
给 AI 事实核查装上可审计的证据链和可复现评测
FactCircuit: an auditable claim-and-evidence verification loop with immutable proven···
evals
开源
用真实 React Native 任务，测出 AI 编码真本事。
A benchmark suite for evaluating how coding models solve real React Native tasks.
damn-vulnerable-ai-agent
开源
故意留洞的 AI Agent 靶场，拿来练提示注入和越权
Damn Vulnerable AI Agent is a deliberately vulnerable AI agent platform for security···
convex-evals
开源
给 Convex 后端做功能与安全体检，部署前拦住越权和逻辑错。
WorldLens
开源
给自动驾驶世界模型做全科体检，从生成到重建一测到底
[CVPR 2026 Oral] WorldLens: Full-Spectrum Evaluations of Driving World Models in Rea···