llm_benchmark

⚠ 该项目 README 未提供完整安装说明，以下步骤为通用流程，请以官方文档为准。

环境要求

• 可访问 OpenRouter 或 Zenmux 中转服务的模型 API 账号（README 说明评测优先使用中转并指定官方渠道供应商）
• 自备评测题库：官方题库不公开，规模长期维持在 28 题 / 270 个用例以内
• 能访问项目仓库与榜单网站 https://llm2014.github.io/llm_benchmark/
• 了解所用模型官方建议的 Decode 参数（有官方建议时需按其设置）

安装与启动步骤

1. 1查看评测榜单

   打开榜单网站，先了解各模型在逻辑、数学、编程、人类直觉等方向的历史成绩与排名趋势。

2. 2准备中转渠道

   评测优先通过 OpenRouter/Zenmux 中转调用模型，并指定官方渠道供应商，需先准备可用账号与额度。

3. 3自建评测题库

   官方题库不公开，需参照 README 的题目大纲（交织文本、日志分析、程序编写等题型）自行出题，每题至少 1 个得分点。

4. 4设置解码参数

   模型官方有明确建议的 Decode 参数就按官方设置，否则不传温度参数使用默认值；不限制 Max Token。

5. 5逐题重复测试

   每道题测 3 遍取最高分，要求推导过程必须正确，猜对的答案不计分，输出多余答案会扣分。

6. 6按规则计分

   计分除以得分点总数再乘以 10，每题满分 10 分；回答不完全符合题目要求（如要求不写解释却写了）即使正确也记 0 分。

7. 7汇总横向对比

   把各模型成绩汇总成对比结果，作为模型上线前的安全门禁或研究对比基线使用。

如何确认成功

新模型测试完成后总榜实时更新，在榜单网站能查到该模型的成绩即说明评测流程正常。

常见问题

注意事项

• 本评测为个人性质，不够权威也不够全面，仅从一个侧面观察大模型的长期进化趋势。
• 不可盲信任何评测，建议根据自身业务需求对大模型进行针对性考察。
• 题目每月滚动更新，成绩存在约正负 3 分的正常波动，横向对比时注意时间口径。
• README 未提供安装命令、依赖清单或端口等信息，实际评测流程与工具需自行搭建。