llm-coding-benchmark
自动跑编码题，横向比出哪个大模型写代码更强
项目预览
项目数据
项目介绍
Star 增长趋势
本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整
数据来源：GitHub API 逐日快照 · 收录于 2026-09-16 · 当前星标 ★ 370
核心亮点
- 用 OpenCode 自动化执行，减少人工逐题测试的重复劳动
- 同时覆盖开源与商用模型，便于横向对比选型
- Python 实现，代码轻量，方便按自己需求改题目和模型列表
不足之处
- 项目早期，星标和生态规模有限，评测题目与模型覆盖可能不够全
- 依赖 OpenCode 等外部工具，环境配置和结果复现存在门槛
适用场景
- 团队选型时快速对比多个大模型的编码能力
- 个人开发者想验证某模型写代码是否靠谱
- 研究者搭建可复现的编码评测流程做二次扩展
替代项目
SWE-bench、HumanEval、LiveCodeBench
上一篇：ollama-benchmark
下一篇：LiveBench
同类项目推荐
Tracely-ai
开源
把线上 agent 失败轨迹变成 CI 回归测试，退化就拦 PR
Trace-native CI/CD for AI agents: grade production traces, cluster failures, freeze ···
MMAD
开源
用统一基准测出多模态大模型在工业质检中的真实水平
The Codes and Data of A Comprehensive Benchmark for Multimodal Large Language Models···
seismometer
开源
在 Notebook 里做医疗 AI 模型的分组评测与可视化
AI model evaluation with a focus on healthcare
WatermarkDM
开源
给AI生成的图像打上隐形水印，一键溯源防滥用
[Tech report]: A Recipe for Watermarking Diffusion Models
botsim
开源
自动仿真对话，快速揪出聊天机器人短板
BotSIM - a data-efficient end-to-end Bot SIMulation toolkit for evaluation, diagnosi···
search-arena
开源
量化分析搜索增强大模型，看清能力边界
⚔️ [ICLR 2026] Official code of "Search Arena: Analyzing Search-Augmented LLMs".
awesome_LLM-harmful-fine-tuning-···
开源
一页看全有害微调攻防论文，快速摸清 LLM 安全风险
A survey on harmful fine-tuning attack for large language model (ACM CSUR)
guidellm
开源
给 LLM 推理服务做真实压测，选型调优有数可依
Evaluate and Enhance Your LLM Deployments for Real-World Inference Needs
ai-privacy-toolkit
开源
给 AI 模型做隐私体检，快速发现合规风险
A toolkit for tools and techniques related to the privacy and compliance of AI model···