model-serving-minefield
按症状查 LLM 服务陷阱，避免自信的错误测量
项目预览
项目数据
项目介绍
Star 增长趋势
本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整
数据来源：GitHub API 逐日快照 · 收录于 2026-09-14 · 当前星标 ★ 168
核心亮点
- 以症状为入口组织内容，遇到异常可直接反查对应陷阱和检查方法
- 覆盖聊天模板、工具解析、量化内核、CUDA、KV 分配、评测框架等完整服务链路
- 聚焦测量可信度，能帮助识别 benchmark 虚高和模型对比失真等隐蔽问题
不足之处
- 项目处于早期，条目数量和覆盖范围可能有限
- 作为社区登记册，内容更新和维护依赖贡献者持续投入
适用场景
- 本地部署 LLM 后 benchmark 分数异常偏高，需要排查评测链路问题
- 对比不同量化版本模型效果时，怀疑测量结果受内核路径影响
- 使用 lm-eval 等框架评测时，想确认聊天模板和推理字段是否一致
替代项目
llama.cpp、lm-evaluation-harness
同类项目推荐
LiveBench
开源
每月换新题，测出模型真实水平
LiveBench: A Challenging, Contamination-Free LLM Benchmark
agentgg
开源
百个AI安全智能体，扫仓库和PR，自动挖漏洞
Open source agentic SAST. The engine behind hundreds of disclosed zero-days. 100+ AI···
empirical
开源
用数据说话，系统化测试评估你的 LLM 应用
Test and evaluate LLMs and model configurations, across all the scenarios that matte···
datafog-python
开源
给 AI 应用装个本地隐私闸门，敏感信息不出门。
Offline PII firewall for AI agents and LLM apps: fast local detection and redaction,···
dynolab
开源
Mac 本地跑 AI 可解释性实验，激活探针 SAE 一站搞定
Dyno Lab — an AI safety, alignment and interpretability research workbench for Appl···
geobench
开源
用 GeoGuessr 游戏场景，测出 AI 的地理定位智商。
GeoGuessr benchmark for language models
evals-skills
开源
跟着课程搭 LLM 评测体系，把主观质量变成可复现指标
Skills for AI Evals to compliment the course: AI Evals For Engineers & PMs
workshop
开源
让编码代理自己写评测、跑评测，回归验证不再靠手测
Give your coding agent the power to write and run agent evals.
uptrain
开源
给 LLM 应用打分找茬，快速定位并修复质量问题。
UpTrain is an open-source unified platform to evaluate and improve Generative AI app···