项目预览
项目数据
项目介绍
Star 增长趋势
本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整
数据来源：GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 97
核心亮点
- 覆盖17种指标，从语义相关性到信息熵，评估维度全面，避免单一指标偏差。
- 基于嵌入的相似度计算，能捕捉语义层面的相关性，比纯词面匹配更智能。
- 提供可复现的评估流程，适合论文实验和模型版本对比。
不足之处
- 项目处于早期，文档和社区支持待观察，可能缺少详细使用示例。
- 指标计算可能依赖外部模型（如嵌入模型），增加运行成本和配置复杂度。
适用场景
- 学术研究中对比不同对话模型的性能。
- 开发对话机器人时，快速筛选候选模型或调参。
- 在缺乏人工标注的情况下，自动评估模型迭代效果。
替代项目
ConvEval、DialogueEval、ChatEval
同类项目推荐
Awesome-Offensive-AI-Agentic-Lan···
开源
一张图看懂 AI 攻防：渗透、红队、漏洞发现全收录
This document curates open-source projects, academic papers, capability benchmarks, ···
empirica
开源
给 AI 装上可靠性仪表盘，让每次输出可测量、可拦截、可信赖。
Make AI agents and AI workflows measurably reliable. Epistemic measurement, Noetic R···
Zero-Breach-Toolkit
开源
离线自查设备是否留有已知间谍软件痕迹
Free, open-source check for traces of mercenary spyware (Pegasus, Predator, Graphite···
Modality-Integration-Rate
开源
量化视觉-语言模型跨模态对齐，诊断融合短板
[ICCV 2025] The official code of the paper "Deciphering Cross-Modal Alignment in Lar···
Rules.txt
开源
用指令集撬开AI黑盒，审计推理与偏见
LLM alignment jailbreak; a set of instructions for auditing their internal reasoning···
awesome-language-model-analysis
开源
一份论文清单，帮你快速摸清大模型分析的研究脉络。
This paper list focuses on the theoretical and empirical analysis of language models···
PatchEval
开源
用真实漏洞测大模型修 bug 的真本事
PatchEval: A New Benchmark for Evaluating LLMs on Patching Real-World Vulnerabilitie···
awesome_LLM-harmful-fine-tuning-···
开源
一页看全有害微调攻防论文，快速摸清 LLM 安全风险
A survey on harmful fine-tuning attack for large language model (ACM CSUR)
optimum-benchmark
开源
一键横评多后端推理性能，选型不靠猜
️ A unified multi-backend utility for benchmarking Transformers, Timm, PEFT, Diffus···