dialog-eval 是评测安全领域的开源项目，由 ricsinaruto 开发，2019 年首次发布。
它收录于评测安全分类，该分类目前共有 458 个项目，GitHub 星标数为 97。
项目已超过三个月没有代码更新，维护节奏明显放缓，最近一次代码更新于 2026-04-23。MIT许可证，完全免费，可自行部署使用。
它主要面向的使用场景是：学术研究中对比不同对话模型的性能。同类可对比的替代方案包括 ConvEval、DialogueEval、ChatEval。
GitHub 星标
★ 97
维护状态
低维护
是否开源
是
定价模式
free
项目数据
分类对话助手
开发团队ricsinaruto
所属国家
定价模式free
价格说明开源项目，MIT许可证，完全免费，可自行部署使用。
访问状态
是否开源是
开源协议MIT
主要语言Python
技术栈/模型chatbot,conversation,dialog,embeddings,entropy,evaluation,metrics
GitHub 星标★ 97
30天Star增速
HF 下载量
上线时间2019-05-30 00:00:00
最近更新2026-04-23 00:00:00
维护状态低维护
中文支持
访问方式
移动端支持
综合评分
收录时间2026-08-09
浏览次数4
使用教程
核心亮点
- 覆盖17种指标，从语义相关性到信息熵，评估维度全面，避免单一指标偏差。
- 基于嵌入的相似度计算，能捕捉语义层面的相关性，比纯词面匹配更智能。
- 提供可复现的评估流程，适合论文实验和模型版本对比。
不足之处
- 项目处于早期，文档和社区支持待观察，可能缺少详细使用示例。
- 指标计算可能依赖外部模型（如嵌入模型），增加运行成本和配置复杂度。
适用场景
- 学术研究中对比不同对话模型的性能。
- 开发对话机器人时，快速筛选候选模型或调参。
- 在缺乏人工标注的情况下，自动评估模型迭代效果。
替代项目
ConvEval、DialogueEval、ChatEval
项目介绍
同类项目推荐
akto
开源
给 AI 应用做安全体检，防提示注入和数据泄露
Akto is the fastest growing AI Security platform for your teams to secure AI agents,···
XSafeClaw
开源
给 AI 智能体装上安全盾，自动红队测试找漏洞
Introducing XSafeClaw: The Open-Source Agent Safety Platform from Fudan University
deepteam
开源
自动模拟越狱攻击，提前测出 LLM 安全漏洞
DeepTeam is a framework to red team LLMs and AI agents.
Tracely-ai
开源
把生产事故变成回归测试，合并前自动拦截 AI 故障
Trace-native CI/CD for AI agents — production failures become regression tests that···