项目预览
项目数据
项目介绍
Star 增长趋势
本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整
数据来源：GitHub API 逐日快照 · 收录于 2026-09-21 · 当前星标 ★ 334
核心亮点
- 把多个数据集收敛到统一评测流程，减少各方案自建测试导致的指标不可比问题
- 同时覆盖对话记忆与 RAG 两类任务，便于对比记忆层和检索层各自对最终效果的贡献
- TypeScript 实现并提供适配器式扩展接口，接入自定义记忆或检索方案的成本较低
不足之处
- 项目处于早期阶段，星标 315，生态和第三方集成尚不丰富
- 评测数据集与指标覆盖范围有限，复杂多轮长程记忆场景可能未充分覆盖
适用场景
- 为 AI 助手选择长期记忆方案时，用统一基准横向对比不同记忆库效果
- RAG 管线调优时，对比不同检索策略、嵌入模型和分块方式的表现
- 学术或工程团队做记忆与检索模块的消融实验，量化各组件贡献
替代项目
RAGAS、LongMemEval
同类项目推荐
SelfAware
开源
测出模型不知道自己不知道什么，减少胡编乱造
Do Large Language Models Know What They Don’t Know?
frouros
开源
实时监控模型漂移，提前预警性能下降
Frouros: an open-source Python library for drift detection in machine learning syste···
AgentHound
开源
像 BloodHound 一样测绘 AI 智能体攻击路径，快速发现安全弱点。
Offensive security framework for AI agent infrastructure - recon, credential looting···
evals
开源
给 AI Agent 做统一考试，改一版测一版
A comprehensive evaluation framework for AI agents and LLM applications.
superbenchmark
开源
一键体检 AI 集群，跑分定位硬件瓶颈
A validation and profiling tool for AI infrastructure
MarkDiffusion
开源
给扩散模型生成图加水印，统一接口做嵌入、提取与评测
[JMLR] MarkDiffusion: An Open-Source Toolkit for Generative Watermarking of Latent D···
awesome-llm-security
开源
一站式找到 LLM 安全工具和资料，防坑避雷
A curation of awesome tools, documents and projects about LLM Security.
PoisonedRAG
开源
看穿 RAG 软肋：用知识投毒测试你的大模型防线
[USENIX Security 2025] PoisonedRAG: Knowledge Corruption Attacks to Retrieval-Augmen···
eva
开源
一套框架，全面衡量语音代理表现，快速定位短板。
A New End-to-end Framework for Evaluating Voice Agents