memorybench

一套基准跑遍对话记忆与 RAG，选型不再靠拍脑袋

memorybench 是一个面向对话记忆与 RAG 系统的统一评测基准框架，用 TypeScript 编写。它要解决的问题是：当前 AI 记忆方案（如长期记忆库、向量检索、摘要压缩）和 RAG 管线各自为政，缺乏可横向对比的标准化测试，开发者难以判断哪种方案在真实对话场景下更可靠。项目把多个公开数据集整合到同一套评测流程中，提供统一的指标口径和可复现的运行方式，让不同记忆实现、检索策略、嵌入模型可以在相同条件下跑分对比。核心能力包括：多数据集统一接入与切换、对话记忆与 RAG 两类任务的评测支持、可扩展的适配器接口以便接入自定义方案、以及结果汇总输出，方便做消融实验和选型决策。适合做 AI 记忆层、RAG 架构选型或学术对比研究的团队作为基准工具使用。

开源 unknown 评测安全

访问官网 ↗ GitHub ↗ 文档 ↗

GitHub 星标 ★ 315

维护状态较活跃

是否开源是

定价模式 unknown

项目数据

分类评测安全

开发团队supermemoryai

所属国家

官网地址https://supermemory.ai/docs/memorybench/overview

GitHubhttps://github.com/supermemoryai/memorybench

定价模式unknown

价格说明定价信息待确认

访问状态

是否开源是

开源协议MIT

主要语言TypeScript

技术栈/模型ai,ai-memory,benchmark-framework

GitHub 星标★ 315

30天Star增速

HF 下载量

上线时间2025-09-17 00:00:00

最近更新2026-09-17 00:00:00

维护状态较活跃

中文支持

访问方式

移动端支持

综合评分

收录时间2026-09-21

浏览次数0

使用教程

核心亮点

把多个数据集收敛到统一评测流程，减少各方案自建测试导致的指标不可比问题
同时覆盖对话记忆与 RAG 两类任务，便于对比记忆层和检索层各自对最终效果的贡献
TypeScript 实现并提供适配器式扩展接口，接入自定义记忆或检索方案的成本较低

不足之处

项目处于早期阶段，星标 315，生态和第三方集成尚不丰富
评测数据集与指标覆盖范围有限，复杂多轮长程记忆场景可能未充分覆盖

适用场景

为 AI 助手选择长期记忆方案时，用统一基准横向对比不同记忆库效果
RAG 管线调优时，对比不同检索策略、嵌入模型和分块方式的表现
学术或工程团队做记忆与检索模块的消融实验，量化各组件贡献

替代项目

RAGAS、LongMemEval

项目介绍

memorybench 是评测安全领域的开源项目，由 supermemoryai 开发，2025 年首次发布。

它收录于评测安全分类，该分类目前共有 451 个项目，GitHub 星标数为 315。

项目保持着较活跃的维护节奏，最近一次代码更新于 2026-09-17。从国内网络环境看，可直接访问。

它主要面向的使用场景是：为AI助手选择长期记忆方案时，用统一基准横向对比不同记忆库效果。同类可对比的替代方案包括 RAGAS、LongMemEval。

上一篇：TSB-AD

下一篇：没有了！