merchantbench

365天订单级仿真，测LLM智能体长期经营是否前后一致

开源 🏷️定价信息待确认 ⏳ 访问状态待核验 评测安全 🍴 复刻 20 🐛 待处理 2 👀 关注 12
访问官网 ↗ GitHub ↗
GitHub 星标 ★ 172
维护状态 较活跃
是否开源 开源
定价模式 🏷️定价信息待确认

项目预览

merchantbench 项目界面预览图
图片来源：项目官网

项目数据

分类评测安全
开发团队KhanCold
官网地址https://air.1688.com/kapp/next1688/merchantbench/?spm=defwork.home.0.0.7f8c530dSdRT9v
GitHubhttps://github.com/KhanCold/merchantbench
定价模式🏷️定价信息待确认
价格说明定价信息待确认
访问状态⏳ 访问状态待核验
是否开源是
开源协议Apache-2.0
主要语言Python
技术栈/模型benchmark,e-commerce,long-horizon,simulation
GitHub 星标★ 172
上线时间2026-07-31 00:00:00
代码更新2026-10-09
仓库体积1.2 MB
本站数据更新2026-11-07
维护状态较活跃
收录时间2026-11-06
浏览次数0

项目介绍

MerchantBench 是一个面向电商卖家侧运营的 365 天、订单级长程评测基准，用来检验 LLM 智能体在长时间跨度下决策是否前后一致。它把卖家日常经营拆成逐日、逐订单的可模拟任务，让智能体在持续变化的市场与库存环境中做定价、履约、促销等决策，并记录其长期表现。项目解决的是现有智能体评测多为单轮或短程任务、难以暴露长期记忆漂移与策略矛盾的问题。核心能力包括：按天推进的订单级仿真环境、可复现的长程任务序列、对智能体决策连贯性的量化评估，以及基于 Python 的易扩展评测框架。适合研究长程规划、记忆一致性与电商运营自动化的团队作为基准使用。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整

数据来源：GitHub API 逐日快照 · 收录于 2026-11-06 · 当前星标 ★ 172

技术标签

核心亮点

  • 以365天、订单粒度构造长程任务，能暴露短程评测看不到的记忆漂移与策略矛盾
  • 仿真环境按天推进且可复现，便于横向对比不同智能体的长期连贯性
  • 基于Python实现，任务与指标易扩展，适合作为电商运营智能体的研究基准

不足之处

  • 项目处于早期，星标与社区规模较小，任务覆盖面和评测结论的外部验证有限
  • 仿真环境与真实电商平台存在差距，结论迁移到生产场景需谨慎

适用场景

  • 研究LLM智能体长程规划与记忆一致性
  • 对比不同智能体在电商卖家运营中的长期决策质量
  • 作为电商运营自动化产品的内部回归评测基准

替代项目

AgentBench、WebArena、τ-bench

上一篇：aacr-bench

下一篇：ResolveLab

同类项目推荐

L1B3RT4S 开源

玩转 AI 提示词，用幽默解锁创意交互

TOTALLY HARMLESS LIBERATION PROMPTS FOR GOOD LIL AI'S! [DISREGARD PRE···

★ 23184 2026-08-09
evals 开源

给 AI Agent 做统一考试，改一版测一版

A comprehensive evaluation framework for AI agents and LLM applications.

★ 251 2026-09-14
langfair 开源

给LLM做公平性体检，防偏见翻车

LangFair is a Python library for conducting use-case level LLM bias and fairness ass···

★ 261 2026-08-09
watchtower 开源

扫描AI模型漏洞，守护AI供应链安全

AIShield Watchtower: Dive Deep into AI's Secrets! Open-source tool by AIShield for ···

★ 201 2026-08-09
VibeSearchBench 开源

专治搜索系统'听不懂人话'，用200个模糊任务测出真实力

The hardest search benchmark in the wild — vague, multi-turn, proactive. 200 long-h···

★ 106 2026-08-09
CS-Eval 开源

给网络安全大模型打分，快速找出安全能力短板

CS-Eval is a comprehensive evaluation suite for fundamental cybersecurity models or ···

★ 68 2026-08-09
LLM-Agent-Benchmark-List 开源

一站式查找 LLM 智能体评估基准，省去全网搜索时间

A banchmark list for evaluation of large language models.

★ 173 2026-08-09
VLGuard 开源

给视觉大模型加安全锁，几乎零成本防恶意图片诱导

[ICML 2024] Safety Fine-Tuning at (Almost) No Cost: A Baseline for Vision Large Lang···

★ 91 2026-08-09