spelltest 是评测安全领域的开源项目，由 artas728 开发，2023 年首次发布。
它收录于评测安全分类，该分类目前共有 458 个项目，GitHub 星标数为 138。
项目已超过三个月没有代码更新，维护节奏明显放缓，最近一次代码更新于 2026-07-21。MIT许可证，完全免费，无付费版本。
它主要面向的使用场景是：LLM应用上线前的回归测试。同类可对比的替代方案包括 DeepEval、LangSmith、Promptfoo。
spelltest
用 AI 模拟用户，自动测试你的 LLM 应用，提前发现坑
spelltest 是一个面向 LLM 应用的 AI-to-AI 测试与模拟框架，旨在解决大语言模型应用在开发、测试和部署过程中缺乏系统性验证手段的问题。它通过模拟用户与 AI 的交互，自动生成测试用例，并对模型输出进行多维度评估，帮助开发者提前发现逻辑错误、幻觉、安全漏洞等问题。核心能力包括：基于场景的对话模拟、自动化断言与回归测试、与主流 LLM 和框架的集成、以及可定制的评估指标。项目处于早期阶段，但设计思路清晰，适合需要为 LLM 应用建立质量保障体系的团队探索使用。
开源
free
基础设施
GitHub 星标
★ 138
维护状态
低维护
是否开源
是
定价模式
free
项目数据
分类基础设施
开发团队artas728
所属国家
定价模式free
价格说明开源项目，MIT许可证，完全免费，无付费版本。
访问状态
是否开源是
开源协议MIT
主要语言Python
技术栈/模型gpt,llm,llm-framework,llmops,llms,testing-tools
GitHub 星标★ 138
30天Star增速
HF 下载量
上线时间2023-09-12 00:00:00
最近更新2026-07-21 00:00:00
维护状态低维护
中文支持
访问方式
移动端支持
综合评分
收录时间2026-08-09
浏览次数5
使用教程
核心亮点
- AI 驱动测试生成，无需大量手工编写用例
- 支持多维度评估，覆盖逻辑、安全和幻觉等关键问题
- 与主流 LLM 框架集成，上手门槛低
不足之处
- 文档/社区待观察
- 早期项目，API 和功能可能不稳定
适用场景
- LLM 应用上线前的回归测试
- 持续集成中自动验证模型输出质量
- 针对特定场景（如客服、问答）的模拟压力测试
替代项目
DeepEval、LangSmith、Promptfoo
项目介绍
上一篇：athina-sdk
下一篇：valqore
同类项目推荐
akto
开源
给 AI 应用做安全体检，防提示注入和数据泄露
Akto is the fastest growing AI Security platform for your teams to secure AI agents,···
XSafeClaw
开源
给 AI 智能体装上安全盾，自动红队测试找漏洞
Introducing XSafeClaw: The Open-Source Agent Safety Platform from Fudan University
deepteam
开源
自动模拟越狱攻击，提前测出 LLM 安全漏洞
DeepTeam is a framework to red team LLMs and AI agents.
Tracely-ai
开源
把生产事故变成回归测试，合并前自动拦截 AI 故障
Trace-native CI/CD for AI agents — production failures become regression tests that···