
meow-llm-detector
一键验真,揪出冒充大模型的李鬼
meow-llm-detector 是一个用 Python 编写的开源工具,专门用于检测一个 AI 模型是否真实——即判断你正在调用的模型是不是它声称的那个,还是被偷偷替换成了更便宜或更弱的模型。它解决的问题很实际:市面上不少 API 服务商或中转平台会挂羊头卖狗肉,用低配模型冒充高配模型,用户花了高价却拿到缩水结果。该项目通过设计一系列探测性问题与行为特征分析,对比目标模型与官方模型的输出差异,从而给出真实性判断。核心能力包括模型指纹识别、响应模式比对、以及可扩展的检测规则集。项目轻量、依赖少,适合开发者快速集成到自己的模型调用链路中做质量监控。
项目数据
使用教程
环境要求
- Windows 10/11(Intel/AMD 64 位)可直接使用便携包
- 源码包方式需 Windows、macOS 或 Linux,并安装 Python 3.11+
- 默认使用本机 http://127.0.0.1:8765/ 端口
- 需要被测模型的 API URL 和 Key(费用由你的 API 账户承担)
安装与启动步骤
-
1下载发行包
到 GitHub Releases v4.5.4 下载 Windows 便携包 windows-x64-portable-zh-CN.zip 或源码包;不要用测试分支的临时验收包。
-
2解压到新目录
把压缩包解压到一个全新的空目录再运行,避免与旧版本文件混在一起造成启动异常。
-
3Windows 启动
在解压目录运行 start.bat;便携包已内置独立 Python 和依赖,无需另行安装。
start.bat -
4macOS/Linux 启动
源码包方式在项目根目录运行 sh start.sh;启动器会在本目录创建独立依赖环境,不改系统依赖。
sh start.sh -
5自定义端口
默认端口 8765,如被占用可在启动命令后加 --port 加端口号,两种系统写法不同。
start.bat --port 8790 sh start.sh --port 8790 -
6填写连接信息
浏览器打开 http://127.0.0.1:8765/ ,选择协议并填写 API URL 和 Key,也可选择已保存的连接。
-
7开始检测
选择基准和要验证的模型,实际请求名可手填或点「获取模型」从站点列表选,再选档位并确认最多请求数。
-
8查看结果
在同一页查看本次结果和历史报告,搜索支持按 URL、申报模型、实际请求名查找。
关键配置
| 配置项 | 必填 | 说明 | 示例 |
|---|---|---|---|
协议 | 是 | 选择被测站点使用的协议类型 | (按站点实际选择) |
API URL | 是 | 被测模型的接口地址,用于发起探测请求 | https://api.example.com/v1 |
API Key | 是 | 调用被测接口所需的密钥,检测费用由该账户承担 | sk-xxxxxxxx |
实际请求名 | 否 | 希望验证的模型请求名,可从站点模型列表选择 | claude-fable-5-1 |
--port | 否 | 启动参数,指定本地服务端口,默认 8765 | 8790 |
最多请求数 | 否 | 本次检测的请求上限,确认后再开始检测 | (按界面提示设置) |
如何确认成功
浏览器访问 http://127.0.0.1:8765/ 能打开检测界面,并按所选端口正常响应,即启动成功。
常见问题
Q:没有 Python 环境能用吗?
A:Windows 10/11 64 位可直接下载 windows-x64-portable-zh-CN.zip 便携包,内置独立 Python 和依赖,解压后运行 start.bat 即可。
Q:怎么换成别的端口?
A:在启动命令后加 --port 参数,例如 start.bat --port 8790 或 sh start.sh --port 8790,然后访问对应端口。
Q:在线版和本地版有什么区别?
A:在线版 https://meowllm.top/ 无需安装,但报告公开,且只支持公网 HTTPS API;本地版数据留在本机。
Q:新版分数比旧版低,是识别能力变差了吗?
A:不是。新版按平均优势展示匹配度并重新校准强指向线,刻度整体更低,不要直接拿新旧百分比对比。
Q:检测结果能证明模型身份吗?
A:不能。结果只是指纹证据,不是身份认证,也不构成对服务商行为的归因,请结合强指向线综合判断。
注意事项
- 站点返回的模型列表只是配置便利,不证明真实模型身份。
- 结果是指纹证据,不是身份认证,也不是对服务商行为的归因。
- 正式下载以 GitHub Releases v4.5.4 为准,勿使用测试分支的临时验收包。
- 启动时及每 24 小时会自动检查程序与维护者基准更新,可一键更新并在失败时回滚旧版。
核心亮点
- 提供可扩展的检测规则集,能针对不同模型家族定制探测策略
- 轻量级 Python 实现,依赖少,容易嵌入现有 API 调用流程
- 聚焦 API 中转冒充这一真实痛点,填补了模型真实性校验的工具空白
不足之处
- 检测准确率依赖规则设计,面对刻意规避的伪装可能误判
- 项目较新,检测规则覆盖的模型种类和更新频率有待观察
适用场景
- API 中转平台采购前验证模型真伪
- 开发者监控第三方模型服务是否被降级替换
- 模型评测场景中确保被测对象与声称版本一致
替代项目
llm-checker、gpt4free
项目介绍
下一篇:LLM4Pentest
同类项目推荐
akto
开源
给 AI 应用做安全体检,防提示注入和数据泄露
Akto is the fastest growing AI Security platform for your teams to secure AI agents,···
XSafeClaw
开源
给 AI 智能体装上安全盾,自动红队测试找漏洞
Introducing XSafeClaw: The Open-Source Agent Safety Platform from Fudan University
Tracely-ai
开源
把生产事故变成回归测试,合并前自动拦截 AI 故障
Trace-native CI/CD for AI agents — production failures become regression tests that···
fast-llm-security-guardrails
开源
给 AI Agent 加一道快速安全闸门,防提示注入和隐私泄露
The fastest Trust Layer for AI Agents