meow-llm-detector

一键验真,揪出冒充大模型的李鬼

meow-llm-detector 是一个用 Python 编写的开源工具,专门用于检测一个 AI 模型是否真实——即判断你正在调用的模型是不是它声称的那个,还是被偷偷替换成了更便宜或更弱的模型。它解决的问题很实际:市面上不少 API 服务商或中转平台会挂羊头卖狗肉,用低配模型冒充高配模型,用户花了高价却拿到缩水结果。该项目通过设计一系列探测性问题与行为特征分析,对比目标模型与官方模型的输出差异,从而给出真实性判断。核心能力包括模型指纹识别、响应模式比对、以及可扩展的检测规则集。项目轻量、依赖少,适合开发者快速集成到自己的模型调用链路中做质量监控。

开源 free 评测安全
访问官网 ↗ GitHub ↗ 文档 ↗
GitHub 星标 ★ 1387
维护状态 活跃
是否开源
定价模式 free

项目数据

分类评测安全
开发团队chen-006
所属国家
官网地址
定价模式free
价格说明开源免费,无在线服务
访问状态
是否开源
开源协议NOASSERTION
主要语言Python
技术栈/模型
GitHub 星标★ 1387
30天Star增速
HF 下载量
上线时间2026-07-29 00:00:00
最近更新2026-09-18 00:00:00
维护状态活跃
中文支持
访问方式
移动端支持
综合评分
收录时间2026-09-16
浏览次数0

使用教程

难度:入门 约 10 分钟 部署方式:本地安装 8 步

环境要求

  • Windows 10/11(Intel/AMD 64 位)可直接使用便携包
  • 源码包方式需 Windows、macOS 或 Linux,并安装 Python 3.11+
  • 默认使用本机 http://127.0.0.1:8765/ 端口
  • 需要被测模型的 API URL 和 Key(费用由你的 API 账户承担)

安装与启动步骤

  1. 1下载发行包

    到 GitHub Releases v4.5.4 下载 Windows 便携包 windows-x64-portable-zh-CN.zip 或源码包;不要用测试分支的临时验收包。

  2. 2解压到新目录

    把压缩包解压到一个全新的空目录再运行,避免与旧版本文件混在一起造成启动异常。

  3. 3Windows 启动

    在解压目录运行 start.bat;便携包已内置独立 Python 和依赖,无需另行安装。

    start.bat
  4. 4macOS/Linux 启动

    源码包方式在项目根目录运行 sh start.sh;启动器会在本目录创建独立依赖环境,不改系统依赖。

    sh start.sh
  5. 5自定义端口

    默认端口 8765,如被占用可在启动命令后加 --port 加端口号,两种系统写法不同。

    start.bat --port 8790
    sh start.sh --port 8790
  6. 6填写连接信息

    浏览器打开 http://127.0.0.1:8765/ ,选择协议并填写 API URL 和 Key,也可选择已保存的连接。

  7. 7开始检测

    选择基准和要验证的模型,实际请求名可手填或点「获取模型」从站点列表选,再选档位并确认最多请求数。

  8. 8查看结果

    在同一页查看本次结果和历史报告,搜索支持按 URL、申报模型、实际请求名查找。

关键配置

配置项必填说明示例
协议选择被测站点使用的协议类型(按站点实际选择)
API URL被测模型的接口地址,用于发起探测请求https://api.example.com/v1
API Key调用被测接口所需的密钥,检测费用由该账户承担sk-xxxxxxxx
实际请求名希望验证的模型请求名,可从站点模型列表选择claude-fable-5-1
--port启动参数,指定本地服务端口,默认 87658790
最多请求数本次检测的请求上限,确认后再开始检测(按界面提示设置)

如何确认成功

浏览器访问 http://127.0.0.1:8765/ 能打开检测界面,并按所选端口正常响应,即启动成功。

常见问题

Q:没有 Python 环境能用吗?

A:Windows 10/11 64 位可直接下载 windows-x64-portable-zh-CN.zip 便携包,内置独立 Python 和依赖,解压后运行 start.bat 即可。

Q:怎么换成别的端口?

A:在启动命令后加 --port 参数,例如 start.bat --port 8790 或 sh start.sh --port 8790,然后访问对应端口。

Q:在线版和本地版有什么区别?

A:在线版 https://meowllm.top/ 无需安装,但报告公开,且只支持公网 HTTPS API;本地版数据留在本机。

Q:新版分数比旧版低,是识别能力变差了吗?

A:不是。新版按平均优势展示匹配度并重新校准强指向线,刻度整体更低,不要直接拿新旧百分比对比。

Q:检测结果能证明模型身份吗?

A:不能。结果只是指纹证据,不是身份认证,也不构成对服务商行为的归因,请结合强指向线综合判断。

注意事项

  • 站点返回的模型列表只是配置便利,不证明真实模型身份。
  • 结果是指纹证据,不是身份认证,也不是对服务商行为的归因。
  • 正式下载以 GitHub Releases v4.5.4 为准,勿使用测试分支的临时验收包。
  • 启动时及每 24 小时会自动检查程序与维护者基准更新,可一键更新并在失败时回滚旧版。

核心亮点

  • 提供可扩展的检测规则集,能针对不同模型家族定制探测策略
  • 轻量级 Python 实现,依赖少,容易嵌入现有 API 调用流程
  • 聚焦 API 中转冒充这一真实痛点,填补了模型真实性校验的工具空白

不足之处

  • 检测准确率依赖规则设计,面对刻意规避的伪装可能误判
  • 项目较新,检测规则覆盖的模型种类和更新频率有待观察

适用场景

  • API 中转平台采购前验证模型真伪
  • 开发者监控第三方模型服务是否被降级替换
  • 模型评测场景中确保被测对象与声称版本一致

替代项目

llm-checker、gpt4free

项目介绍

meow-llm-detector 是一个评测安全领域的开源项目,官方简介:用于检测ai模型是否真实。项目使用 Python 开发,在 GitHub 上获得 1363 星标。

上一篇:Awesome-LLM-Compression

下一篇:LLM4Pentest

同类项目推荐

akto 开源

给 AI 应用做安全体检,防提示注入和数据泄露

Akto is the fastest growing AI Security platform for your teams to secure AI agents,···

★ 1516 2026-08-20
XSafeClaw 开源

给 AI 智能体装上安全盾,自动红队测试找漏洞

Introducing XSafeClaw: The Open-Source Agent Safety Platform from Fudan University

★ 164 2026-08-10
Tracely-ai 开源

把生产事故变成回归测试,合并前自动拦截 AI 故障

Trace-native CI/CD for AI agents — production failures become regression tests that···

★ 1403 2026-08-24