
项目预览
项目数据
项目介绍
Star 增长趋势
本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整
数据来源:GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 628
使用教程
环境要求
- Python 3.10 上下
- 商用模型 API key
- 了解安全对齐概念
安装与启动步骤
-
1克隆并建环境
研究代码,依赖版本不算新,建议单独虚拟环境。
git clone https://github.com/RobustNLP/CipherChat && cd CipherChat -
2准备模型凭据
它默认调商用模型接口做评测,需要可用的 key。
-
3跑官方示例
按示例指定模型、数据、编码方式与指令类别,先复现一组结果。
python3 main.py --model_name gpt-4-0613 --encode_method caesar -
4换编码方式对比
把凯撒换成其他密码再跑一遍,看拒绝率的差异。
-
5读现成结果
仓库附带查询-回答对,可直接用 torch.load 读取,省下重跑成本。
如何确认成功
同一指令集在明文与加密输入下跑出明显不同的拒绝率,说明评测链路有效
注意事项
- 这是安全评测框架,用途是量化风险,不是教你绕过模型限制。
- 仓库明确写了仅限研究、禁止滥用,用之前想清楚边界。
- 换个模型或换个密码体系结论可能完全不同,别把单次结果当通用结论。
- 商用接口按量计费,全量跑一轮成本不低。
核心亮点
- 创新性地将密码学与越狱攻击结合,发现安全对齐的盲区
- 提供完整的评估流程和代码,便于复现和扩展
- 支持多种密码系统,覆盖不同编码场景
不足之处
- 仅支持英文输入,对中文场景覆盖不足
- 文档和社区活跃度待观察
适用场景
- 大模型安全研究者评估对齐泛化能力
- 红队测试发现模型潜在越狱风险
- 安全团队设计更鲁棒的对齐策略
替代项目
llm-attacks、Gradient Cuff、SafeAlign
下一篇:T2I-CompBench
同类项目推荐
rhesis
开源
让领域专家给AI当教练,用标注反馈驱动智能体快速进化
The collaboration layer for teams building AI agents. Test, simulate, and trace your···
evaluate
开源
一行代码加载指标,快速评测模型效果
Evaluate: A library for easily evaluating machine learning models and datasets.
meta-agents-research-environment···
开源
在动态仿真环境中,逼真考验AI智能体的适应力与决策力。
Meta Agents Research Environments is a comprehensive platform designed to evaluate A···
awesome-language-model-analysis
开源
一份论文清单,帮你快速摸清大模型分析的研究脉络。
This paper list focuses on the theoretical and empirical analysis of language models···
FollowBench
开源
用多级细粒度约束,精准测出大模型指令遵循的真实水平
[ACL 2024] FollowBench: A Multi-level Fine-grained Constraints Following Benchmark f···
VEFX-Bench
开源
给视频编辑和特效模型打分,选型不再靠感觉
VEFX-Bench: A Holistic Benchmark for Generic Video Editing and Visual Effects
Impossible-Videos
开源
用不可能视频,测出多模态模型的物理常识短板
ICML 2025 - Impossible Videos
Awesome-MLLM-Uncertainty
开源
一页看尽多模态模型不确定性研究,快速定位关键论文
✨A curated list of papers on the uncertainty in multi-modal large language model (M···
AwesomeLLM4APR
开源
一页看尽大模型修Bug研究全景,快速入门与选题
[TOSEM 2026]A Systematic Literature Review on Large Language Models for Automated Pr···