
lm_understand-logs
把神经网络权重当文本,让大模型读懂并生成
项目预览
项目数据
项目介绍
Star 增长趋势
本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整
数据来源:GitHub API 逐日快照 · 收录于 2026-11-07 · 当前星标 ★ 1057
使用教程
⚠ 本教程由 AI 依据该项目 README 整理;原始文档不完整,部分步骤为通用流程推断,实际安装请以项目官方文档为准。
⚠ 该项目 README 未提供完整安装说明,以下步骤为通用流程,请以官方文档为准。
环境要求
- Python 环境(仓库中 harness/sandbox.py 使用 Python 运行模型写的代码块)
- Codex CLI(每轮实验通过 codex exec 调用)
- bubblewrap 沙箱环境(harness/sandbox.py 使用,运行时无网络)
- 可用的 OpenAI 模型调用凭据(实验统一使用 gpt-6-astra)
安装与启动步骤
-
1克隆仓库
把实验日志仓库下载到本地,后续所有目录与脚本都在仓库内。
git clone https://github.com/RikiyaT/lm_understand-logs.git cd lm_understand-logs -
2查看实验目录说明
每个 exp* 实验目录自带 README,标明对应文章中哪个标签页或行、每个数字来自哪个文件。
ls -1 -
3阅读运行配置
确认内置工具被关闭的配置和系统指令内容,两者是复现无工具调用的前提。
cat harness/codex_config.toml cat harness/instructions.md -
4准备 Codex CLI
README 只说明调用方式是 codex exec,未给出安装命令,安装请参照 Codex CLI 官方文档。
-
5发起单轮调用
一轮就是一次 codex exec,提示词通过标准输入传入,推理强度在每次调用时单独指定并记入 run.json。
codex exec -
6继续同一会话
多轮对话用 resume 加线程标识继续,示例中的线程标识需替换为实际值。
codex exec resume thread-xxxxxxxx -
7核对代码与输出
实验 3、6、7、8 中模型每轮写一段 Python,运行结果回传为下一条消息,代码与输出记在 tool_calls.jsonl。
cat exp3_language/tool_calls.jsonl
关键配置
| 配置项 | 必填 | 说明 | 示例 |
|---|---|---|---|
harness/codex_config.toml | 是 | 关闭 shell、文件编辑、联网搜索、图像查看、子代理、插件等全部内置工具 | harness/codex_config.toml |
harness/instructions.md | 是 | 系统指令文件,内容为一行中性说明 | harness/instructions.md |
model | 是 | 每次调用显式指定的模型,覆盖配置文件默认值 | gpt-6-astra |
reasoning effort | 是 | 每轮推理强度,按实验分组设置 | high |
audit.tool_free | 否 | 记录在每轮 run.json 中,标记该轮是否被测得无工具调用 | true |
如何确认成功
打开任一轮的 run.json,确认 audit.tool_free 为 true,且对应 tool_calls.jsonl 中存在该轮的代码与打印输出。
常见问题
Q:这个仓库能直接安装运行吗?
A:不能。它是博客文章的完整实验日志与脚本集合,README 只说明每轮如何调用与记录,未提供安装包或一键运行入口。
Q:推理强度怎么选?
A:文章中实验 1、2、4 用 high,实验 3、5、6、7 用 xhigh,实验 8 用 max,实际值记录在每轮 run.json。
Q:模型会不会偷偷用工具?
A:不会。codex_config.toml 关闭了全部内置能力,作者逐轮检查事件流,本版本 1125 轮均为无工具调用。
Q:哪些实验允许模型写代码?
A:实验 3、6、7、8。模型每轮写一段 Python,在 harness/sandbox.py 的沙箱中执行,代码和输出记入 tool_calls.jsonl。
Q:怎么把文章里的数字对回文件?
A:进入对应 exp* 目录,其 README 说明该实验对应文章的哪个标签页或行,以及每个数字出自哪个文件。
注意事项
- 仓库定位是研究复现材料,不是可直接部署的软件,缺少 README 支持的安装步骤不要臆造。
- 沙箱运行无网络且有单次时间限制,长耗时任务可能被截断。
- 每轮提示词、回复、推理摘要与代码输出均已完整存档,可直接与原文逐项比对。
核心亮点
- 公开完整实验日志与脚本,实验配置、数据构造和评测指标可追溯,便于复现
- 切入「LLM 理解权重」这一新颖方向,为权重生成、模型合并等研究提供基线参考
- 代码为 Python 实现,结构贴近研究流程,研究者可直接改造实验
不足之处
- 以实验日志为主,缺少封装良好的库接口和详细使用文档,上手成本较高
- 实验规模与评测范围有限,结论的通用性仍需更多模型和任务验证
适用场景
- 研究 LLM 能否直接理解神经网络权重的研究复现
- 探索用语言模型生成或修复模型权重的实验
- 模型合并、权重压缩等方向的基线对比与教学参考
替代项目
nanoGPT、llm.c
同类项目推荐
prompttools
开源
一键对比测试提示词,选对模型和参数不再靠猜
Open-source tools for prompt testing and experimentation, with support for both LLMs···
NiceEval
开源
10分钟为你的AI Agent搭建评测体系
build eval for your agent in 10 mins
awesome-direct-preference-optimi···
开源
一网打尽DPO论文与代码,快速入门偏好对齐
A Survey of Direct Preference Optimization (DPO)
Rickrolling-the-Artist
开源
给AI画师下毒:一句触发词,让模型输出指定图像
[ICCV 2023] Source code for our paper "Rickrolling the Artist: Injecting Invisible B···
InjectRange
开源
用固定语料对比严格/宽松防护,量化提示注入漏检
Guard harness for prompt-injection corpora - six breach classes, corpus pinning and ···
PoisonedRAG
开源
看穿 RAG 软肋:用知识投毒测试你的大模型防线
[USENIX Security 2025] PoisonedRAG: Knowledge Corruption Attacks to Retrieval-Augmen···
superpowers-evals
开源
驱动真实编码智能体,自动评分工作流合规性
Behavioral eval lab (Quorum) for the superpowers project that drives real coding-age···
Awesome-LVLM-Attack
开源
一页看全 LVLM 攻击论文与工具,快速入门安全评测
up-to-date & curated list of awesome Attacks on Large-Vision-Language-Models papers,···
awesome-cyber-ai-arsenal
开源
一站式导航AI安全攻防工具,快速定位所需资源
A curated collection of offensive, defensive and AI/LLM security tools.