onefilellm

一键抓取代码、论文、视频字幕，生成干净文本喂给LLM

onefilellm 是一个将多种来源内容转换为单一文本文件的命令行工具，旨在简化大语言模型（LLM）的数据摄入流程。它支持从 GitHub 仓库、本地目录、GitHub Pull Request、arXiv 或 Sci-Hub 论文、YouTube 视频字幕以及网页文档 URL 等来源抓取内容，并自动整理为纯文本文件，同时复制到剪贴板，方便用户直接粘贴到 LLM 对话或知识库中。该工具解决了开发者或研究人员在准备 LLM 输入时面临的格式混乱、信息分散、手动复制效率低等问题。其核心能力包括：智能识别不同来源类型、自动提取正文与代码、过滤无关噪声（如导航栏、广告）、生成结构清晰的文本输出。通过简单的命令行操作，用户即可快速将外部知识或代码库转化为 LLM 可理解的格式，显著提升数据预处理效率。

开源 free 开源模型

访问官网 ↗ GitHub ↗ 文档 ↗

GitHub 星标 ★ 2019

维护状态低维护

是否开源是

定价模式 free

项目数据

分类开源模型

开发团队jimmc414

所属国家

官网地址

GitHubhttps://github.com/jimmc414/onefilellm

定价模式free

价格说明开源项目，MIT许可证，完全免费，无付费版本。

访问状态

是否开源是

开源协议MIT

主要语言Python

技术栈/模型arxiv,doi,github,ipynb,llm,papers,pdf,pmid,pull-request,repository,sci-hub,text,tiktoken,youtube-transcript-api

GitHub 星标★ 2019

30天Star增速

HF 下载量

上线时间2023-03-17 00:00:00

最近更新2026-09-18 00:00:00

维护状态低维护

中文支持

访问方式

移动端支持

综合评分

收录时间2026-08-09

浏览次数6

使用教程

难度：入门约 10 分钟部署方式：命令行工具 6 步

环境要求

Python 环境（可用 pip 安装依赖）
git（用于克隆仓库，可选）
网络连接（抓取 GitHub、arXiv、网页等来源时需要）
GitHub 个人访问令牌（推荐，用于提升 API 访问额度）

安装与启动步骤

1克隆项目仓库

把 onefilellm 源码下载到本地。如果直接使用 pip 安装包，可跳过此步。
```
git clone https://github.com/jimmc414/onefilellm.git
```
2安装项目依赖

进入项目目录并安装 requirements.txt 中列出的依赖包，需联网。
```
cd onefilellm
pip install -r requirements.txt
```
3安装 CLI 命令

以可编辑模式安装，之后可直接使用 onefilellm 命令代替 python onefilellm.py。
```
pip install -e .
```
4或直接 pip 安装

不想克隆仓库时，可直接从 PyPI 安装，CLI 和 Python API 均可使用。
```
pip install onefilellm
```
5配置 GitHub Token

设置令牌后访问 GitHub 仓库、Issue、PR 更稳定，避免匿名调用受限。
```
export GITHUB_TOKEN="your_personal_access_token"
```
6运行工具聚合内容

传入本地目录或 URL 等来源，工具会合并为单个 XML 文件并复制到剪贴板。
```
onefilellm ./docs/ https://github.com/user/project/issues/123
```

关键配置

配置项	必填	说明	示例
`GITHUB_TOKEN`	否	GitHub API 访问令牌，提升抓取额度与稳定性	`ghp_xxxxxxxxxxxxxxxx`
`OFFLINE_MODE`	否	设为 1 时跳过所有网络操作，仅处理本地内容	`1`
`.env`	否	放在项目根目录的环境变量文件，可写入上述配置	`GITHUB_TOKEN=ghp_xxxxxxxxxxxxxxxx`
`~/.onefilellm_aliases/aliases.json`	否	别名存储文件，记录用户自定义的来源别名	`/home/user/.onefilellm_aliases/aliases.json`

如何确认成功

在终端运行 onefilellm 命令后，若生成结构化 XML 文本并自动复制到剪贴板，即表示部署成功。

常见问题

Q：不设置 GitHub Token 能用吗？

A：可以运行，但抓取 GitHub 内容时受匿名 API 速率限制，建议设置 GITHUB_TOKEN 以获得更稳定的访问。

Q：必须克隆仓库才能使用吗？

A：不是，可直接执行 pip install onefilellm 安装，CLI 与 Python API 均可正常使用，无需克隆源码。

Q：怎么在无网络环境下使用？

A：设置环境变量 OFFLINE_MODE=1，工具会跳过所有网络操作，只处理本地文件内容。

Q：安装后提示找不到 onefilellm 命令？

A：确认已执行 pip install -e . 或 pip install onefilellm，并检查该 pip 对应的 Scripts/bin 目录是否在 PATH 中。

注意事项

GitHub Token 属于敏感信息，不要提交到代码仓库或公开分享。
环境变量和 .env 文件均可配置，.env 需放在项目根目录下。
README 未列出具体命令行参数说明，使用时可通过 onefilellm --help 查看。

核心亮点

支持多源输入：GitHub仓库、PR、arXiv论文、YouTube字幕、网页文档，覆盖主流知识场景
自动清洗内容：过滤网页噪声、提取正文与代码，输出结构清晰的纯文本
一键复制到剪贴板：生成文件后自动复制，无缝粘贴到LLM对话或工具中

不足之处

依赖外部服务稳定性：Sci-Hub等非官方源可能因网络或法律问题失效
文档/社区待观察：项目文档和社区支持尚不完善，高级用法需自行摸索

适用场景

将GitHub开源项目代码库整理为单一文本，用于代码理解或生成文档
抓取arXiv论文并转为文本，辅助论文阅读或摘要生成
将YouTube视频字幕或网页教程转为文本，构建个人知识库

替代项目

gpt-repository-loader、llmware、txtai

项目介绍

onefilellm 是自动化工作流领域的开源项目，由 jimmc414 开发，2023 年首次发布。

在全站 13,090 个收录项目中，它的 GitHub 星标数（2,019）位列前 30%，在自动化工作流分类中处于中上游。

项目已超过三个月没有代码更新，维护节奏明显放缓，最近一次代码更新于 2026-09-18。MIT许可证，完全免费，无付费版本。

它主要面向的使用场景是：将GitHub开源项目代码库整理为单一文本，用于代码理解或生成文档。同类可对比的替代方案包括 gpt-repository-loader、llmware、txtai。

上一篇：superglue

下一篇：notte