用自然语言定义数据管道，LLM 自动处理非结构化数据
DocETL 是一个面向智能体 LLM 的数据处理与 ETL 系统。它解决传统 ETL 管道无法灵活处理非结构化数据（如文本、日志、文档）的痛点，将大语言模型作为核心处理引擎，支持对数据进行提取、转换、过滤、聚合等复杂操作。用户通过声明式 YAML 配置定义管道，系统自动优化执行计划，并支持多智能体协作完成跨文档推理、数据验证等高级任务。其核心能力包括：基于 LLM 的管道优化器、可扩展的算子库、流式处理与缓存机制，以及面向成本与延迟的自动调优。DocETL 让开发者无需编写大量胶水代码，即可构建可靠、可观测的 LLM 数据管道，适用于数据清洗、信息抽取、文档分析等场景。
1安装 DocETL 包
使用 pip 从 PyPI 安装 docetl 库，建议在虚拟环境中执行以避免依赖冲突。
pip install docetl2配置 LLM 密钥
把 OPENAI_API_KEY 导出为环境变量，README 说明也可换成任意其他 LLM 提供商的密钥。
export OPENAI_API_KEY=sk-xxxxxxxx3安装 Claude Code 技能
README 推荐用 Claude Code 编写管道：先运行该命令安装技能，再向它描述你的任务即可。
docetl install-skill| 配置项 | 必填 | 说明 | 示例 |
|---|---|---|---|
OPENAI_API_KEY | 是 | LLM 提供商的 API 密钥，DocETL 调用模型时使用 | sk-xxxxxxxx |
README 未给出启动验证方式；可执行 pip show docetl 查看版本号，确认包已成功安装。
Q：不是 OpenAI 的模型可以用吗？
A：可以。README 注明环境变量处可填任意 LLM 提供商的密钥，按你所用的提供商设置对应的 API Key 环境变量即可。
Q：不知道该写什么管道怎么办？
A：运行 docetl install-skill 安装 Claude Code 技能，然后直接用自然语言向 Claude Code 描述你的数据处理任务，由它帮你生成配置。
Q：数据最终以什么形式产出？
A：DocETL 返回表格结果，便于在常用的数据库中查询，适合数据清洗、信息抽取和文档分析等场景。
Unstructured、LangChain、Haystack
docetl 是开发框架领域的开源项目，由 ucbepic 开发，2024 年首次发布。
在全站 13,090 个收录项目中，它的 GitHub 星标数（4,104）位列前 30%，在开发框架分类的 803 个项目里位列前 13%。
近 42 天，它的 GitHub 星标从 3,964 增加到 4,104，净增 140。
项目保持着较活跃的维护节奏，最近一次代码更新于 2026-09-23。MIT许可证，完全免费，可自行部署使用。
它主要面向的使用场景是：非结构化文档批量清洗与字段抽取。同类可对比的替代方案包括 Unstructured、LangChain、Haystack。
下一篇：JioNLP
ComfyUI_Custom_Nodes_AlekPet
开源
给 ComfyUI 装上语音翻译和姿态检测，工作流更全能
Custom nodes that extend the capabilities of Comfyui
langchain
开源
组装 AI 应用的乐高积木，从想法到上线不换工具
The agent engineering platform.
transformers
开源
全球最大的模型仓库全家桶，想用的模型一把抓
Transformers: the model-definition framework for state-of-the-art machine learning m···
pi
开源
一套 TypeScript 工具包，快速搭出能写代码的 AI agent
AI agent toolkit: unified LLM API, agent loop, TUI, coding agent CLI