docetl

用自然语言定义数据管道，LLM 自动处理非结构化数据

开源 🏷️完全免费 🔧 仅开源项目，无在线服务，需自行部署开源模型 🍴 复刻 465 🐛 待处理 47 👀 关注 33

访问官网 ↗ GitHub ↗

GitHub 星标 ★ 4222

维护状态活跃

是否开源开源

定价模式 🏷️完全免费开源项目，MIT许可证，完全免费，可自行部署使用。

项目预览

项目数据

分类开源模型

开发团队ucbepic

官网地址https://docetl.org

GitHubhttps://github.com/ucbepic/docetl

定价模式🏷️完全免费

价格说明开源项目，MIT许可证，完全免费，可自行部署使用。

访问状态🔧 仅开源项目，无在线服务，需自行部署

是否开源是

开源协议MIT

主要语言Python

技术栈/模型agents,data,data-pipelines,document-analysis,document-processing,elt,etl,llm,python,semantic-data,unstructured-data,unstructured-data-analysis,workflow

GitHub 星标★ 4222

上线时间2024-07-09 00:00:00

代码更新2026-11-09

仓库体积87.1 MB

本站数据更新2026-11-10

维护状态活跃

收录时间2026-08-09

浏览次数5

项目介绍

DocETL 是一个面向智能体 LLM 的数据处理与 ETL 系统。它解决传统 ETL 管道无法灵活处理非结构化数据（如文本、日志、文档）的痛点，将大语言模型作为核心处理引擎，支持对数据进行提取、转换、过滤、聚合等复杂操作。用户通过声明式 YAML 配置定义管道，系统自动优化执行计划，并支持多智能体协作完成跨文档推理、数据验证等高级任务。其核心能力包括：基于 LLM 的管道优化器、可扩展的算子库、流式处理与缓存机制，以及面向成本与延迟的自动调优。DocETL 让开发者无需编写大量胶水代码，即可构建可靠、可观测的 LLM 数据管道，适用于数据清洗、信息抽取、文档分析等场景。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整

数据来源：GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 4222

技术标签

agents data data-pipelines document-analysis document-processing

使用教程

ℹ 本教程由 AI 依据该项目 README 整理，个别步骤可能需要按你的环境微调。

难度：入门约 5 分钟部署方式：库/依赖 3 步

环境要求

Python 环境（README 未指定具体版本，建议 Python 3.9+）
可用的 pip 包管理器
一个 LLM 提供商的 API Key（如 OpenAI）

安装与启动步骤

1安装 DocETL 包

使用 pip 从 PyPI 安装 docetl 库，建议在虚拟环境中执行以避免依赖冲突。
```
pip install docetl
```
2配置 LLM 密钥

把 OPENAI_API_KEY 导出为环境变量，README 说明也可换成任意其他 LLM 提供商的密钥。
```
export OPENAI_API_KEY=sk-xxxxxxxx
```
3安装 Claude Code 技能

README 推荐用 Claude Code 编写管道：先运行该命令安装技能，再向它描述你的任务即可。
```
docetl install-skill
```