DataFlow

环境要求

• Python >= 3.10（已在 Windows / Linux / macOS 的 3.10、3.11、3.12 上测试通过）
• 推荐安装 uv 以加速依赖安装
• 如需本地 GPU 推理，需具备可用的 NVIDIA GPU 环境并安装 vLLM 依赖
• 使用 Docker GPU 特性需提前安装 NVIDIA Container Toolkit

安装与启动步骤

1. 1安装 uv

   DataFlow 官方推荐用 uv 来安装，速度更快；若已有 uv 可跳过此步。

   pip install uv

   复制

2. 2安装 DataFlow

   安装 CPU 通用版本；如需用本地 GPU 推理，改用带 vllm 扩展的安装命令。

   uv pip install open-dataflow

   复制

3. 3安装 GPU 版（可选）

   仅当你想用自己的 GPU 做本地推理时执行，会一并装上 vLLM 相关依赖。

   uv pip install "open-dataflow[vllm]"

   复制

4. 4验证安装

   执行版本检查命令，能打印出版本号即表示安装成功。

   dataflow -v

   复制

5. 5Docker 预构建镜像（可选）

   不想配环境可直接拉取官方镜像运行，容器内含 CUDA 12.4.1 与 vLLM。

   docker run --gpus all -it molyheci/dataflow:cu124

   复制

6. 6自行构建镜像（可选）

   在仓库根目录基于自带 Dockerfile 构建自定义镜像，构建完成后再启动容器。

   docker build -t dataflow:custom .
   docker run --gpus all -it dataflow:custom

   复制

7. 7Colab 快速体验（可选）

   不想本地安装可打开官方 Colab 笔记本，直接跑通第一个翻译示例流程。

如何确认成功

运行 dataflow -v，若输出 open-dataflow codebase version: 1.0.0 及版本比对信息，说明安装成功。

常见问题

注意事项

• 优先使用 uv 安装，官方说明可显著加速依赖安装过程。
• vllm 扩展与 Docker 镜像面向 GPU 场景，普通清洗流程使用基础安装即可。
• Docker 方式必须确保 NVIDIA Container Toolkit 已安装，否则 --gpus all 无法生效。
• README 未给出 DataFlow 的配置文件说明，可通过 dataflow -v 先确认版本与更新情况。