Daft

一个引擎统一处理多模态数据与 AI 流水线

开源 🏷️基础免费，高级付费 ⏳ 访问状态待核验基础设施 🍴 复刻 582 🐛 待处理 459 👀 关注 32

访问官网 ↗ GitHub ↗

GitHub 星标 ★ 5819

维护状态活跃

是否开源开源

定价模式 🏷️基础免费，高级付费支持限时试用 · 开源免费，云服务付费，定价信息待确认

项目预览

项目数据

分类基础设施

开发团队Eventual-Inc

官网地址https://daft.ai

GitHubhttps://github.com/Eventual-Inc/Daft

定价模式🏷️基础免费，高级付费

价格说明开源免费，云服务付费，定价信息待确认

访问状态⏳ 访问状态待核验

是否开源是

开源协议Apache-2.0

主要语言Rust

技术栈/模型ai-engineering,ai-pipeline,arrow,artificial-intelligence,big-data,data-engineering,distributed,distributed-computing,distributed-systems,embeddings,etl,huggingface,iceberg,machine-learning,multimodal,parquet,python,ray,rust

GitHub 星标★ 5819

上线时间2022-04-25 00:00:00

代码更新2026-10-31

仓库体积76.3 MB

本站数据更新2026-11-01

维护状态活跃

收录时间2026-11-01

浏览次数0

项目介绍

Daft 是一个用 Rust 编写的高性能数据引擎，面向 AI 与多模态工作负载。它要解决的核心问题是：传统 DataFrame 引擎主要处理表格数据，而 AI 流水线往往需要同时处理图像、音频、视频、文本等非结构化数据与结构化数据，跨系统拼接成本高。Daft 基于 Apache Arrow 内存格式，提供分布式执行能力，可在单机或集群上以统一 API 处理多模态数据。核心能力包括：惰性求值的 DataFrame 接口、多模态数据列类型与 UDF 支持、与 Python 生态的集成、面向大规模数据的分布式调度与流式执行。它适合构建数据清洗、特征预处理、多模态数据集构建等 AI 工程流水线，让原本需要多个系统拼装的流程收敛到一个引擎中完成。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整

数据来源：GitHub API 逐日快照 · 收录于 2026-11-01 · 当前星标 ★ 5819

技术标签

ai-engineering artificial-intelligence data-engineering distributed distributed-computing

使用教程

⚠ 本教程由 AI 依据该项目 README 整理；原始文档不完整，部分步骤为通用流程推断，实际安装请以项目官方文档为准。

难度：入门约 10 分钟部署方式：库/依赖 6 步

⚠ 该项目 README 未提供完整安装说明，以下步骤为通用流程，请以官方文档为准。

环境要求

Python 环境与 pip（具体版本要求以官方安装文档为准）
无需 JVM：Python 接口加 Rust 底层
分布式执行按需接入 Ray 或 Kubernetes，可选
访问 S3、GCS、Iceberg、Delta Lake 等数据源时需准备对应凭据

安装与启动步骤

1确认 Python 环境

README 通过 PyPI 分发 Python 包，先确认本机 Python 与 pip 可用；具体要求以官方安装页为准。
```
python --version
```
2创建虚拟环境

建议在独立虚拟环境中安装，避免与其他 Python 项目依赖冲突。
```
python -m venv .venv
source .venv/bin/activate
```
3安装 Daft

从 PyPI 安装名为 daft 的包；README 节选未给出完整安装命令，请同步核对官方安装文档。
```
pip install daft
```
4验证安装

导入库并打印版本号，能正常输出版本即表示安装完成。
```
python -c "import daft; print(daft.__version__)"
```
5阅读快速上手

按官方 Quickstart 了解惰性 DataFrame 接口与多模态列的基本用法，再写业务代码。
6按需配置分布式

单机够用可跳过；需要扩展时按官方文档接入 Ray 或 Kubernetes 集群执行。