
tech.ml.dataset
用 Clojure 快速处理大数据集,像 pandas 一样高效
项目预览
项目数据
项目介绍
Star 增长趋势
本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整
数据来源:GitHub API 逐日快照 · 收录于 2026-08-22 · 当前星标 ★ 762
技术标签
使用教程
ℹ 本教程由 AI 依据该项目 README 整理,个别步骤可能需要按你的环境微调。
环境要求
- JDK 11+
- Clojure CLI
安装与启动步骤
-
1装 Clojure 工具链
JVM 上的表格处理库,对标 Pandas。
安装 clojure CLI 与 JDK 11+ -
2加依赖
在 deps.edn 里引入。
{:deps {techascent/tech.ml.dataset {:mvn/version "7.000"}}} -
3读一份 CSV
API 是函数式的。
(require '[tech.v3.dataset :as ds]) (def d (ds/->dataset "data.csv")) -
4做聚合
group-by 与 aggregate 是核心。
(ds/group-by #(= (:city %) "zz") d)
如何确认成功
能读出 CSV 的列类型并完成一次分组聚合。
注意事项
- JVM 生态里做数据处理的务实选择,适合已有 Java 系统。
- 列类型推断很严格,脏数据要先清洗。
- 大数据集要注意堆内存设置。
核心亮点
- 列式存储与惰性加载,内存占用低,适合处理超大数据集
- API 设计贴近 Clojure 习惯,函数式风格,代码简洁
- 原生支持 CSV、XLSX 等格式,并集成 Smile 机器学习库
不足之处
- 文档和示例相对较少,新手入门门槛较高
- 社区活跃度一般,更新频率可能不如主流数据处理框架
适用场景
- Clojure 项目中的 ETL 数据清洗与转换
- 需要高性能数据预处理的机器学习流水线
- 在 JVM 环境中替代 pandas 进行数据分析
替代项目
Tablecloth、Pandas (Python)、Apache Spark (Scala)
同类项目推荐
wildlife-datasets
开源
统一动物重识别数据集,加载即用,评测可比
WildlifeDatasets: An open-source toolkit for animal re-identification
anylabeling
开源
点一下就让 YOLO/SAM 自动标好图,人工只做微调
Effortless AI-assisted data labeling with AI support from YOLO, Segment Anything (SA···
AlignLedger
开源
把标注、审核、溯源和数据集冻结串成一条可复现流水线
Human-feedback and data-governance infrastructure for RSI research: annotation, revi···
be_great
开源
用大模型生成以假乱真的表格数据,解决隐私和数据短缺问题。
A novel approach for synthesizing tabular data using pretrained large language model···
open-speech-corpora
开源
找语音数据集?一个清单搞定ASR/TTS等语料库导航
A list of accessible speech corpora for ASR, TTS, and other Speech Technologies
compliance-checker
开源
一键扫描数据集,快速发现合规风险
Python tool to check your datasets against compliance standards
awesome-object-detection-dataset···
开源
找目标检测数据集,看这一个列表就够了
A collection of some awesome public object detection and recognition datasets.
synthetic-data-examples
开源
跑通几个 Notebook,快速学会生成合成数据
Synthetic Data Generation Examples
OakInk2
开源
做双手操作AI?用OakInk2数据集训练更逼真的手物交互模型。
[CVPR 2024] OakInk2: A Dataset of Bimanual Hands-Object Manipulation in Complex Task···