tech.ml.dataset

用 Clojure 快速处理大数据集,像 pandas 一样高效

开源 🏷️完全免费 🔧 仅开源项目,无在线服务,需自行部署 数据集 🍴 复刻 34 🐛 待处理 31 👀 关注 17
GitHub ↗
GitHub 星标 ★ 762
维护状态 维护中
是否开源 开源
定价模式 🏷️完全免费 开源项目,免费使用

项目预览

tech.ml.dataset 项目界面预览图
图片来源:GitHub 官方仓库名片

项目数据

分类数据集
开发团队techascent
定价模式🏷️完全免费
价格说明开源项目,免费使用
访问状态🔧 仅开源项目,无在线服务,需自行部署
是否开源是
开源协议EPL-1.0
主要语言Clojure
技术栈/模型clojure,csv,dataframe,datascience,dataset,etl-pipeline,java,machine-learning,xlsx
GitHub 星标★ 762
上线时间2019-02-14 00:00:00
代码更新2026-10-02
仓库体积9.1 MB
本站数据更新2026-11-20
维护状态维护中
收录时间2026-08-22
浏览次数11

项目介绍

tech.ml.dataset 是一个基于 Clojure 的高性能数据处理系统,专注于提供类似 Python pandas 的 DataFrame 功能,同时充分利用 JVM 生态。它解决了 Clojure 生态中缺乏高效、易用的结构化数据处理工具的问题,支持从 CSV、XLSX 等格式加载数据,进行列式操作、过滤、聚合、连接等常见数据清洗与转换任务,并内置了与机器学习库(如 Smile)的集成接口。其核心能力包括惰性加载、内存高效利用、并行处理以及友好的 Clojure 语法,使得数据处理流程简洁且性能优异。该项目早期已获得 757 星标,表明其受到一定关注,适合需要高性能数据处理的 Clojure 开发者。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整

数据来源:GitHub API 逐日快照 · 收录于 2026-08-22 · 当前星标 ★ 762

使用教程

ℹ 本教程由 AI 依据该项目 README 整理,个别步骤可能需要按你的环境微调。

难度:进阶 约 25 分钟 部署方式:本地安装 4 步

环境要求

  • JDK 11+
  • Clojure CLI

安装与启动步骤

  1. 1装 Clojure 工具链

    JVM 上的表格处理库,对标 Pandas。

    安装 clojure CLI 与 JDK 11+
  2. 2加依赖

    在 deps.edn 里引入。

    {:deps {techascent/tech.ml.dataset {:mvn/version "7.000"}}}
  3. 3读一份 CSV

    API 是函数式的。

    (require '[tech.v3.dataset :as ds])
    (def d (ds/->dataset "data.csv"))
  4. 4做聚合

    group-by 与 aggregate 是核心。

    (ds/group-by #(= (:city %) "zz") d)

如何确认成功

能读出 CSV 的列类型并完成一次分组聚合。

注意事项

  • JVM 生态里做数据处理的务实选择,适合已有 Java 系统。
  • 列类型推断很严格,脏数据要先清洗。
  • 大数据集要注意堆内存设置。

核心亮点

  • 列式存储与惰性加载,内存占用低,适合处理超大数据集
  • API 设计贴近 Clojure 习惯,函数式风格,代码简洁
  • 原生支持 CSV、XLSX 等格式,并集成 Smile 机器学习库

不足之处

  • 文档和示例相对较少,新手入门门槛较高
  • 社区活跃度一般,更新频率可能不如主流数据处理框架

适用场景

  • Clojure 项目中的 ETL 数据清洗与转换
  • 需要高性能数据预处理的机器学习流水线
  • 在 JVM 环境中替代 pandas 进行数据分析

替代项目

Tablecloth、Pandas (Python)、Apache Spark (Scala)

上一篇:cryptoCMD

下一篇:fastdup

同类项目推荐

wildlife-datasets 开源

统一动物重识别数据集,加载即用,评测可比

WildlifeDatasets: An open-source toolkit for animal re-identification

★ 220 2026-09-21
anylabeling 开源

点一下就让 YOLO/SAM 自动标好图,人工只做微调

Effortless AI-assisted data labeling with AI support from YOLO, Segment Anything (SA···

★ 3533 2026-09-13
AlignLedger 开源

把标注、审核、溯源和数据集冻结串成一条可复现流水线

Human-feedback and data-governance infrastructure for RSI research: annotation, revi···

★ 100 2026-11-02
be_great 开源

用大模型生成以假乱真的表格数据,解决隐私和数据短缺问题。

A novel approach for synthesizing tabular data using pretrained large language model···

★ 375 2026-08-17
open-speech-corpora 开源

找语音数据集?一个清单搞定ASR/TTS等语料库导航

A list of accessible speech corpora for ASR, TTS, and other Speech Technologies

★ 1408 2026-08-09
compliance-checker 开源

一键扫描数据集,快速发现合规风险

Python tool to check your datasets against compliance standards

★ 135 2026-09-21
OakInk2 开源

做双手操作AI?用OakInk2数据集训练更逼真的手物交互模型。

[CVPR 2024] OakInk2: A Dataset of Bimanual Hands-Object Manipulation in Complex Task···

★ 115 2026-08-09