semhash

一句话找出数据集里语义重复的样本，快速去重。

开源 freemium 数据集

访问官网 ↗ GitHub ↗ 文档 ↗

GitHub 星标 ★ 975

维护状态较活跃

是否开源是

定价模式 freemium

项目预览

项目数据

分类数据集

开发团队MinishLab

所属国家

官网地址https://minish.ai/packages/semhash/introduction

GitHubhttps://github.com/MinishLab/semhash

定价模式freemium

价格说明开源库免费使用，minish.ai 平台提供付费增值服务，具体定价待确认

访问状态

是否开源是

开源协议MIT

主要语言Python

技术栈/模型datasets,deduplication,image-dataset-cleaning,model2vec,preprocessing,semantic-deduplication,text-dataset-cleaning,vicinity

GitHub 星标★ 975

30天Star增速

HF 下载量

上线时间2024-10-13 00:00:00

代码更新—

仓库体积—

本站数据更新—

维护状态较活跃

中文支持

访问方式

移动端支持

综合评分

收录时间2026-10-18

浏览次数0

项目介绍

semhash 是一个面向多模态数据集的快速语义去重与过滤工具，用轻量级嵌入模型（model2vec）把文本和图片转成向量，再通过近似最近邻检索找出语义重复的样本，从而在训练或清洗数据前批量剔除冗余数据。它解决的是传统精确匹配去重无法识别“换种说法但意思相同”或“图片内容近似”的问题，避免重复样本污染数据集、浪费训练算力并导致模型过拟合。核心能力包括：支持文本与图像数据集的语义级去重、可配置相似度阈值、与 HuggingFace datasets 无缝衔接、内置 Vicin 近邻索引实现高速检索、以及可组合的过滤流程。项目以 Python 实现，接口简洁，适合在数据预处理阶段快速接入，帮助构建更干净、更高质量的训练语料。