NeumAI

一键搭建大规模向量数据管道,让 RAG 应用数据实时同步

开源 🏷️完全免费 🔧 仅开源项目,无在线服务,需自行部署 搜索知识 🍴 复刻 50 🐛 待处理 10 👀 关注 6
访问官网 ↗ GitHub ↗
GitHub 星标 ★ 868
维护状态 低维护
是否开源 开源
定价模式 🏷️完全免费 开源框架,Apache-2.0 许可证,可免费使用和部署。

项目预览

NeumAI 项目界面预览图
图片来源:GitHub 官方仓库名片

项目数据

分类搜索知识
开发团队NeumTry
官网地址https://neum.ai
定价模式🏷️完全免费
价格说明开源框架,Apache-2.0 许可证,可免费使用和部署。
访问状态🔧 仅开源项目,无在线服务,需自行部署
是否开源是
开源协议Apache-2.0
主要语言Python
技术栈/模型ai,chatgpt,data,data-engineering,database,embeddings,etl,llm,llmops,mlops,ops,pipeline,python,rag,retrieval,vector-database,vectors
GitHub 星标★ 868
上线时间2023-09-14 00:00:00
代码更新2024-01-15
仓库体积3.9 MB
本站数据更新2026-11-09
维护状态低维护
收录时间2026-08-09
浏览次数3

项目介绍

NeumAI 是一个专注于大规模向量嵌入创建与同步的框架,旨在解决 RAG(检索增强生成)应用中数据管道复杂、难以维护的痛点。它提供了一套声明式配置,让开发者能够定义数据源(如网页、PDF、数据库)和嵌入模型,自动完成数据的抓取、清洗、切分、向量化以及向量数据库的同步更新。其核心能力包括:支持多种数据源和向量数据库(如 Pinecone、Weaviate)、内置增量同步机制、提供工作流调度与监控,并支持与 LangChain 等生态集成。通过将数据管道抽象为可复用的配置,NeumAI 显著降低了构建和运维大规模向量索引的工程门槛,使团队能更专注于上层应用开发。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整

数据来源:GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 868

使用教程

难度:进阶 约 25 分钟 部署方式:命令行安装 4 步

环境要求

  • Python 3.9+
  • 一个向量库与嵌入模型凭证

安装与启动步骤

  1. 1安装

    一个包搞定数据接入到向量化的流水线。

    pip install neumai
  2. 2写 pipeline

    yaml 里声明数据源、嵌入模型与目标向量库。

    cat > pipeline.yml <<'EOF'
    source:/n  type: csv
      config: {path: ./data.csv}
    embed:/n  type: openai
    sink:/n  type: pinecone
    EOF
  3. 3跑一次入库

    首次全量灌,之后可增量。

    neumai run pipeline.yml
  4. 4接检索

    用同一套配置起查询接口。

    neumai serve pipeline.yml

如何确认成功

目标向量库中出现与源数据条数匹配的记录,且能检索到相关内容。

注意事项

  • 把嵌入与存储解耦是它的核心,换模型只要改 yaml。
  • 全量灌前先小样本跑通,避免把配额打光。

核心亮点

  • 声明式配置,快速接入多种数据源和向量库,减少重复开发
  • 内置增量同步与调度,解决数据更新和一致性问题
  • 与 LangChain 等生态集成,便于构建端到端 RAG 应用

不足之处

  • 早期项目,文档和社区生态尚不完善
  • 对复杂数据转换和自定义管道的支持可能有限

适用场景

  • 构建企业级知识库问答系统,需要持续同步内部文档
  • 开发基于 RAG 的智能助手,需要管理多源异构数据
  • 需要将网页、PDF 等非结构化数据批量向量化并更新索引

替代项目

LlamaIndex、LangChain、Unstructured

上一篇:VectorCode

下一篇:awesome-ai-memory

同类项目推荐

skops 开源

一键分享和部署 scikit-learn 模型,告别 pickle 混乱

skops is a Python library helping you share your scikit-learn based models and put t···

★ 531 2026-08-09
doris 开源

一套数据库搞定实时报表与AI向量检索

Apache Doris is a real-time analytics and hybrid search database for AI agents.

★ 16199 2026-09-12
generative-ai-arbitrage 开源

花三成钱,调用同一批顶级视频图像音乐模型

A curated list showing how to access the exact same top-tier generative AI models (v···

★ 131 2026-10-20
client 开源

官方多语言客户端,让应用直接调用 Triton 推理服务

Triton Python, C++ and Java client libraries, and GRPC-generated client examples for···

★ 703 2026-11-08
AIHelms 开源

统一纳管 AI 资源,精准控成本、强治理、提效能

企业级 AI 资源纳管平台,提供统一 AI网关、Token调度能力,纳管 OpenAI、Azure、Claude、···

★ 1032 2026-08-09
jina-cli 开源

一行命令,把任意网页变成 AI 能读懂的 Markdown

A lightweight CLI tool wrapping Jina AI Reader API for AI Agents. Fetch and parse an···

★ 310 2026-08-09
Serving-Machine-Learning-Models 开源

一套代码示例,搞定模型上线多种姿势

This repository contains instructions, template source code and examples on how to s···

★ 53 2026-08-09
llm-sandbox 开源

给 LLM 一个安全的代码沙箱,跑 AI 生成的代码不翻车

Lightweight and portable LLM sandbox runtime (code interpreter) Python library.

★ 1144 2026-08-09
aitune 开源

自动调优 NVIDIA GPU 推理配置,省去手工调参

NVIDIA AITune is an inference toolkit designed for tuning and deploying Deep Learnin···

★ 290 2026-10-08