smart-llm-loader

把任意文档变成 LLM 能吃的块,省下预处理时间,专注做应用。

开源 🏷️完全免费 🔧 仅开源项目,无在线服务,需自行部署 对话助手 🍴 复刻 20 👀 关注 1
GitHub ↗
GitHub 星标 ★ 253
维护状态 低维护
是否开源 开源
定价模式 🏷️完全免费 开源项目,MIT许可证,完全免费,无付费版本。

项目预览

smart-llm-loader 项目界面预览图
图片来源:GitHub 官方仓库名片

项目数据

分类对话助手
开发团队drmingler
定价模式🏷️完全免费
价格说明开源项目,MIT许可证,完全免费,无付费版本。
访问状态🔧 仅开源项目,无在线服务,需自行部署
是否开源是
开源协议MIT
主要语言Python
技术栈/模型chatbot,chunking,claude,gemini,langchain,llama-index,markdown,openai,pdf-converter,pdf-parser,pdf-to-markdown,rag
GitHub 星标★ 253
上线时间2025-02-13 00:00:00
代码更新2026-08-03
仓库体积1.2 MB
本站数据更新2026-11-09
维护状态低维护
收录时间2026-08-09
浏览次数4

项目介绍

smart-llm-loader 是一个轻量级 Python 包,用于将各种文档(PDF、Markdown 等)转换为适合 LLM 处理的文本块。它解决了 RAG、聊天机器人和文档问答等应用中常见的文档预处理痛点,如格式解析、文本清洗和智能分块。核心能力包括:自动识别文档结构、基于语义的分块策略、与 LangChain 和 LlamaIndex 等主流框架无缝集成,并支持 OpenAI、Claude、Gemini 等模型。通过简单的 API,开发者可以快速将原始文档转换为高质量的 LLM 输入,减少预处理时间,专注于核心应用逻辑。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整

数据来源:GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 253

核心亮点

  • 自动解析 PDF 和 Markdown,保留标题、列表等结构,分块更智能
  • 与 LangChain、LlamaIndex 直接集成,无需额外适配代码
  • 支持多模型(OpenAI/Claude/Gemini),灵活适配不同 LLM 场景

不足之处

  • 早期项目,文档和社区支持待观察
  • 对复杂表格和扫描版 PDF 的解析效果可能有限

适用场景

  • 构建 RAG 系统,快速处理本地文档库
  • 开发文档问答机器人,需要精准引用原文
  • 批量转换 PDF 报告为结构化 Markdown 供 LLM 分析

替代项目

unstructured、LlamaParse、langchain-text-splitters

上一篇:ThinkRAG

下一篇:DataChad

同类项目推荐

Awesome-FL 开源

一页看全联邦学习论文、框架与数据集

Comprehensive and timely academic information on federated learning (papers, framewo···

★ 2019 2026-10-04
Foxel 开源

自建私有云盘,用大白话就能搜到照片和文件

A highly extensible private cloud storage solution for individuals and teams, featur···

★ 1153 2026-10-11
geolook 开源

诊断优化一条龙,让 AI 推荐总能先想到你

Open-source end-to-end GEO implementation: status analysis, diagnosis, strategy, tic···

★ 809 2026-08-09
ChatKBQA 开源

用大模型生成+检索,让知识库问答更简单准确

[ACL 2024] Official resources of "ChatKBQA: A Generate-then-Retrieve Framework for K···

★ 339 2026-08-09
recursearch 开源

输入主题,自动搜索全网,生成带引用的研究报告。

An AI agent that searches the web and creates research reports

★ 52 2026-08-09
personal-ai-memory 开源

自动记住所有 AI 对话,本地私密搜索回顾

A local-first Chrome extension that passively captures ChatGPT, Gemini, Claude, Grok···

★ 71 2026-08-09
rag-ecosystem 开源

手把手拆解RAG每个零件,看完就能自己搭

Understand and code every important component of RAG architecture

★ 248 2026-08-09