local-LLM-with-RAG 是搜索知识领域的开源项目，由 amscotti 开发，2023 年首次发布。
它收录于搜索知识分类，该分类目前共有 585 个项目，GitHub 星标数为 286。
项目仍在小幅维护中，最近一次代码更新于 2026-08-30。MIT许可证，本地部署，完全免费。
它主要面向的使用场景是：企业内部知识库问答，保护敏感数据不外传。同类可对比的替代方案包括 LangChain、LlamaIndex、privateGPT。
local-LLM-with-RAG
本地跑大模型，私有文档秒变智能问答助手
这是一个基于本地大语言模型（LLM）与检索增强生成（RAG）技术的对话助手项目。它旨在解决在完全本地环境中运行LLM并进行知识库问答的需求，避免数据外泄和云端依赖。项目核心能力包括：集成Ollama运行Mistral等本地模型，利用LangChain或Pydantic AI构建RAG流程，支持文档嵌入与向量检索，实现基于私有文档的智能问答。通过结合agentic AI理念，它还能进行多步推理和工具调用，提升回答的准确性和上下文相关性。项目代码清晰，适合作为学习本地RAG落地的参考，也方便开发者快速搭建自己的本地知识助手。
开源
free
对话助手
GitHub 星标
★ 286
维护状态
维护中
是否开源
是
定价模式
free
项目数据
分类对话助手
开发团队amscotti
所属国家
定价模式free
价格说明开源项目，MIT许可证，本地部署，完全免费。
访问状态
是否开源是
开源协议MIT
主要语言Python
技术栈/模型agentic,agentic-ai,agentic-rag,chatbot,embeddings,langchain,llm,mistral,ollama,pydantic-ai,python,rag,retrieval-augmented-generation,streamlit
GitHub 星标★ 286
30天Star增速
HF 下载量
上线时间2023-11-05 00:00:00
最近更新2026-08-30 00:00:00
维护状态维护中
中文支持
访问方式
移动端支持
综合评分
收录时间2026-08-09
浏览次数3
使用教程
核心亮点
- 完全本地化部署，数据不出内网，隐私安全有保障
- 集成Ollama和Mistral，模型下载与运行一键搞定
- 融合LangChain与Pydantic AI，支持agentic多步推理，回答更智能
不足之处
- 早期项目，文档和社区支持尚待完善
- 依赖本地硬件资源，低配机器运行大模型可能卡顿
适用场景
- 企业内部知识库问答，保护敏感数据不外传
- 个人离线使用，在无网络环境下查询本地文档
- 开发者快速搭建本地RAG原型，验证agentic检索效果
替代项目
LangChain、LlamaIndex、privateGPT
项目介绍
上一篇：gamewiki
下一篇：DiscovAI-search
同类项目推荐
firecrawl
开源
网页抓取像喝水一样简单，开发者省下整周加班
The web data API to search, scrape, and interact at scale.
contoso-chat
开源
一键跑通 Azure RAG 应用，从代码到评估部署全流程
This sample has the full End2End process of creating RAG application with Prompty an···
graphify
开源
整个代码库画成一张图，找问题一眼定位
Turn any codebase, with its docs, SQL schemas, configs, and PDFs, into a queryable k···
ragflow
开源
让大模型用上你的私有知识，搭建可靠的企业级RAG应用
RAGFlow is a leading open-source Retrieval-Augmented Generation (RAG) engine that fu···