Agent-RAG-LLM_deploy

C++ 部署 Agent+RAG+LLM,让大模型应用真正跑进生产环境

开源 🏷️完全免费 🔧 仅开源项目,无在线服务,需自行部署 基础设施
GitHub ↗
GitHub 星标 ★ 95
维护状态 维护中
是否开源 开源
定价模式 🏷️完全免费 开源项目,免费使用

项目预览

Agent-RAG-LLM_deploy 项目界面预览图
图片来源:GitHub 官方仓库名片

项目数据

分类基础设施
开发团队nousername33
定价模式🏷️完全免费
价格说明开源项目,免费使用
访问状态🔧 仅开源项目,无在线服务,需自行部署
是否开源是
主要语言C++
GitHub 星标★ 95
上线时间2026-05-12 00:00:00
代码更新2026-09-04
仓库体积80.6 MB
本站数据更新2026-11-15
维护状态维护中
收录时间2026-10-02
浏览次数2

项目介绍

Agent-RAG-LLM_deploy 是一个面向大模型应用部署的基础设施项目,核心目标是把 Agent、RAG(检索增强生成)和 LLM 推理服务整合成一套可落地的部署方案。项目使用 C++ 编写,说明它更关注推理性能、资源占用和底层控制,而不是只做 Python 层的胶水封装。它试图解决从原型到生产之间的部署断层:很多 RAG 或 Agent 示例只能跑在 notebook 里,缺少稳定的服务化、并发处理和模型加载机制。该项目提供模型部署、检索增强和智能体调度相关的基础能力,适合需要把 LLM 能力嵌入现有系统、又对延迟和资源有要求的团队。当前星标约 101,属于早期项目,但方向明确,适合作为自研部署方案的参考或起点。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整

数据来源:GitHub API 逐日快照 · 收录于 2026-10-02 · 当前星标 ★ 95

核心亮点

  • 用 C++ 实现,相比纯 Python 方案在推理延迟和内存占用上更有优势
  • 把 Agent、RAG、LLM 部署整合在一个项目里,减少多组件拼装成本
  • 面向基础设施层,适合需要服务化、并发和资源控制的落地场景

不足之处

  • 早期项目,文档和示例可能不够完整
  • C++ 技术栈对普通算法团队有学习和维护门槛

适用场景

  • 企业内部知识库问答系统的私有化部署
  • 对延迟敏感的 LLM 推理服务搭建
  • 需要将 Agent 能力嵌入现有 C++ 后端系统的场景

替代项目

llama.cpp、vLLM

上一篇:muninndb

下一篇:WaLiAPI

同类项目推荐

InferrLM 开源

在手机本地跑 AI,无需联网,保护隐私

InferrLM - On-device AI for iOS & Android

★ 115 2026-08-09
spark-dashboard 开源

本地跑大模型,显卡和推理状态一屏看清

Real-time hardware and LLM inference monitoring — GPU, CPU, memory, and vLLM metric···

★ 143 2026-11-11
awesome-agent-apis 开源

一站式查找660+AI代理API,按能力快速筛选集成

660+ muapi-hosted generative-media models plus community-submitted third-party API t···

★ 1070 2026-09-03
cinnamon 开源

监控机器学习数据漂移,早发现早修正,模型稳如磐石。

CinnaMon is a Python library which offers a number of tools to detect, explain, and ···

★ 78 2026-08-09
LLMLingua 开源

把长提示词压到1/20,推理更快更省钱

[EMNLP'23, ACL'24] To speed up LLMs' inference and enhance LLM's perceive of key inf···

★ 6823 2026-09-16
zzz-api 开源

免海外账号和银行卡,直接调用 GPT/Claude/Gemini 等大模型 API

企业级稳定的OpenAI、Claude、Gemini等的API接口-For企业和开发者。OpenAI的api proxy,支···

★ 991 2026-08-09
website 开源

看官方文档,快速上手 KServe 模型部署

User documentation for KServe.

★ 113 2026-08-09
opennhp 开源

让未认证流量看不见,验证通过才放行

Make your infrastructure invisible to attackers. OpenNHP implements the Network-infr···

★ 13956 2026-10-17
examples 开源

无服务器 GPU 部署示例集,快速上手 Cerebrium

Examples for Cerebrium Serverless GPUs

★ 526 2026-08-09