
Agent-RAG-LLM_deploy
C++ 部署 Agent+RAG+LLM,让大模型应用真正跑进生产环境
项目预览
项目数据
项目介绍
Star 增长趋势
本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整
数据来源:GitHub API 逐日快照 · 收录于 2026-10-02 · 当前星标 ★ 95
核心亮点
- 用 C++ 实现,相比纯 Python 方案在推理延迟和内存占用上更有优势
- 把 Agent、RAG、LLM 部署整合在一个项目里,减少多组件拼装成本
- 面向基础设施层,适合需要服务化、并发和资源控制的落地场景
不足之处
- 早期项目,文档和示例可能不够完整
- C++ 技术栈对普通算法团队有学习和维护门槛
适用场景
- 企业内部知识库问答系统的私有化部署
- 对延迟敏感的 LLM 推理服务搭建
- 需要将 Agent 能力嵌入现有 C++ 后端系统的场景
替代项目
llama.cpp、vLLM
同类项目推荐
InferrLM
开源
在手机本地跑 AI,无需联网,保护隐私
InferrLM - On-device AI for iOS & Android
spark-dashboard
开源
本地跑大模型,显卡和推理状态一屏看清
Real-time hardware and LLM inference monitoring — GPU, CPU, memory, and vLLM metric···
awesome-agent-apis
开源
一站式查找660+AI代理API,按能力快速筛选集成
660+ muapi-hosted generative-media models plus community-submitted third-party API t···
cinnamon
开源
监控机器学习数据漂移,早发现早修正,模型稳如磐石。
CinnaMon is a Python library which offers a number of tools to detect, explain, and ···
LLMLingua
开源
把长提示词压到1/20,推理更快更省钱
[EMNLP'23, ACL'24] To speed up LLMs' inference and enhance LLM's perceive of key inf···
zzz-api
开源
免海外账号和银行卡,直接调用 GPT/Claude/Gemini 等大模型 API
企业级稳定的OpenAI、Claude、Gemini等的API接口-For企业和开发者。OpenAI的api proxy,支···
website
开源
看官方文档,快速上手 KServe 模型部署
User documentation for KServe.
opennhp
开源
让未认证流量看不见,验证通过才放行
Make your infrastructure invisible to attackers. OpenNHP implements the Network-infr···
examples
开源
无服务器 GPU 部署示例集,快速上手 Cerebrium
Examples for Cerebrium Serverless GPUs