项目预览
项目数据
项目介绍
Star 增长趋势
本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整
数据来源：GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 119
技术标签
核心亮点
- 统一接口对接多家主流 LLM，切换模型零成本
- 内置重试、超时和负载均衡，提升应用稳定性
- 提供可观测性集成，方便调试和监控 AI 调用
不足之处
- 项目早期，文档和社区生态待观察
- 功能覆盖可能不如 LangChain 等成熟框架全面
适用场景
- 需要对接多个 AI 提供商的后端服务
- 对 AI 调用可靠性和安全性要求高的生产环境
- 快速搭建 AI 应用原型并希望保留扩展性
替代项目
LangChain、LiteLLM、OpenAI Python SDK
同类项目推荐
qdrant
开源
上亿条数据秒级搜到最像的那条，AI 应用嗖嗖快
Qdrant - High-performance, massive-scale Vector Database and Vector Search Engine fo···
fastembed-js
开源
在 Node.js 里直接生成文本向量，告别 Python 服务
Generate vector embeddings in NodeJS
mistral.rs
开源
用 Rust 快速跑大模型，本地部署低延迟
Fast, flexible LLM inference
uzu
开源
用 Rust 打造超快本地音频 AI 推理，秒级生成声音
A high-performance inference engine for AI models
mcp-context-forge
开源
统一网关聚合 MCP/A2A/REST，让 Agent 调用更安全可控。
An AI Gateway, registry, and proxy that sits in front of any MCP, A2A, or REST/gRPC ···
pegainfer
开源
纯 Rust 直调 CUDA，OpenAI 接口跑大模型
Pure Rust + CUDA LLM inference engine — no PyTorch, OpenAI-compatible, serves Qwen3···
freellmpool
开源
一个接口聚合22家免费大模型，自动切换不怕挂
Free LLM gateway: 22 LLM providers, 178 enabled chat routes, 431 cataloged chat mode···
nuxt-llms
开源
自动为 Nuxt 站点生成 llms.txt，让 AI 读懂你的网站
Automatically generates /llms.txt markdown documentation for your Nuxt application.
LightLLM
开源
轻量部署 LLM，推理快人一步
LightLLM is a Python-based LLM (Large Language Model) inference and serving framewor···