项目预览
项目数据
分类开发框架
开发团队jeremychone
所属国家
定价模式free
价格说明开源免费,需自行部署
访问状态
是否开源是
开源协议Apache-2.0
主要语言Rust
技术栈/模型
GitHub 星标★ 910
30天Star增速
HF 下载量
上线时间2024-06-01 00:00:00
代码更新—
仓库体积—
本站数据更新—
维护状态活跃
中文支持
访问方式
移动端支持
综合评分
收录时间2026-10-19
浏览次数0
项目介绍
Star 增长趋势
本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整
正在加载星标数据…
技术标签
使用教程
—
核心亮点
- 统一抽象覆盖十余家主流供应商,切换模型只需改配置而非重写代码
- Rust 类型系统与异步生态带来编译期安全和较低运行时开销
- 支持流式响应与工具调用等现代 LLM 交互模式,贴近实际 Agent 需求
不足之处
- 早期项目,各供应商适配深度和边界情况覆盖可能不一致
- 文档与社区规模尚小,遇到冷门 API 行为时排查成本较高
适用场景
- Rust 后端服务中按成本或延迟动态路由到不同模型供应商
- 构建多模型对比评测或 A/B 测试工具
- CLI 或 Agent 应用需要统一接入本地 Ollama 与云端 API
替代项目
litellm、langchain
上一篇:genai-processors
下一篇:go-genai
同类项目推荐
dsh-our-free-model
开源
装个插件就能免密钥白嫖前沿大模型,不限量
在 dsh 里装上这个插件即可,无需登录、注册或填 API Key,就能使用包括 DeepSeek V4.1 Fl···
ComfyUI-sol-attn
开源
在 ComfyUI 中让视频生成注意力更快更省显存
NVIDIA Sol-Attn for ComfyUI / Triton kernel on SM89 - SM121, with zero-copy MiniMax ···
langchain
开源
组装 AI 应用的乐高积木,从想法到上线不换工具
The agent engineering platform.
transformers
开源
全球最大的模型仓库全家桶,想用的模型一把抓
Transformers: the model-definition framework for state-of-the-art machine learning m···
