rust-genai

一套 Rust 接口,随时切换十多家大模型

开源 free 开发框架
访问官网 ↗ GitHub ↗ 文档 ↗
GitHub 星标 ★ 910
维护状态 活跃
是否开源 是
定价模式 free

项目预览

项目数据

分类开发框架
开发团队jeremychone
所属国家
官网地址
定价模式free
价格说明开源免费,需自行部署
访问状态
是否开源是
开源协议Apache-2.0
主要语言Rust
技术栈/模型
GitHub 星标★ 910
30天Star增速
HF 下载量
上线时间2024-06-01 00:00:00
代码更新—
仓库体积—
本站数据更新—
维护状态活跃
中文支持
访问方式
移动端支持
综合评分
收录时间2026-10-19
浏览次数0

项目介绍

rust-genai 是一个用 Rust 编写的多供应商生成式 AI 客户端库,目标是把 Ollama、OpenAI、Anthropic、Gemini、DeepSeek、ZAI、OpenRouter、FireworksAI、xAI/Grok、Groq 等不同厂商的 API 统一到一套 Rust 接口下。它解决的核心问题是:开发者切换模型供应商时不必重写调用逻辑,也不用为每家 SDK 维护不同风格的类型和错误处理。项目提供统一的请求/响应抽象、流式输出、对话与工具调用等常见能力,并借助 Rust 的类型系统和异步生态保证编译期安全与运行时性能。适合需要在后端服务、CLI 工具或 Agent 系统中灵活切换模型、又希望保持单一技术栈的 Rust 团队,也可作为多模型路由层的基础组件。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整

正在加载星标数据…

技术标签

使用教程

—

核心亮点

  • 统一抽象覆盖十余家主流供应商,切换模型只需改配置而非重写代码
  • Rust 类型系统与异步生态带来编译期安全和较低运行时开销
  • 支持流式响应与工具调用等现代 LLM 交互模式,贴近实际 Agent 需求

不足之处

  • 早期项目,各供应商适配深度和边界情况覆盖可能不一致
  • 文档与社区规模尚小,遇到冷门 API 行为时排查成本较高

适用场景

  • Rust 后端服务中按成本或延迟动态路由到不同模型供应商
  • 构建多模型对比评测或 A/B 测试工具
  • CLI 或 Agent 应用需要统一接入本地 Ollama 与云端 API

替代项目

litellm、langchain

上一篇:genai-processors

下一篇:go-genai

同类项目推荐

dsh-our-free-model 开源

装个插件就能免密钥白嫖前沿大模型,不限量

在 dsh 里装上这个插件即可,无需登录、注册或填 API Key,就能使用包括 DeepSeek V4.1 Fl···

★ 23542 2026-10-04
ComfyUI-sol-attn 开源

在 ComfyUI 中让视频生成注意力更快更省显存

NVIDIA Sol-Attn for ComfyUI / Triton kernel on SM89 - SM121, with zero-copy MiniMax ···

★ 155 2026-08-09
langchain 开源

组装 AI 应用的乐高积木,从想法到上线不换工具

The agent engineering platform.

★ 148017 2026-08-09
transformers 开源

全球最大的模型仓库全家桶,想用的模型一把抓

Transformers: the model-definition framework for state-of-the-art machine learning m···

★ 167809 2026-08-09