项目预览
项目数据
项目介绍
Star 增长趋势
本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整
数据来源：GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 624
技术标签
使用教程
环境要求
- Rust 工具链（自建时）
- NVIDIA 显卡
- 对应格式的模型权重
安装与启动步骤
-
1下发布版或自建
官方给编译好的二进制，要改代码再用 Rust 工具链编。
-
2准备模型权重
只认这一家的模型格式，权重要先转换好放进指定目录。
-
3改配置起服务
配置文件里指定模型路径与监听地址，启动后看日志确认加载成功。
-
4用兼容接口对话
它对外是标准兼容接口，现有客户端改地址即可。
-
5叠嵌入与检索
内置嵌入与检索能力，做本地知识问答不用再拼外部组件。
如何确认成功
用任意兼容客户端指向本地地址能流式对话，且嵌入接口能返回向量
注意事项
- 它只跑这一家的模型，不是通用推理服务，选型前先确认模型是否够用。
- 权重格式与主流生态不通用，转换步骤不能省。
- Rust 实现资源占用低，长期常驻比 Python 方案省心。
- 自建编译对工具链版本有要求。
核心亮点
- Rust 实现，内存安全且推理性能高，资源占用低
- 兼容 OpenAI API，可无缝替换现有 ChatGPT 类应用后端
- 内置 RAG 和嵌入支持，开箱即用，无需额外组件
不足之处
- 早期项目，文档和生态尚不完善，需自行摸索
- 仅支持 RWKV 模型，不适用于其他主流 LLM 架构
适用场景
- 本地部署 RWKV 模型，提供 OpenAI 兼容的聊天 API
- 构建基于私有知识库的问答系统，利用内置 RAG 能力
- 开发轻量级 AI 代理，执行工具调用或任务编排
替代项目
llama.cpp、vLLM、text-generation-webui
同类项目推荐
meridian
开源
把 Claude Max 订阅用到所有 AI 编程工具里，省心省钱
Use Claude and Antigravity with Pi, OpenCode and other coding clients. Local API bri···
testkube
开源
在 Kubernetes 上统一运行和管理所有测试，让 AI 工程交付更稳更快。
☸️ The Open Testing Platform for AI-Driven Engineering Teams
YourMemory
开源
让 AI 像人一样记住该记的，忘掉该忘的
Agentic AI memory with Ebbinghaus forgetting curve decay. +16pp better recall than M···
ChatGPTReversed
开源
免费逆向 ChatGPT 网页版，一键转成标准 API 调用
Free ChatGPT API reversed and simplified
aisix
开源
用 Rust 打造的统一 AI 网关，一套 API 接入所有主流大模型。
Open-source AI gateway for LLMs & AI agents, built in Rust. One OpenAI-compatible AP···
Dormice
开源
自托管持久沙箱，闲置零成本，兼容 E2B 即插即用
The SQLite of agent sandboxes — self-hosted, E2B-compatible. One machine, sandboxes···
docker-containers
开源
拉取即用，快速搭建 fast.ai 深度学习环境
Docker images for fastai
sqlite-ml
开源
在 SQLite 里跑机器学习，用 SQL 直接训练和预测
An SQLite extension for machine learning
chatgpt2api
开源
逆向ChatGPT官网，白嫖文本和图像生成，兼容OpenAI接口，批量管理号池。
ChatGPT官网接口纯协议的逆向实现，支持注册机维持号池额度，支持GPT-Image-2模型、文本模···