RustingStrata
纯 Rust 跑 Qwen 大模型，小显存也能快出词
项目预览
项目数据
项目介绍
Star 增长趋势
本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整
数据来源：GitHub API 逐日快照 · 收录于 2026-11-13 · 当前星标 ★ 224
核心亮点
- 纯 Rust 实现，无 C++ 运行时依赖，内存安全且部署简单
- CUDA 与 Vulkan 双后端覆盖 NVIDIA/AMD，支持 CPU+GPU 混合专家推理
- MTP 投机解码在 12GB RTX 3060 上解码速度约为 llama.cpp 的 1.7 倍
不足之处
- 项目仅 224 星，处于早期阶段，社区与文档积累有限
- 仅面向 Qwen 系列 GGUF 模型，模型覆盖面窄，通用性不足
适用场景
- 本地开发者在消费级显卡上部署 Qwen MoE 大模型做推理服务
- 需要 OpenAI/Anthropic 兼容接口的本地 LLM 应用后端
- 显存有限但想运行 770B+ MoE 模型的实验与研究场景
替代项目
llama.cpp、Ollama、vLLM
上一篇：MACaQ
下一篇：StartLux-Prism
同类项目推荐
clewdr
开源
一个入口统一转发多家大模型 API，高并发低延迟
High Performance LLM Reverse Proxy
infra
开源
让AI安全执行代码，秒级启动隔离沙箱
The runtime behind every E2B stack: Cloud, Enterprise, and your own machine.
headroom
开源
喂给 AI 之前先瘦身，每五次对话省一次钱
Compress tool outputs, logs, files, and RAG chunks before they reach the LLM. 20% fe···
llm-gateway
开源
一套接口接所有大模型，Agent 换供应商不用改代码
Open Source LLM Gateway
terraform-genai-rag
开源
填几个变量，云上 RAG 环境一键搭好
Deploys a Generative AI RAG solution
aimirror
开源
AI 模型下载提速 200 倍，告别漫长等待
200倍速！AI时代的下载神器 | Docker/PyPI/HuggingFace/CRAN 全加速 | 并行分片+智能缓存，···
chromadb-chart
开源
一条命令在 Kubernetes 上部署 ChromaDB，省心省力
Chart for deploying ChromaDB in Kubernetes
llm-d-inference-sim
开源
不装 GPU 不跑模型，秒起一个假 vLLM 服务
A lightweight, configurable, and real-time simulator designed to mimic the behavior ···
google-cloud-gcp-openai-api
开源
一行配置，把谷歌大模型变成 OpenAI 接口，无缝切换。
Drop-in replacement REST API for Vertex AI (PaLM 2, Codey, Gemini) that is compatibl···