项目预览
项目数据
项目介绍
Star 增长趋势
本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整
数据来源：GitHub API 逐日快照 · 收录于 2026-09-16 · 当前星标 ★ 332
核心亮点
- 用 Rust 实现，兼顾性能与内存安全，适合长期维护的基础设施
- 同时覆盖推理、LoRA/QLoRA 微调、量化、服务和蒸馏，工具链较完整
- 针对 Apple Silicon 的 Metal 与 ANE 做专门加速，发挥 M 系列芯片优势
不足之处
- 项目早期，文档和示例可能不够完善
- 社区规模小，遇到问题可参考的案例和讨论有限
适用场景
- 在 Mac 上本地部署私有 LLM，处理敏感数据不出本机
- 用 LoRA/QLoRA 对开源模型做轻量微调并快速验证效果
- 把本地模型封装成推理服务，供内部工具或应用调用
替代项目
llama.cpp、MLX、Ollama
上一篇：toshllm
同类项目推荐
comfyui-model-linker
开源
一键补全 ComfyUI 缺失模型，自动匹配下载，告别报错。
Relink missing models in ComfyUI workflows with fuzzy matching, and download them fr···
LongMemory
开源
给 AI 应用装上本地长期记忆，告别每次对话都失忆
Local persistent memory store for LLM applications including claude desktop, github ···
hopsworks
开源
管好特征，让 AI 模型开发又快又稳
Hopsworks - Data-Intensive AI platform with a Feature Store
whylogs-java
开源
用 Java 给 ML 数据管道做实时体检，早发现数据漂移
Profile and monitor your ML data pipeline end-to-end
C-SSH
开源
跨平台 SSH 运维，持久会话+AI 助手，免费开源
C-SSH 0.9.7 · Windows / macOS / Linux / Android · SSH, RDP, concurrent AI, server ···
gigatoken
开源
用 Rust 把分词速度拉到 GB/s，告别数据预处理瓶颈
Language model tokenization at GB/s
HyperQwen
开源
24G 消费卡跑 27B 大模型，吞吐翻倍
Serve large Qwen models fast on the GPUs you actually own. Qwen3.8-27B on a single 2···
dinotty
开源
让 AI 代理在服务器上拥有持久终端，多设备随时接入
Multi-device terminal server for AI coding agents. Server-side VTE, session persiste···
stable-fast
开源
让 Stable Diffusion 在 NVIDIA GPU 上跑出数倍速度，无需改代码。
https://wavespeed.ai/ Best inference performance optimization framework for HuggingF···