项目预览
项目数据
项目介绍
Star 增长趋势
本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整
数据来源：GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 64
核心亮点
- 零依赖纯 C 实现，部署简单，易于交叉编译
- 统一 SSD/RAM/VRAM 内存层次，智能调度，突破显存限制
- 支持多种主流 MoE 模型（GPT-OSS、GLM、DeepSeek、Qwen）
不足之处
- 项目处于早期，文档和社区生态待观察
- 推理速度可能受限于内存带宽，实际性能需验证
适用场景
- 个人开发者本地运行 100B+ MoE 模型进行实验
- 边缘设备或离线环境部署大模型推理服务
- 教育科研场景，低成本体验前沿模型
替代项目
llama.cpp、vLLM、Ollama
上一篇：tokenu
下一篇：langfuse-java
同类项目推荐
ollama-helm
开源
一条 helm 命令，把 Ollama 大模型服务部署进 K8s 集群
Helm chart for Ollama on Kubernetes
fastembed
开源
轻量快速生成文本向量，让嵌入计算快人一步
Fast, Accurate, Lightweight Python library to make State of the Art Embedding
sagemaker-genai-hosting-examples
开源
照着 Notebook 跑通大模型托管与推理
antfly
开源
用 Zig 打造高性能 RAG 智能体，快速实现知识库问答
awesome-open-source-data-enginee···
开源
一张清单，搞定数据工程选型
A curated list of open source tools used in analytics platforms and data engineering···
mlop
开源
一键记录实验，轻松对比模型，让机器学习实验管理更高效
Next Generation Experimental Tracking for Machine Learning Operations
scout_apm_ruby
开源
Ruby 应用性能探针，装上就能定位慢请求和慢 SQL
ScoutAPM Ruby Agent. Supports Rails, Sinatra, Grape, Rack, and many other frameworks
dud
开源
像管代码一样管数据，轻量级数据版本控制与管道工具
A lightweight CLI tool for versioning data alongside source code and building data p···
Ollama-For-AMD-Installer
开源
AMD 显卡一条命令装好 Ollama，直接跑本地大模型
This project simplifies the installation process of likelovewant's library, making i···