smolmaxxing

让大模型跑进小设备,纯 C 轻量推理

开源 🏷️定价信息待确认 ⏳ 访问状态待核验 基础设施 🍴 复刻 44 🐛 待处理 4 👀 关注 6
访问官网 ↗ GitHub ↗
GitHub 星标 ★ 951
维护状态 活跃
是否开源 开源
定价模式 🏷️定价信息待确认

项目预览

smolmaxxing 项目界面预览图
图片来源:项目官网

项目数据

分类基础设施
开发团队hyperionaidev
定价模式🏷️定价信息待确认
价格说明定价信息待确认
访问状态⏳ 访问状态待核验
是否开源是
开源协议MIT
主要语言C
技术栈/模型edge-ai,llama-cpp,llama-cpp-alternative,llm,local-llm,local-llm-support,on-device,quantization,quantization-algorithms
GitHub 星标★ 951
上线时间2026-11-04 00:00:00
代码更新2026-11-13
仓库体积10.1 MB
本站数据更新2026-11-18
维护状态活跃
收录时间2026-11-18
浏览次数0

项目介绍

smolmaxxing 是一个用 C 语言编写的边缘端大模型推理项目,目标是在尽可能小的设备上运行不同 LLM。它针对内存和算力受限的嵌入式与移动场景,提供轻量推理运行时,并围绕量化算法做优化,让模型权重和中间激活占用更低,从而在低端硬件上也能完成文本生成。项目参考 llama.cpp 生态但尝试更激进的精简路线,强调可移植的纯 C 实现,便于交叉编译到资源受限平台。核心能力包括多模型格式适配、量化压缩、低内存推理调度,以及面向 on-device 本地推理的构建工具链。适合希望把 LLM 部署到离线终端、IoT 设备或小型主机的开发者做技术验证与二次开发。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整

数据来源:GitHub API 逐日快照 · 收录于 2026-11-18 · 当前星标 ★ 951

核心亮点

  • 纯 C 实现,依赖少,便于交叉编译到嵌入式与低端硬件
  • 聚焦量化算法优化,显著降低模型权重与运行时内存占用
  • 面向多模型适配,不绑定单一模型格式,便于横向对比部署

不足之处

  • 早期项目,文档与示例覆盖有限,上手需要一定 C 与推理底层经验
  • 生态与算子覆盖尚不及成熟推理框架,复杂模型支持待完善

适用场景

  • 在内存受限的 IoT 或嵌入式设备上做本地文本生成验证
  • 为离线终端设备集成轻量 LLM 推理能力
  • 研究不同量化方案在小设备上的精度与速度权衡

替代项目

llama.cpp、ggml、mlc-llm

上一篇:3FS

下一篇:inference-optimisation-skill

同类项目推荐

llm-d-kv-cache 开源

把大模型KV缓存拆到多机,省显存提吞吐

Distributed KV cache scheduling & offloading libraries

★ 196 2026-09-16
sonar 开源

多硬件加速的 LLM 推理引擎,让大模型跑得更快更省

Large-scale LLM inference engine

★ 1913 2026-08-10
LARS 开源

本地跑大模型,读你的文档,回答带引用

An application for running LLMs locally on your device, with your documents, facilit···

★ 634 2026-08-09
openclaw-dashboard 开源

一条命令起面板,看清每个 AI 智能体花了多少钱

A beautiful, zero-dependency command center for OpenClaw AI agents

★ 462 2026-10-01
sample-genai-on-eks-starter-kit 开源

在 EKS 上快速搭建生产级 GenAI 基础设施,省心省力

A comprehensive toolkit for deploying production-ready Generative AI infrastructure ···

★ 102 2026-08-09
polyaxon 开源

一站式管理AI实验、训练与部署,让团队协作更高效。

AI Infra / AI Orchestration / AI Control Plane

★ 3747 2026-08-09
tinylm 开源

在浏览器里直接跑大模型,离线也能用,接口兼容 OpenAI。

Browser based ML Inference | OpenAI compliant | Run models like DeepSeek, Llama 3.2,···

★ 61 2026-08-09
biniou 开源

一个界面搞定 30+ 生成式 AI,本地部署即开即用

a self-hosted webui for 30+ generative ai

★ 1154 2026-08-09