picolm

在 10 美元开发板上跑 10 亿参数大模型，边缘 AI 也能玩转。

开源 🏷️完全免费 🔧 仅开源项目，无在线服务，需自行部署开源模型 🍴 复刻 271 🐛 待处理 23 👀 关注 31

访问官网 ↗ GitHub ↗

GitHub 星标 ★ 2219

维护状态低维护

是否开源开源

定价模式 🏷️完全免费开源项目，MIT许可证，完全免费，可自行部署运行。

项目预览

项目数据

分类开源模型

开发团队RightNow-AI

官网地址https://www.rightnowai.co/forge

GitHubhttps://github.com/RightNow-AI/picolm

定价模式🏷️完全免费

价格说明开源项目，MIT许可证，完全免费，可自行部署运行。

访问状态🔧 仅开源项目，无在线服务，需自行部署

是否开源是

开源协议MIT

主要语言C

技术栈/模型arm,embedded,inference,llm,openclaw,picoclaw,quantization,raspberry-pi,risc-v

GitHub 星标★ 2219

上线时间2026-02-19 00:00:00

代码更新2026-02-22

仓库体积297 KB

本站数据更新2026-11-10

维护状态低维护

收录时间2026-08-09

浏览次数8

项目介绍

picolm 是一个极轻量级的开源大语言模型推理引擎，专为在超低资源设备上运行 10 亿参数模型而设计，例如仅 256MB 内存、10 美元成本的开发板。它用 C 语言编写，核心目标是突破硬件限制，让 LLM 推理不再依赖昂贵的高性能计算资源。picolm 解决了边缘设备无法运行大模型的问题，通过极致的量化技术和内存优化，在微控制器级别的硬件上实现流畅的模型推理。其核心能力包括高效的模型加载、低内存占用、快速推理速度，以及针对 ARM 等嵌入式架构的深度优化。项目虽小，但五脏俱全，提供了完整的推理管线，适合嵌入式开发者和边缘 AI 爱好者探索。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整

数据来源：GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 2219

技术标签

embedded inference llm openclaw quantization

使用教程

难度：入门约 15 分钟部署方式：本地安装 5 步

环境要求

Linux / Raspberry Pi 环境，安装脚本会自动检测 ARM64、ARMv7、x86-64 三种平台
编译依赖 gcc、make、curl（一键安装脚本会自动安装）
一个 GGUF 格式的模型文件，例如脚本下载的 TinyLlama 1.1B Q4_K_M（638MB）
目标运行设备最低约 256MB 内存，如 9.90 美元的 LicheeRV Nano 开发板
安装阶段需要联网，运行推理阶段完全离线，不需要 Python、API Key 或云服务

安装与启动步骤

1一键安装 picolm

脚本自动检测平台、装 gcc/make/curl、编译、下载 TinyLlama 1.1B 模型并把 picolm 加入 PATH。
```
curl -sSL https://raw.githubusercontent.com/RightNow-AI/picolm/main/install.sh | bash
```
2跑第一次推理

把 GGUF 模型路径作为第一个参数，-p 给提示词，-n 控制生成的最大 token 数。
```
./picolm /opt/picolm/models/tinyllama-1.1b-chat-v1.0.Q4_K_M.gguf -p "The meaning of life is" -n 100
```
3用管道喂提示词

提示词既可用 -p 传入，也可通过 stdin 管道输入，-j 指定线程数，便于脚本调用。
```
echo "Explain gravity" | ./picolm /opt/picolm/models/tinyllama-1.1b-chat-v1.0.Q4_K_M.gguf -n 100 -j 4
```
4开启 JSON 输出

加 --json 进入语法约束的 JSON 输出模式，返回结果可直接被程序解析。
```
./picolm /opt/picolm/models/tinyllama-1.1b-chat-v1.0.Q4_K_M.gguf --json -p "Say hello" -n 50
```

5缓存长提示词

首次运行写入 KV 缓存，第二次执行同一条命令会跳过 prefill，README 称约快 74%。

./picolm /opt/picolm/models/tinyllama-1.1b-chat-v1.0.Q4_K_M.gguf --cache prompt.kvc -p "Long system prompt here..." -n 50
./picolm /opt/picolm/models/tinyllama-1.1b-chat-v1.0.Q4_K_M.gguf --cache prompt.kvc -p "Long system prompt here..." -n 50

关键配置

配置项	必填	说明	示例
`-p <prompt>`	否	输入提示词，也可改用 stdin 管道传入	`-p "Explain gravity"`
`-n <int>`	否	最大生成 token 数，默认 256	`-n 100`
`-t <float>`	否	温度，默认 0.8，设 0 为贪心解码	`-t 0.8`
`-k <float>`	否	Top-p 核采样，默认 0.9	`-k 0.9`
`-j <int>`	否	推理线程数，默认 4	`-j 4`
`--cache <file>`	否	KV 缓存文件，保存/加载提示词状态以跳过 prefill	`--cache prompt.kvc`

如何确认成功

终端能输出生成的文本即成功；使用 --cache 时第二次运行会打印 "Skipping N cached prompt tokens"。

常见问题

Q：支持哪些硬件平台？

A：安装脚本会自动检测 ARM64、ARMv7、x86-64 并选择对应 SIMD 编译参数，目标场景是 256MB 内存的 10 美元级开发板。

Q：模型文件从哪来？

A：一键安装脚本会自动下载 TinyLlama 1.1B Q4_K_M（638MB）；只要符合 GGUF 格式，也可以换成自己的模型文件。

Q：需要 Python 或联网吗？

A：不需要 Python，纯 C 实现、零依赖、单个二进制；只有安装阶段需要联网下载脚本和模型，推理过程完全离线。

Q：长提示词每次都很慢怎么办？

A：用 --cache prompt.kvc 复用同一条提示词，第一次写入缓存，后续运行跳过 prompt prefill，README 称约快 74%。

Q：picolm 和 PicoClaw 是什么关系？

A：picolm 是 PicoClaw 的本地大脑，负责 PicoClaw agent 循环中的 LLM 推理，两者组合成完全离线的 AI agent。

注意事项

运行推理不需要 API Key、云服务和月费，完全离线；仅安装阶段需要联网。
模型必须是 GGUF 格式，README 示例使用的是 TinyLlama 1.1B Q4_K_M。
安装脚本会改动 PATH 并生成 PicoClaw 配置文件。
编译针对本机 CPU 使用最佳 SIMD 参数，换设备需重新编译。

核心亮点

极致内存优化：256MB RAM 即可运行 10 亿参数模型，内存占用极低
纯 C 实现，无依赖，跨平台移植性极强，适合嵌入式环境
推理速度针对 ARM 架构深度优化，在低功耗设备上保持可用性能

不足之处

量化精度损失可能导致模型输出质量下降，不适合高精度任务
文档/社区待观察：项目较新，生态和教程相对有限

适用场景

嵌入式设备上的离线 AI 助手，如智能家居控制
教育领域低成本 AI 实验平台，用于教学演示
物联网边缘节点上的轻量级自然语言处理

替代项目

llama.cpp、TinyLlama、ONNX Runtime

上一篇：Ollamac

下一篇：ctransformers