picollm

让大模型在手机和嵌入式设备上流畅跑起来

picollm 是一个专注于设备端（on-device）大语言模型推理的开源项目，通过 X-Bit 量化技术实现高效的模型压缩与推理。它支持 Gemma、Llama 等主流模型架构，旨在让大模型在资源受限的设备上（如手机、嵌入式设备）流畅运行。项目提供 Python 接口，简化了模型加载、量化和推理流程，解决了端侧部署中内存占用大、计算速度慢的问题。其核心能力包括多级量化（如 2-bit、4-bit）、推理优化和跨平台支持，适合边缘计算场景。

开源 free 开源模型
访问官网 ↗ GitHub ↗ 文档 ↗
GitHub 星标 ★ 318
维护状态 较活跃
是否开源 是
定价模式 free

项目数据

分类开源模型
开发团队Picovoice
所属国家
官网地址https://picovoice.ai
GitHubhttps://github.com/Picovoice/picollm
定价模式free
价格说明开源项目，Apache-2.0许可，可免费使用和部署。
访问状态
是否开源是
开源协议Apache-2.0
主要语言Python
技术栈/模型compression,efficient-inference,gemma,generative-ai,language-model,language-models,large-language-model,llama,llama2,llama3,llm,llm-inference,llms,mistral,mixtral,model-compression,natural-language-processing,quantization,self-hosted
GitHub 星标★ 318
30天Star增速
HF 下载量
上线时间2024-04-09 00:00:00
最近更新2026-09-15 00:00:00
维护状态较活跃
中文支持
访问方式
移动端支持
综合评分
收录时间2026-08-09
浏览次数8

使用教程

核心亮点

  • 采用 X-Bit 量化技术，显著降低模型内存占用和计算需求
  • 支持 Gemma、Llama 等主流模型，兼容性较好
  • 提供简洁的 Python API，易于集成到端侧应用

不足之处

  • 项目处于早期阶段，文档和社区支持尚待完善
  • 量化精度可能影响模型输出质量，需权衡

适用场景

  • 在手机或平板上运行本地聊天助手
  • 嵌入式设备（如树莓派）上的离线智能问答
  • 隐私敏感场景下的本地模型推理

替代项目

llama.cpp、MLC LLM、ONNX Runtime

项目介绍

picollm 是基础设施领域的开源项目，由 Picovoice 开发，2024 年首次发布。

它收录于基础设施分类，该分类目前共有 1,132 个项目，GitHub 星标数为 318。

项目保持着较活跃的维护节奏，最近一次代码更新于 2026-09-15。Apache-2.0许可，可免费使用和部署。

它主要面向的使用场景是：在手机或平板上运行本地聊天助手。同类可对比的替代方案包括 llama.cpp、MLC LLM、ONNX Runtime。

上一篇：LLM-API-Key-Proxy

下一篇：ai-gateway

同类项目推荐

freebuff-proxy 开源

聚合多账号，一键接入 OpenAI 兼容 API，轻松管理会话。

Multi-account OpenAI-compatible gateway for coding models. Pooled keys, session life···

★ 213 2026-08-20
microduck 开源

用 Rust 造一只会走路的桌面小鸭，快速上手双足机器人。

A Tiny biped duck robot

★ 8684 2026-09-10
soperator 开源

用 Kubernetes 原生方式运行 Slurm，简化 HPC 集群管理。

Run Slurm in Kubernetes

★ 439 2026-08-10
ollama 开源

一条命令本地跑起大模型，免费、私密、不卡顿

Get up and running with Kimi, GLM, MiniMax, DeepSeek, gpt-oss, Qwen, Gemma and other···

★ 181484 2026-08-09