onebitllms

小显存也能训练1.58bit三值大模型

onebitllms 是一个轻量级 Python 工具包，专注于训练和微调 1.58bit 量化语言模型。传统大模型动辄需要数十 GB 显存，普通开发者难以在消费级显卡上训练或微调。该项目通过极低比特量化（约 1.58bit，即三值权重 -1/0/1）大幅压缩模型体积与计算开销，让单卡甚至小显存设备也能跑通训练与微调流程。核心能力包括：提供简洁的训练与微调接口，封装量化模型的前向与反向逻辑，降低从零搭建三值网络的门槛。它适合作为研究极低比特训练可行性的实验底座，也方便个人开发者在有限算力下验证想法。项目处于早期阶段，代码量小、依赖轻，便于阅读和二次改造，但生态与文档尚在完善中。

开源 free 模型训练
访问官网 ↗ GitHub ↗ 文档 ↗
GitHub 星标 ★ 149
维护状态 维护中
是否开源 是
定价模式 free

项目数据

分类模型训练
开发团队tiiuae
所属国家
官网地址
GitHubhttps://github.com/tiiuae/onebitllms
定价模式free
价格说明开源免费工具包，无在线服务
访问状态
是否开源是
开源协议NOASSERTION
主要语言Python
技术栈/模型
GitHub 星标★ 149
30天Star增速
HF 下载量
上线时间2025-04-16 00:00:00
最近更新2026-08-26 00:00:00
维护状态维护中
中文支持
访问方式
移动端支持
综合评分
收录时间2026-09-16
浏览次数0

使用教程

核心亮点

  • 专注1.58bit三值量化训练，显存占用远低于常规FP16训练
  • Python轻量工具包，接口简洁，易于阅读和二次开发
  • 覆盖训练与微调两条链路，适合做极低比特实验的起点

不足之处

  • 项目处于早期，文档和示例较少，上手需读源码
  • 社区规模小，缺少预训练权重和成熟生态支持

适用场景

  • 个人开发者用单张消费级显卡实验三值模型训练
  • 研究人员验证1.58bit量化对模型效果的影响
  • 小团队在有限算力下微调轻量语言模型做原型验证

替代项目

bitsandbytes、GPTQ-for-LLaMa

项目介绍

onebitllms 是一个模型训练领域的开源项目，官方简介：Lightweight toolkit package to train and fine-tune 1.58bit Language models。项目使用 Python 开发，在 GitHub 上获得 149 星标。

上一篇：MLX-LoRA-Studio

下一篇：Awesome-Parameter-Efficient-Fine-Tuning-for-Foundation-Models

同类项目推荐

Long-RL 开源

让强化学习轻松驾驭超长序列，训练更稳更快

Long-RL: Scaling RL to Long Sequences (NeurIPS 2025)

★ 729 2026-08-09
TPA 开源

把注意力复杂度从平方降到线性，长序列不再卡顿

[NeurIPS 2025 Spotlight] TPA: Tensor ProducT ATTenTion Transformer (https://arxiv.or···

★ 463 2026-08-09
minimind 开源

两小时造出你的小模型，练手入门不求人

Train a 64M-parameter LLM from scratch in just 2h!

★ 61327 2026-08-09
pruna 开源

一键优化 AI 模型，推理提速又省资源。

Pruna is a model optimization framework built for developers, enabling you to delive···

★ 1279 2026-08-13