cavegemma

把大模型微调成开口就说穴居人语

开源 🏷️完全免费 🔧 仅开源项目,无在线服务,需自行部署 模型训练 🍴 复刻 15
GitHub ↗
GitHub 星标 ★ 123
维护状态 活跃
是否开源 开源
定价模式 🏷️完全免费 开源项目,模型权重免费发布于Hugging Face

项目预览

cavegemma 项目界面预览图
图片来源:GitHub 官方仓库名片

项目数据

分类模型训练
开发团队JuliusBrussee
定价模式🏷️完全免费
价格说明开源项目,模型权重免费发布于Hugging Face
访问状态🔧 仅开源项目,无在线服务,需自行部署
是否开源是
主要语言Python
技术栈/模型caveman,fine-tuning,gemma,llm,lora,qlora,style-transfer,unsloth
GitHub 星标★ 123
上线时间2026-05-16 00:00:00
代码更新2026-11-17
仓库体积172 KB
本站数据更新2026-11-20
维护状态活跃
收录时间2026-11-20
浏览次数0

项目介绍

cavegemma 是一个基于 LoRA/QLoRA 的模型微调实验项目,目标是把 Gemma 4 31B 大模型训练成原生使用「穴居人语」风格(caveman-mode)输出,即用极简、断句、去语法化的短词表达完整意思。项目用 Python 编写,技术栈包含 unsloth 加速微调、LoRA 低秩适配与风格迁移思路,参考了同名的 caveman 风格项目。它解决的是特定人格/语气风格难以靠提示词稳定复现的问题:通过小规模参数高效微调,让风格内化进模型权重,减少每次对话都要写大段 system prompt 的麻烦,同时保持基础模型能力。核心能力包括:提供可复现的微调脚本与数据构造流程、支持在单卡或有限显存下训练 31B 级模型、输出稳定的穴居人语气。适合作为 LoRA 风格微调的教学样例,或用于角色扮演、游戏 NPC 台词、极简文案等创意场景的风格化模型底座。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整

数据来源:GitHub API 逐日快照 · 收录于 2026-11-20 · 当前星标 ★ 123

技术标签

核心亮点

  • 用 unsloth + LoRA 在有限显存下微调 31B 模型,参数高效、成本可控
  • 风格内化进权重,比长 system prompt 更稳定,省去每次对话的提示词开销
  • 数据构造与训练脚本完整可复现,是学习风格迁移微调的清晰样例

不足之处

  • 项目仅 123 星,属早期实验,文档与社区支持有限
  • 31B 模型即使 LoRA 微调对显存仍有较高要求,普通消费级显卡难以直接跑通

适用场景

  • 角色扮演或游戏 NPC 需要固定穴居人语气的台词生成
  • 研究 LoRA 风格迁移、做小样本人格微调的教学实验
  • 为极简文案、创意短句类应用提供风格化模型底座

替代项目

unsloth、LLaMA-Factory、PEFT

上一篇:distillops

下一篇:没有了!

同类项目推荐

trl 开源

几行代码给大模型做 RLHF 对齐与偏好微调

Train transformer language models with reinforcement learning.

★ 19771 2026-09-20
miles_diffusion 开源

大规模扩散模型后训练与生产落地的工程框架

Miles-diffusion is an post-training framework for large-scale diffusion model traini···

★ 119 2026-10-29
Chattiori-Model-Merger 开源

按比例混合扩散模型,快速生成自定义风格模型

Merges latent diffusion models at a user-defined ratio

★ 53 2026-08-09
caret 开源

一套 R 接口统一训练调参数百种机器学习模型

caret (Classification And Regression Training) R package that contains misc function···

★ 1665 2026-10-31
train-deepseek-r1 开源

手把手从零实现 DeepSeek R1,看懂并跑通核心代码

Building DeepSeek R1 from Scratch

★ 809 2026-08-09
Unified-MoE-Compression 开源

给 MoE 模型瘦身,压缩后推理更快更省内存

The official implementation of the paper "Towards Efficient Mixture of Experts: A Ho···

★ 93 2026-08-09
ellora 开源

照着 Notebook 跑通 LoRA 微调与思维链蒸馏

Enhancing LLMs with LoRA

★ 231 2026-11-02
LLMtuner 开源

几行代码微调大模型,文本语音全覆盖

FineTune LLMs in few lines of code (Text2Text, Text2Speech, Speech2Text)

★ 251 2026-08-09
JacobiForcing 开源

让模型生成快数倍,质量不打折的并行解码新方案

[ICML 2026] Jacobi Forcing: Fast and Accurate Diffusion-style Decoding

★ 119 2026-08-09