项目预览
项目数据
项目介绍
Star 增长趋势
本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整
数据来源：GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 921
使用教程
ℹ 本教程由 AI 依据该项目 README 整理，个别步骤可能需要按你的环境微调。
环境要求
- GPU（9B 建议 24GB 以上）
- 较新的 PyTorch/transformers
安装与启动步骤
-
1看模型矩阵
仓库发布 2B 与 9B 两档，覆盖不同训练阶段，按显存选。
-
2装推理环境
多模态模型需要较新的 transformers，建议单独环境。
-
3跑推理示例
用官方示例脚本喂图文输入，确认权重加载与输出格式。
-
4微调
要接自有数据就从中间阶段权重起微调，比从头训省几个数量级。
如何确认成功
示例能输出合理描述，显存不爆。
注意事项
- 不同阶段的权重用途不同，SFT 后的版本才适合直接对话。
核心亮点
- 原生多模态架构，不依赖外部视觉编码器，设计更统一
- 强调从第一性原理出发，训练流程和模型设计文档清晰
- 开源代码与权重，便于复现和二次开发
不足之处
- 项目处于早期，文档和社区支持待观察
- 模型规模和性能尚未经过大规模基准验证
适用场景
- 学术研究：探索视觉语言模型的架构设计与训练方法
- 多模态应用开发：快速构建图像问答、图文理解原型
- 教学演示：理解多模态模型从数据到训练的完整流程
替代项目
LLaVA、Qwen-VL、InternVL
同类项目推荐
BreezeApp
开源
手机离线跑多种AI模型，开发者可轻松自建端侧应用
BreezeAPP 是一款為 Android 和 iOS 平台開發的純手機 AI 應用程式。從 App Store下載，即···
Dimple
开源
用离散扩散并行生成文本，让多模态大模型不再逐字挤牙膏
Dimple, the first Discrete Diffusion Multimodal Large Language Model
Vietnamese_LLMs
开源
用开源模型微调出能说越南语的AI助手
Dự án bao gồm: 1. Xây dựng bộ dữ Instructions Vietnamese (chất lượng, nhiề···
awesome-harness-engineering
开源
一站式收藏AI智能体开发工具，快速上手构建生产级应用。
️ Awesome tools & guides for harness engineering.
mlx-lm
开源
在 Mac 上本地跑大模型，不买显卡也能流畅推理微调
Run LLMs with MLX
ChatLM-mini-Chinese
开源
0.2B小模型跑通中文对话全流程，从数据到RLHF一步到位
中文对话0.2B小模型（ChatLM-Chinese-0.2B），开源所有数据集来源、数据清洗、tokenizer训···
TokenFlow
开源
一个分词器同时搞定图像理解和生成，统一多模态。
[CVPR 2025] Official impl. of "TokenFlow: Unified Image Tokenizer for Multimodal Un···
Awesome-Interactive-World-Model
开源
一张地图看懂交互式世界模型研究，快速跟上前沿。
Interactive World Model papers organized by core research challenges.
Chinese-LLaMA-Alpaca
开源
让 LLaMA 说好中文，消费级硬件也能训练部署
中文LLaMA&Alpaca大语言模型+本地CPU/GPU训练部署 (Chinese LLaMA & Alpaca LLMs)