gemma4-heretical
一条命令在本地跑通 31B 对话模型
项目预览
项目数据
项目介绍
Star 增长趋势
本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整
数据来源：GitHub API 逐日快照 · 收录于 2026-11-12 · 当前星标 ★ 141
核心亮点
- 提供一键安装脚本，自动完成模型拉取与启动，省去手动配置 Ollama/MLX 的步骤
- 内置 chat template 修正，解决本地部署后多轮对话和系统提示失效的常见痛点
- 同时覆盖 Ollama 与 MLX 两种后端，兼顾通用设备与 Apple Silicon 本地推理
不足之处
- 项目处于早期，星标与社区规模小，长期维护和问题响应待观察
- 以 Shell 脚本为主，Windows 原生环境支持有限，跨平台体验不完整
- 模型权重体积大，对硬件门槛要求高，低配设备难以实际运行
适用场景
- 在 Apple Silicon Mac 上用 MLX 本地跑通 31B 对话模型做效果验证
- 在带独立显卡的 Linux 机器上通过 Ollama 快速部署并测试多轮对话
- 研究者复现模型输出、对比不同量化版本对生成质量的影响
替代项目
ollama、llama.cpp、LM Studio
上一篇：cosmos-predict1
下一篇：steerling
同类项目推荐
BayLing-Speech
开源
让开源模型像GPT-4o一样自然流畅地语音对话
LLaMA-Omni is a low-latency and high-quality end-to-end speech interaction model bui···
awesome-harness-engineering
开源
一站式收藏AI智能体开发工具，快速上手构建生产级应用。
️ Awesome tools & guides for harness engineering.
audio-ai-hub
开源
音频 AI 研究资料一站式导航，想找什么都有门路
The hub for audio AI research: papers, open models, benchmarks & datasets across aud···
Awesome-Reasoning-Foundation-Mod···
开源
一站式追踪推理模型最新论文与基准
✨✨Latest Papers and Benchmarks in Reasoning with Foundation Models
RETFound
开源
拿医学影像直接预训练，少标注也能做AI诊断
Vision Foundation Models for Medical AI, including RETFound, DINOv2, DINOv3
Nitro-1
开源
一步生成高清图，让扩散模型快如闪电
This repo provides a working re-implementation of Latent Adversarial Diffusion Disti···
MiniMax-M2.1
开源
让AI Agent 更靠谱地干活，开发提效
MiniMax M2.1, a SOTA model for real-world dev & agents.
TokenFormer
开源
把参数变成 token，让 Transformer 按需扩展，省钱又灵活
[ICLR2025 Spotlight] Official Implementation of TokenFormer: Rethinking Transformer ···
ModernBERT
开源
让老牌 BERT 重获新生，长文本更快更准
Bringing BERT into modernity via both architecture changes and scaling