llama.cpp-omni

用 C/C++ 在本地跑多模态模型推理

开源 🏷️完全免费 🔧 仅开源项目,无在线服务,需自行部署 基础设施 🍴 复刻 107 🐛 待处理 21 👀 关注 6
GitHub ↗
GitHub 星标 ★ 323
维护状态 活跃
是否开源 开源
定价模式 🏷️完全免费 开源免费,需自行编译部署

项目预览

llama.cpp-omni 项目界面预览图
图片来源:GitHub 官方仓库名片

项目数据

分类基础设施
开发团队tc-mb
定价模式🏷️完全免费
价格说明开源免费,需自行编译部署
访问状态🔧 仅开源项目,无在线服务,需自行部署
是否开源是
开源协议MIT
主要语言C++
GitHub 星标★ 323
上线时间2026-02-01 00:00:00
代码更新2026-11-21
仓库体积54.7 MB
本站数据更新2026-11-22
维护状态活跃
收录时间2026-11-22
浏览次数0

项目介绍

llama.cpp-omni 是基于 llama.cpp 生态的 C/C++ 推理项目,目标是在本地以纯 C/C++ 方式运行多模态(omni)模型推理,把文本、语音、视觉等不同模态的输入输出统一到一套轻量推理框架中。它解决的是多模态模型部署依赖重型 Python 栈、显存与依赖管理复杂的问题,通过 C/C++ 实现降低运行时开销,便于在边缘设备、嵌入式或资源受限环境中落地。核心能力包括:复用 llama.cpp 的量化与 GGML 后端,支持 CPU 及多种加速后端;提供统一的多模态推理入口,减少为每种模态单独搭建服务的成本;保持单文件或轻量构建的部署形态,方便集成到现有 C++ 工程。项目目前处于早期阶段,星标数较少,接口与支持模型范围仍在演进,适合关注本地多模态推理底层实现、愿意参与共建的开发者评估使用。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整

数据来源:GitHub API 逐日快照 · 收录于 2026-11-22 · 当前星标 ★ 323

核心亮点

  • 复用 llama.cpp 的 GGML 量化与后端体系,CPU 与多种加速后端可共用一套推理路径
  • 纯 C/C++ 实现,运行时依赖少,便于嵌入边缘设备或已有 C++ 工程
  • 统一多模态推理入口,避免为文本、语音、视觉分别维护独立服务

不足之处

  • 项目处于早期,支持的多模态模型范围与接口稳定性有待观察
  • 文档与社区规模较小,遇到问题可参考的案例和讨论有限

适用场景

  • 在资源受限的边缘设备上部署本地多模态推理
  • 将多模态能力集成进已有 C++ 应用而不引入 Python 运行时
  • 研究 llama.cpp 生态下多模态推理的底层实现与量化方案

替代项目

llama.cpp、whisper.cpp、mlc-llm

上一篇:Awesome-LLM-Inference-Engine

下一篇:没有了!

同类项目推荐

model-compose 开源

一个 YAML 文件,快速部署生产级 AI 服务,随处运行。

Declarative AI pipelines in one YAML file. Tokens, audio chunks, and video frames fl···

★ 118 2026-08-09
KsanaDiT 开源

让视频生成模型推理更快,部署更省心

KsanaDiT: High-Performance DiT (Diffusion Transformer) Inference Framework for Video···

★ 64 2026-08-09
MLOpsTemplate 开源

一键搭建标准化MLOps流水线,快速落地生产

Providing tools and templates to facilitate modern MLOps practices

★ 90 2026-08-09
dagster-mflix-demo 开源

用 Dagster 跑通电影数据 ELT,快速上手现代数据栈

Sample ELT project using Dagster, data load tool and Snowflake

★ 56 2026-08-09
finn 开源

把量化神经网络自动编译成 FPGA 数据流硬件

Dataflow compiler for QNN inference on FPGAs

★ 1093 2026-11-08
aligned 开源

像 DBT 管数仓一样,理清 ML 数据依赖,减少技术债

The DBT of ML, as Aligned describes data dependencies in ML systems, and reduce tech···

★ 61 2026-08-09
llmtrace 开源

零代码给 OpenAI API 加安全盾,实时防注入、扫隐私、控成本

Zero-code LLM security & observability proxy. Real-time prompt injection detection, ···

★ 54 2026-08-09
mljet 开源

一行命令把 ML 模型变成 HTTP 服务

Minimalistic ML-models auto deployment tool

★ 69 2026-08-09
boxlite 开源

给 AI 智能体一个微型安全沙箱,轻量到能装进笔记本,弹性到能撑起云。

The micro-VM for AI agents — light enough to embed on your laptop, elastic enough t···

★ 2682 2026-08-09