
llama.cpp-omni
用 C/C++ 在本地跑多模态模型推理
项目预览
项目数据
项目介绍
Star 增长趋势
本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整
数据来源:GitHub API 逐日快照 · 收录于 2026-11-22 · 当前星标 ★ 323
核心亮点
- 复用 llama.cpp 的 GGML 量化与后端体系,CPU 与多种加速后端可共用一套推理路径
- 纯 C/C++ 实现,运行时依赖少,便于嵌入边缘设备或已有 C++ 工程
- 统一多模态推理入口,避免为文本、语音、视觉分别维护独立服务
不足之处
- 项目处于早期,支持的多模态模型范围与接口稳定性有待观察
- 文档与社区规模较小,遇到问题可参考的案例和讨论有限
适用场景
- 在资源受限的边缘设备上部署本地多模态推理
- 将多模态能力集成进已有 C++ 应用而不引入 Python 运行时
- 研究 llama.cpp 生态下多模态推理的底层实现与量化方案
替代项目
llama.cpp、whisper.cpp、mlc-llm
上一篇:Awesome-LLM-Inference-Engine
下一篇:没有了!
同类项目推荐
model-compose
开源
一个 YAML 文件,快速部署生产级 AI 服务,随处运行。
Declarative AI pipelines in one YAML file. Tokens, audio chunks, and video frames fl···
KsanaDiT
开源
让视频生成模型推理更快,部署更省心
KsanaDiT: High-Performance DiT (Diffusion Transformer) Inference Framework for Video···
MLOpsTemplate
开源
一键搭建标准化MLOps流水线,快速落地生产
Providing tools and templates to facilitate modern MLOps practices
dagster-mflix-demo
开源
用 Dagster 跑通电影数据 ELT,快速上手现代数据栈
Sample ELT project using Dagster, data load tool and Snowflake
finn
开源
把量化神经网络自动编译成 FPGA 数据流硬件
Dataflow compiler for QNN inference on FPGAs
aligned
开源
像 DBT 管数仓一样,理清 ML 数据依赖,减少技术债
The DBT of ML, as Aligned describes data dependencies in ML systems, and reduce tech···
llmtrace
开源
零代码给 OpenAI API 加安全盾,实时防注入、扫隐私、控成本
Zero-code LLM security & observability proxy. Real-time prompt injection detection, ···
mljet
开源
一行命令把 ML 模型变成 HTTP 服务
Minimalistic ML-models auto deployment tool
boxlite
开源
给 AI 智能体一个微型安全沙箱,轻量到能装进笔记本,弹性到能撑起云。
The micro-VM for AI agents — light enough to embed on your laptop, elastic enough t···