项目预览
项目数据
项目介绍
Star 增长趋势
本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整
数据来源：GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 151
技术标签
核心亮点
- OpenAI 兼容 API，现有应用改个 base_url 就能接入本地模型
- 内置文档问答，支持上传 PDF/TXT 等，直接基于内容对话
- 轻量设计，依赖少，单机部署简单，适合个人或小团队
不足之处
- 早期项目，功能稳定性待验证
- 文档/社区待观察
适用场景
- 离线环境下的私有知识库问答
- 开发测试阶段替代 OpenAI API 降低成本
- 数据敏感场景的本地 AI 助手
替代项目
LocalAI、Ollama、llama.cpp
上一篇：mesh-api
下一篇：llm-inference
同类项目推荐
llm-sandbox
开源
给 LLM 一个安全的代码沙箱，跑 AI 生成的代码不翻车
Lightweight and portable LLM sandbox runtime (code interpreter) Python library.
Crane
开源
纯 Rust 多模态推理引擎，一个栈跑通文本、视觉、语音与 OCR。
A Pure Rust based LLM, VLM, VLA, TTS, OCR Inference Engine, powering by Candle & Rus···
WebAI-to-API
开源
把网页版AI变成API，轻松接入你的应用
Webchat to API
ComfyUI-Easy-Install
开源
一键装好 ComfyUI，开箱即用不折腾环境
One-click Portable ComfyUI with EZi Desktop - install, manage and customize ComfyUI ···
LiteRT-LM
开源
让大模型跑在手机端，离线低延迟还护隐私
LiteRT-LM is Google's production-ready, high-performance, open-source inference fram···
onnxruntime-genai
开源
ONNX 模型一键跑生成式 AI，跨平台多语言
Generative AI with ONNX Runtime
dockit
开源
用大白话聊数据库，AI 帮你查 Elasticsearch、MongoDB 等，可视化监控一把梭。
Agentic desktop GUI client for Elasticsearch, OpenSearch, DynamoDB, MongoDB & EasySe···
qgate-sln-mlrun
开源
一键检查 MLRun 项目质量，交付更放心
MLRun/Iguazio/Nuclio quality gate solution. The solution checks a quality of MLRun i···
llm-metadata
开源
统一查询 LLM 元数据，告别硬编码模型信息
A lightweight interface for accessing and integrating LLM metadata, enabling applica···