cross-platform-llm-client

一个客户端,云端API和本地离线大模型随时切换

开源 free 对话助手
访问官网 ↗ GitHub ↗ 文档 ↗
GitHub 星标 ★ 1127
维护状态 活跃
是否开源 是
定价模式 free

项目预览

项目数据

分类对话助手
开发团队orailnoor
所属国家
官网地址
定价模式free
价格说明开源免费,需自行部署
访问状态
是否开源是
开源协议MIT
主要语言C++
技术栈/模型
GitHub 星标★ 1127
30天Star增速
HF 下载量
上线时间2026-04-25 00:00:00
代码更新—
仓库体积—
本站数据更新—
维护状态活跃
中文支持
访问方式
移动端支持
综合评分
收录时间2026-10-15
浏览次数0

项目介绍

cross-platform-llm-client 是一个用 C++ 编写的统一跨平台 AI 客户端,目标是在桌面和移动端提供一致的对话体验。它解决的核心问题是:用户既想调用云端标准大模型 API(如 OpenAI 兼容接口),又希望在本地离线运行自定义或未审查的语言模型,而无需在多个工具之间切换。项目通过抽象层把云端 API 调用和本地推理统一到同一套界面与交互流程中,支持在标准云 API 与设备端离线执行之间无缝切换。核心能力包括跨平台运行、本地模型加载与推理、云端 API 兼容、对话管理以及模型切换。适合注重隐私、需要离线可用或想自由使用自定义模型的用户。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整

正在加载星标数据…

技术标签

使用教程

—

难度:入门 约 15 分钟 部署方式:本地安装 5 步

环境要求

  • Mac 或 Windows 电脑,已安装并运行 AltServer
  • iOS 设备已安装 AltStore,并与电脑处于同一 Wi-Fi 或 USB 直连
  • iOS 16 及以上需在设置中开启「开发者模式」
  • iPad 为推荐目标设备(本地模型对内存要求较高)

安装与启动步骤

  1. 1下载安装包

    在 iOS 设备用 Safari 打开 GitHub Releases 页面,下载最新的 PrivateLM-iOS.zip。

  2. 2解压得到 IPA

    在「文件」App 中把下载的 zip 解压,得到 .ipa 安装文件,记住存放位置。

  3. 3在 AltStore 中打开

    在「文件」App 点 .ipa 的分享按钮选 AltStore;或打开 AltStore→My Apps→左上角 + 号选择该 IPA。

  4. 4执行安装

    AltStore 开始安装;首次使用可能要求输入 Apple ID 凭据,按提示完成即可。

  5. 5开启开发者模式并启动

    iOS 16+ 前往 设置 > 隐私与安全性 > 开发者模式 开启,然后从主屏幕启动 PrivateLM。

如何确认成功

安装完成后,PrivateLM 会出现在 AltStore 的 My Apps 标签页以及设备主屏幕上,点击可正常启动。

常见问题

Q:AltStore 侧载的应用会过期吗?

A:会,通过 AltStore 侧载的应用 7 天后过期;当设备与运行 AltServer 的电脑处于同一 Wi-Fi 时,AltStore 会尝试在后台自动刷新。

Q:iPhone 能用吗?

A:可以安装在 iPhone 上,但由于本地模型对内存要求较高,README 推荐以 iPad 作为 iOS 端的目标设备。

Q:本地模型需要联网吗?

A:本地推理在 Android 上通过 Vulkan GPU 加速运行 GGUF 模型,模型下载完成后无需联网;云端模式则调用 OpenAI、Anthropic、Gemini、Kimi 等接口。

Q:为什么找不到任务管理功能?

A:任务管理(Task Management)仍在开发中,当前版本尚未提供该功能。

注意事项

  • README 只给出 iOS/iPad 的 AltStore 侧载安装方式,未提供 Android 或桌面端的安装命令。
  • 侧载应用 7 天过期,需保持 AltServer 运行以便自动续签刷新。
  • 本地模型对设备内存要求较高,建议优先在 iPad 上使用。
  • 应用默认把聊天与设置通过 Hive 保存在本地,只有主动选择云端模式时数据才会离开设备。

核心亮点

  • C++ 实现带来跨平台与较高运行效率,桌面和移动端可共用一套客户端
  • 同时支持标准云 API 与设备端离线推理,切换无需更换工具
  • 面向自定义和未审查模型,给用户更大的模型选择自由

不足之处

  • C++ 技术栈对普通用户和二次开发者的上手门槛较高
  • 移动端本地推理对设备算力和内存有要求,体验受硬件限制

适用场景

  • 在无网络或弱网环境下用本地模型继续对话
  • 需要隐私保护时把敏感对话完全放在设备端处理
  • 日常用云端 API 获得高质量回答,按需切换到本地自定义模型

替代项目

Jan、Ollama、LM Studio

上一篇:ollama-gui

下一篇:chatgpt-bot-telegram

同类项目推荐

kelivo 开源

一个应用,畅聊所有大模型,手机电脑鸿蒙全搞定

A Flutter LLM Chat Client. Support Mobile & Desktop.

★ 4226 2026-08-09
open-webui 开源

给本地模型配个漂亮聊天室,全家都能用

User-friendly AI Interface (Supports Ollama, OpenAI API, ...)

★ 155667 2026-08-09
prompts.chat 开源

海量好提示词,抄了就能让 AI 更听话

f.k.a. Awesome ChatGPT Prompts. Share, discover, and collect prompts from the commun···

★ 172967 2026-08-09
NextChat 开源

一个界面聊遍所有主流AI模型,支持全平台部署,轻快又私密。

✨ Zero-config AI chat assistant. No API key needed — sign up and instantly chat wi···

★ 88845 2026-08-09