基础设施

llmserve 开源 免费 仅开源

终端里选模型选后端，一键把本地 LLM 跑起来

llmserve 是一个用 Rust 编写的终端 TUI 工具，用于在本地启动和托管大语言模型服务。它把「选模型···

awesome-free-llm-apis 开源 免费 仅开源

白嫖各种免费LLM API，开发测试不花钱

这是一个收录永久免费的大语言模型（LLM）API接口的精选列表，旨在帮助开发者在不花费成本的情况下···

SwiftLM 开源 免费 仅开源

Mac/iPhone 上跑本地大模型，OpenAI 接口直接调

SwiftLM 是一个面向 Apple Silicon 的原生 MLX Swift 大模型推理服务器，目标是把本地 LLM 推理做成···

queryflux 开源 不稳定

一个入口智能分发 SQL 到多个查询引擎

QueryFlux 是一个用 Rust 编写的多引擎与 Agentic AI SQL 查询路由中间件，面向各类数据平台和湖仓···

ds-free-api 开源 免费 仅开源

把 DeepSeek 网页端封装成 OpenAI/Anthropic 兼容 API

ds-free-api 是一个用 Rust 编写的 API 代理服务，把 DeepSeek 网页端能力封装成标准 API 接口，解···

mlx-flash 开源 免费 仅开源

让 Apple 设备跑起超内存大模型，流式加载不卡顿。

mlx-flash 是一个针对 Apple Silicon 的开源工具，通过权重流式加载技术，让 MLX 框架能够运行超过···

ClawManager 开源 免费 仅开源

在 K8s 上统一管好 AI Agent 实例和访问权限

ClawManager 是一个 Kubernetes 原生的 AI Agent 实例管理控制平面，用 Go 编写。它要解决的问题是···

OmniInfer 开源 免费 仅开源

一套 Rust 接口，把 AI 模型跑上各种边缘设备

OmniInfer 是一个用 Rust 编写的端侧 AI 推理基础设施，目标是为边缘设备提供统一、高效、易用的推···

kube-llmops 开源 免费 仅开源

在 Kubernetes 上轻松部署和运维大模型服务

kube-llmops 是一个基于 Kubernetes 的 LLM 运维工具，旨在解决大语言模型应用在 Kubernetes 集群中···

TrueMemory 开源 可打开

给 AI 装上本地持久记忆，自动捕获自动回忆，告别失忆。

TrueMemory 是一个为 AI 智能体设计的本地优先记忆系统，旨在解决 AI 对话中缺乏长期记忆的问题。它···

5.0-Ai-Engineering-Toolkit 开源 免费 仅开源

一套 Python 工具，把 AI 训练到部署的脏活串起来

5.0-Ai-Engineering-Toolkit 是一个面向 AI 工程化落地的 Python 工具集，目标是把从模型训练到 LL···

zeroid 开源 仅开源

给 AI 智能体发身份证，让它们安全自主地访问服务

ZeroID 是一个面向 AI 智能体的自主身份管理系统（AAIMS），用 Go 语言实现。它解决的是非人类实体···

cc-statistics 开源 免费 仅开源

一个面板看穿所有AI编程工具的花费与效率

cc-statistics 是一个面向 AI 编程工具的使用统计面板，专门追踪 Claude Code、Gemini CLI、Codex ···

voidllm 开源 免费 仅开源

自托管 AI 网关，统一管理多模型 API，保护提示词隐私。

voidllm 是一个隐私优先的 LLM 代理和 AI 网关，用 Go 编写，支持自托管。它解决的是企业在使用多个···

edgee 开源 可打开

一条命令接入 Edgee 网关，让所有 AI 编程助手省钱省心。

Edgee 是一个用于与 Edgee Agent Gateway 交互的官方命令行工具。它主要解决开发者在同时使用多个 ···

ocp 开源 免费 仅开源

把 Claude 订阅变成 OpenAI API，多设备共享零成本

ocp 是一个将 Claude Pro/Max 订阅转换为 OpenAI 兼容 API 的开源工具，旨在让用户无需额外付费即可···

nodedb 开源 可打开

给 AI 智能体装上持久记忆，边缘到云端无缝同步

nodedb 是一个专为 AI 智能体设计的记忆与存储引擎，采用 Rust 编写，支持多模型数据（如键值、图、···

agent-trace 开源 仅开源

给 AI 智能体装上监控，看清每一步动作和花费

agent-trace 是一个面向 AI 智能体的可观测性工具，旨在帮助开发者深入理解智能体的运行过程。它解···

antfly 开源 可打开

用 Zig 打造高性能 RAG 智能体，快速实现知识库问答

antfly 是一个用 Zig 语言构建的智能体框架，专注于解决 AI 应用中的信息检索与多模态数据处理问题···

moltstream 开源 可打开

让 AI 智能体像真人一样开直播，实时推送内容

moltstream 是一个面向智能体（Agent）的原生流式传输基础设施，专为非人类广播者设计的流式运行时···

openai-oauth 开源 免费 已失效

用 ChatGPT 账号免费调用 AI 模型，省下 API 费用

openai-oauth 是一个让你用个人 ChatGPT 账号免费调用 OpenAI 模型能力的开源工具。它解决了开发者···

Claudoscope 开源 免费 仅开源

给 Claude Code 装上实时监控仪表盘，会话安全一目了然。

Claudoscope 是一款原生 macOS 应用，为 Claude Code 和 Cowork 会话提供实时仪表盘。它解决了 Cla···

jangq 开源 不稳定

把 GGUF 模型搬上 Mac 的 MLX，量化后照样跑得动

JANG 是一个面向 Apple Silicon 的模型量化与推理运行时，核心目标是把原本为 llama.cpp 生态设计的···

d-inference 开源 可打开

把闲置 Mac 组成私有推理集群

d-inference 是一个用 Swift 编写的私有推理网络项目，目标是把闲置的 Mac 设备组织成分布式推理集···