基础设施

fastrtc 开源 免费 可打开

几行 Python 代码，让应用实时开口说话

fastrtc 是一个专注于实时通信的 Python 库，旨在简化 WebRTC 音频/视频流的接入，让开发者能快速构···

dify-google-cloud-terraform 开源 免费 仅开源

在 Google Cloud 上快速部署生产级 Dify，自动搞定高可用和弹性伸缩。

这是一个用于在 Google Cloud 上部署 Dify 的 Terraform 配置项目。它解决了 Dify 在生产环境中手动···

Ollama-For-AMD-Installer 开源 免费 仅开源

AMD 显卡一条命令装好 Ollama，直接跑本地大模型

Ollama-For-AMD-Installer 是一个面向 AMD GPU 用户的 Ollama 安装辅助工具。Ollama 官方长期优先支···

Lexoid 开源 免费 仅开源

把脏乱数据变成 AI 能用的干净上下文

Lexoid 是一个开源的通用适配器，旨在将杂乱无章的真实世界数据转化为干净、可供 AI 智能体直接使用···

aio2024-mlops 开源 免费 仅开源

跟着Notebook动手玩转MLOps全流程工具链

这是一个面向初学者的MLOps实践入门项目，基于Jupyter Notebook编写，旨在通过动手实验帮助用户快速···

generative-ai-on-amazon-sagemaker 开源 免费 仅开源

照着 Notebook 在 SageMaker 上跑通大模型微调与部署

这是亚马逊官方维护的 SageMaker 生成式 AI 示例合集，用 Jupyter Notebook 形式提供在 SageMaker ···

infermux 开源 免费 仅开源

看清跨云路由路径，优化网络调度

infermux 是一个用 Go 编写的开源工具，专注于跨云服务提供商的网络路由推断。它解决了在多云或混合···

GPTFree 开源 免费 仅API

免注册免费调用 GPT/Claude/Gemini，兼容 OpenAI 接口

GPTFree 是一个提供免费 OpenAI 兼容 API 的开源项目，旨在让开发者无需注册和付费即可调用 GPT、C···

ai-optimizer 开源 免费 仅开源

在 Oracle 数据库上快速调优 RAG 和 NL2SQL 实验

ai-optimizer 是一个面向 GenAI 和 RAG 场景的实验与优化工具包，基于 Oracle 数据库的 AI Vector ···

LiteRT 开源 免费 待核验

谷歌端侧推理框架，让模型在手机和嵌入式设备上跑得又快又省

LiteRT 是 TensorFlow Lite 的继任者，由 Google 推出，定位为面向边缘设备的端侧机器学习与生成式···

memobase 开源 已失效

给 AI 聊天机器人装上长期记忆，让对话更懂你

memobase 是一个为 AI 聊天机器人提供长期用户记忆的开源项目。它解决的是大语言模型在对话中缺乏持···

nobodywho 开源 可打开

让任何设备都能流畅跑大模型，边缘 AI 推理引擎

NobodyWho 是一个用 Rust 编写的本地 LLM 推理引擎，旨在让任何设备都能高效运行大语言模型。它解决···

VectorChord 开源 免费 仅开源

在 Postgres 里实现大规模向量搜索，更快更省磁盘。

VectorChord 是一个基于 Postgres 的向量检索扩展，是 pgvecto.rs 的继任者。它旨在解决 Postgres ···

tensorcircuit-ng 开源 免费 仅开源

用AI框架跑量子模拟，自动微分+GPU加速，上手快

TensorCircuit-NG 是新一代基于张量网络的量子软件框架，专为 AI 原生设计。它解决量子计算模拟中计···

ReMe 开源 免费 仅开源

给 AI 装上长期记忆，让对话不再失忆

ReMe 是一个面向 AI 智能体的记忆管理工具包，旨在解决智能体在长对话或复杂任务中“遗忘”关键信息···

lmnr 开源 仅开源

像调试普通软件一样调试 AI 智能体，全链路追踪+评估。

Laminar 是一个专为 AI 智能体（Agent）设计的开源可观测性平台，来自 YC S24。它解决了 AI 应用在···

lupine 开源 免费 仅开源

让无GPU的电脑用上远程显卡，跑AI应用像本地一样

LUPINE 是一个 GPU over IP 桥接工具，允许将远程机器上的 GPU 通过 IP 网络挂载到仅配备 CPU 的本···

gateway-api-inference-extension 开源 免费 仅开源

让 K8s 网关按负载智能分发大模型推理请求

gateway-api-inference-extension 是 Kubernetes SIG Network 社区围绕 Gateway API 构建的推理扩展···

optillm 开源 免费 仅开源

给 LLM 推理加个外挂，自动优化提示词和采样策略，提升答案质量与效率。

optillm 是一个面向大语言模型（LLM）推理场景的优化代理服务。它位于客户端与模型服务之间，通过集···

ZETIC_Melange_apps 开源 免费 仅开源

在手机上用NPU跑AI，又快又省电

ZETIC_Melange_apps 是一个基于 Melange 框架的 NPU 驱动的端侧 AI 移动应用示例集合。它解决了在移···

grps_trtllm 开源 免费 仅开源

用 C++ 榨干 GPU，OpenAI 服务比 vLLM 更快

grps_trtllm 是一个基于 TensorRT-LLM 和 C++ 实现的高性能 OpenAI 兼容 LLM 服务框架，旨在解决 v···

nano-vectordb 开源 免费 仅开源

百行代码搞定向量检索，轻松上手随意改

nano-vectordb 是一个极简、易修改的向量数据库，用 Python 编写，专为学习和快速原型设计而生。它···

mlops-project 开源 免费 仅开源

一键搭建MLOps流水线，让模型上线快人一步

mlops-project 是一个面向机器学习运维（MLOps）的基础设施项目，旨在帮助团队标准化机器学习模型的···

GenieX 开源 免费 仅开源

一行代码让高通设备跑起前沿大模型，离线AI轻松实现

GenieX 是一个专为高通设备设计的开源推理引擎，旨在让开发者通过几行代码即可在本地运行前沿的大语···