用二手 POWER8 服务器，让 LLM 推理提速 8.8 倍，省下云账单。
ram-coffers 是一个面向 LLM 推理的基础设施优化项目，通过 NUMA 感知的权重银行（weight banking）技术，在 refurbished 企业级 POWER8 服务器上实现了 147 tokens/秒的推理速度，相比原生 llama.cpp 提升 8.8 倍。该项目旨在降低自托管推理的成本，避免依赖云 API，属于 Proof of Physical AI 技术栈的一部分。其核心能力包括：利用 NUMA 架构优化内存访问模式，提升推理吞吐；支持边缘 AI 和去中心化物理基础设施（DePIN）场景；强调能效和成本优化，适合在二手硬件上部署。项目用 Python 实现，与 llama.cpp 生态兼容，但当前处于早期阶段，文档和社区支持尚待完善。
本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整
—
llama.cpp、vLLM、TGI (Hugging Face Text Generation Inference)
ram-coffers 是基础设施领域的开源项目，由 Scottcjn 开发，是 2026 年新上线的项目。
它收录于基础设施分类，该分类目前共有 1,157 个项目，GitHub 星标数为 170。
项目保持着较活跃的维护节奏，最近一次代码更新于 2026-09-27。免费使用，需自行部署。从国内网络环境看，可直接访问。
它主要面向的使用场景是：在二手企业级服务器上自托管LLM推理服务，降低基础设施开支。同类可对比的替代方案包括 llama.cpp、vLLM、TGI (Hugging Face Text Generation Inference)。
上一篇：floe-guard
下一篇：Portainer 容器管理面板
freebuff-proxy
开源
聚合多账号，一键接入 OpenAI 兼容 API，轻松管理会话。
[DEPRECATED / UNMAINTAINED] No longer maintained.
microduck
开源
用 Rust 造一只会走路的桌面小鸭，快速上手双足机器人。
A Tiny biped duck robot
soperator
开源
用 Kubernetes 原生方式运行 Slurm，简化 HPC 集群管理。
Run Slurm in Kubernetes
ollama
开源
一条命令本地跑起大模型，免费、私密、不卡顿
Get up and running with Kimi, GLM, MiniMax, DeepSeek, gpt-oss, Qwen, Gemma and other···
