Project_Chronos

预测下一步专家，边算边从SSD预取，让MoE推理不停顿

开源 🏷️完全免费 🔧 仅开源项目，无在线服务，需自行部署 基础设施 🍴 复刻 23 👀 关注 21
GitHub ↗
GitHub 星标 ★ 207
维护状态 活跃
是否开源 开源
定价模式 🏷️完全免费 开源项目，免费使用

项目预览

Project_Chronos 项目界面预览图
图片来源：GitHub 官方仓库名片

项目数据

分类基础设施
开发团队FonaTech
GitHubhttps://github.com/FonaTech/Project_Chronos
定价模式🏷️完全免费
价格说明开源项目，免费使用
访问状态🔧 仅开源项目，无在线服务，需自行部署
是否开源是
开源协议Apache-2.0
主要语言Python
技术栈/模型artificial-intelligence,async-dma,dual-layer-moe,generative-ai,high-throughput,io-latency-hiding,large-language-model,llm,lookahead-routing,lora,mixture-of-experts,mla-attention,open-models,open-source,predictive-inference,sliding-window-attention,ssd-offloading,streaming-llm
GitHub 星标★ 207
上线时间2026-04-19 00:00:00
代码更新2026-11-10
仓库体积3.2 MB
本站数据更新2026-11-11
维护状态活跃
收录时间2026-11-11
浏览次数0

项目介绍

Project_Chronos 是一个面向混合专家（MoE）大模型推理的基础设施项目，核心目标是消除因专家权重加载导致的推理停顿。它通过前瞻预测（Lookahead Prediction）提前判断后续 token 需要哪些专家，并借助异步 DMA 预取在计算进行时从 SSD 加载专家权重，把 I/O 延迟隐藏在计算之后。模型结构上采用 MLA 与滑动窗口注意力混合的方案，配合双层 MoE 设计，在有限显存下支撑更大参数规模的模型推理。项目用 Python 实现，适合研究 MoE 推理加速、SSD 卸载与 I/O 调度优化的开发者参考，也可作为构建高吞吐推理服务的实验性组件。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整

数据来源：GitHub API 逐日快照 · 收录于 2026-11-11 · 当前星标 ★ 207

核心亮点

  • 用前瞻预测+异步DMA预取把专家权重加载与计算重叠，直接针对MoE推理的I/O停顿问题
  • 混合MLA与滑动窗口注意力，兼顾长上下文效率与KV缓存开销
  • 双层MoE结构配合SSD卸载，降低显存门槛，让大专家模型在单机有限显存下可跑

不足之处

  • 早期项目，星标约200，社区规模小、文档与示例完善度待观察
  • 依赖SSD随机读性能，实际加速效果对硬件和负载敏感，缺少系统化基准数据
  • 预测命中率是性能关键，预测失误时的回退路径与稳定性验证尚不充分

适用场景

  • 研究MoE推理中专家权重I/O调度的实验平台
  • 显存受限环境下部署大参数量MoE模型的探索方案
  • 长上下文生成场景下的推理吞吐优化验证

替代项目

llama.cpp、vLLM、DeepSpeed-MII

上一篇：scylla

下一篇：vllm-continuum

同类项目推荐

chromadb-chart 开源

一条命令在 Kubernetes 上部署 ChromaDB，省心省力

Chart for deploying ChromaDB in Kubernetes

★ 61 2026-08-09
kimi-k3-in-c 开源

在普通 CPU 上跑起万亿参数大模型，内存仅需 8G。

A 2.78-trillion-parameter Kimi K3 running inference on a single CPU in 8.24 GB of RA···

★ 11549 2026-08-09
NanoLLM 开源

本地跑大模型，量化多模态一条龙

Optimized local inference for LLMs with HuggingFace-like APIs for quantization, visi···

★ 380 2026-08-09
ollamafreeapi 开源

不装显卡不填Key，直接调用50+开源大模型

OllamaFreeAPI: Free Distributed API for Ollama LLMs Public gateway to our managed O···

★ 339 2026-10-15
lilypad 开源

用区块链调度全球闲置 GPU，跑 AI 任务更便宜透明

Run AI workloads easily in a decentralized GPU network. https://www.youtube.com/wat···

★ 93 2026-08-09
dama 开源

一键容器化部署，快速跑通机器学习自动化流程

a simplified machine learning container platform that helps teams get started with a···

★ 77 2026-08-09
AIHelms 开源

统一纳管 AI 资源，精准控成本、强治理、提效能

企业级 AI 资源纳管平台，提供统一 AI网关、Token调度能力，纳管 OpenAI、Azure、Claude、···

★ 1033 2026-08-09
k8m 开源

给 K8s 配个 AI 助手，一句话搞定集群运维

一款轻量级、跨平台的 Mini Kubernetes AI Dashboard，支持大模型+智能体+MCP(支持设置操作···

★ 893 2026-08-09
KsanaDiT 开源

让视频生成模型推理更快，部署更省心

KsanaDiT: High-Performance DiT (Diffusion Transformer) Inference Framework for Video···

★ 64 2026-08-09