项目预览
项目数据
项目介绍
Star 增长趋势
本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整
数据来源：GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 487
使用教程
环境要求
- Python 3.9+
安装与启动步骤
-
1拉成本分析工具
它复用了外部的分析库。
git clone https://github.com/cli99/llm-analysis.git -
2装这个库
以可安装方式装。
pip install . -
3跑一次成本估算
给模型维度参数即可。
python cost_analysis.py --hidden_size 2560 --intermediate_size 13824 --P 2 --batch_size 2 -
4对照自己的配置
换参数看结论怎么变。
如何确认成功
给定一组模型维度能算出训练与推理的算力与成本估算，且换参数后结论的变化方向符合预期
注意事项
- 它讲的是参数规模与推理时长之外的第三条扩展路径，配套给了成本分析工具。
- 工具复用外部库，装之前先确认依赖。
- 估算结果对硬件假设敏感，换硬件要重算。
- 适合做方案对比，不适合当精确预算。
核心亮点
- 提出全新并行扩展维度，突破传统参数/推理时间扩展的局限
- 提供可复现的实验代码和基准，便于验证和二次开发
- 聚焦推理效率，可能以更低成本获得性能提升
不足之处
- 早期项目，文档和社区生态尚不完善
- 并行扩展的通用性和理论支撑仍需更多验证
适用场景
- 研究语言模型扩展规律与效率边界
- 在有限算力下提升模型推理性能
- 探索多模型协同推理的工业应用
替代项目
DeepSeek-V3、Mixture-of-Experts (MoE)、Speculative Decoding
同类项目推荐
WaDi
开源
一步生成高质量图像，蒸馏时精准把控权重方向
[CVPR 2026] Official PyTorch implementation of WaDi: Weight Direction-aware Distilla···
LoRI
开源
多任务微调不打架，LoRA 参数更高效
[COLM 2025] LoRI: Reducing Cross-Task Interference in Multi-Task Low-Rank Adaptation
DART
开源
扩散式推测解码，让大模型推理更快更省算力
Official Implementation of DART (DART: Low-Latency Parallel Drafting with Continuity···
GPTQModel
开源
把大模型压到4bit，显存减半还能跑
LLM model quantization (compression) toolkit with HW acceleration support for Nvidia···
pruna
开源
一键优化 AI 模型，推理提速又省资源。
Pruna is a model optimization framework built for developers, enabling you to delive···
plexe
开源
一句话描述，自动生成机器学习模型，快速验证想法
✨ Build a machine learning model from a prompt
zenbytes
开源
跟着 Notebook 一步步上手 ZenML，搞定 MLOps 流水线
A simple guide to MLOps through ZenML and its various integrations.
FedKTL
开源
用服务端预训练生成器，让异构联邦学习上传更少、效果更好。
CVPR 2024 accepted paper, An Upload-Efficient Scheme for Transferring Knowledge From···
kikiri-tts
开源
给 Kokoro 模型加新语言，照着文档就能微调
This project provides a complete, documented training recipe for fine-tuning Kokoro-···