项目预览
项目数据
项目介绍
Star 增长趋势
本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整
数据来源：GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 573
使用教程
环境要求
- NVIDIA 显卡
- conda 环境
- 模型权重
安装与启动步骤
-
1建环境
Python 3.8，框架版本照抄。
conda create -yn streaming_sepllm python=3.8 -
2装框架
指定 CUDA 版本，别装默认。
pip install torch==2.1.0 torchvision==0.16.0 torchaudio==2.1.0 --index-url https://download.pytorch.org/whl/cu121 -
3装其余依赖
训练脚本依赖较多，按清单一次装全。
pip install transformers==4.33.0 accelerate datasets evaluate wandb scikit-learn scipy sentencepiece -
4装流式版本
子目录里的实现要单独装。
cd ./SepLLM/Streaming-SepLLM && python setup.py develop -
5跑流式评测
用小模型先验证压缩是否生效。
CUDA_VISIBLE_DEVICES=0 python ./main/evaluate_streaming_inputs_perplexity.py
如何确认成功
在流式输入场景下显存占用明显低于原模型，困惑度上升幅度在可接受范围内
注意事项
- 它压的是分隔符冗余，不是通用量化。
- 压缩有损，长文生成要验证连贯性。
- 只在流式输入场景下收益明显。
- 训练脚本对显存要求高，先跑评测。
核心亮点
- 基于 ICML 2025 论文，方法有理论支撑，加速效果明确（最高 2.5 倍）
- 直接减少 KV 缓存，显存占用更低，适合长上下文和边缘部署
- 实现简洁，易于集成到现有 LLM 推理流程中
不足之处
- 压缩策略可能对某些依赖细粒度 token 信息的任务（如代码生成）有精度损失
- 文档和社区生态尚在早期，使用门槛较高
适用场景
- 长文档摘要与问答，降低推理成本
- 多轮对话系统，减少历史上下文的内存占用
- 资源受限环境（如移动端、边缘设备）部署大模型
替代项目
StreamingLLM、H2O (Heavy-Hitter Oracle)、SnapKV
同类项目推荐
SoftCoT
开源
用软思维链替代文本推理，大幅降低 LLM 推理成本
ACL'2025: SoftCoT: Soft Chain-of-Thought for Efficient Reasoning with LLMs. and prep···
Firefly
开源
一键微调 20+ 主流大模型，快速定制专属 AI
Firefly: 大模型训练工具，支持训练Qwen2.5、Qwen2、Yi1.5、Phi-3、Llama3、Gemma、MiniCP···
Adam-mini
开源
用更少学习率，训更快更大模型，省显存提性能。
Code for Adam-mini: Use Fewer Learning Rates To Gain More https://arxiv.org/abs/2406···
ml-template-azure
开源
在 Azure 上快速搭建自动化机器学习流水线，省去从零配置的麻烦。
Template for getting started with automated ML Ops on Azure Machine Learning
SkyRL
开源
把 LLM 强化学习全流程拆成乐高，多轮工具任务也能直接训
SkyRL: A Modular Full-stack RL Library for LLMs
VeOmni
开源
声明式配方，把任意模态大模型训练一键扩展到多机多卡
VeOmni: Scaling Any Modality Model Training with Model-Centric Distributed Recipe Zo···
SLED
开源
不训练不微调，用模型自己纠正自己，让回答更靠谱
SLED: Self Logits Evolution Decoding for Improving Factuality in Large Language Mode···
TextRL
开源
在任意 HuggingFace 模型上实现 RLHF 微调，让生成更符合人类偏好。
Implementation of ChatGPT RLHF (Reinforcement Learning with Human Feedback) on any g···
MLX-LoRA-Studio
开源
Mac 上点几下就完成大模型 LoRA 微调，数据不出本机
A native Mac App for LLM fine-tuning on Apple Silicon — fully on-device, fully open···