compression

本站收录 19 个带「compression」标签的 AI 开源项目

headroom在数据进入 LLM 之前压缩工具输出、日志、文件与 RAG 片段,编码 agent 可省 20% Token,JSON 场景最高省 95%,答案不变,以库、代理★ 79,693DeepSpeedDeepSpeed 是微软开源的大模型训练与推理优化库,目标是让分布式训练和推理变得简单、高效。它通过 ZeRO 系列显存优化技术,把优化器状态、梯度和参数分片★ 43,326PaddleNLPPaddleNLP 是百度飞桨生态下的自然语言处理库,定位为易用且强大的大模型与小模型库,内置丰富的模型动物园。它解决从文本分类、序列标注到大规模预训练模型微调★ 12,993llm-compressorllm-compressor 是 vLLM 团队推出的 LLM 压缩工具库,与 Hugging Face Transformers 无缝兼容。它解决的核心问题是★ 3,968SimpleMemSimpleMem 是一个为大型语言模型(LLM)智能体设计的终身记忆模块,旨在解决智能体在长期交互中遗忘历史信息、缺乏持续学习能力的问题。它通过高效的记忆存储★ 3,877aimetAIMET(AI Model Efficiency Toolkit)是高通开源的一套面向已训练神经网络模型的量化与压缩工具库。它解决的核心问题是:模型在移动端、★ 2,749gowallgowall 是一个用 Go 编写的命令行图像处理工具箱,面向桌面美化与批量图片处理场景。它最核心的能力是把壁纸的主色调、配色方案提取出来,并据此生成或转换配色★ 2,336Awesome-Efficient-LLMAwesome-Efficient-LLM 是一个精选资源列表,专注于高效大语言模型(LLM)领域。它系统整理了模型压缩、推理加速、架构优化、量化、剪枝、知识蒸★ 2,051model-optimizationmodel-optimization 是 TensorFlow 官方推出的模型优化工具包,面向 Keras 和 TensorFlow 模型,提供量化、剪枝和权重★ 1,584nncfNNCF(Neural Network Compression Framework)是 Intel 开源的神经网络压缩框架,专为提升 OpenVINO 推理性能★ 1,221Context-EngineContext-Engine 是一个面向 AI 智能体场景的上下文压缩套件,以 MCP 服务形式提供。它要解决的问题是:长对话、大代码库和复杂任务会让上下文窗口★ 402compressed-tensorscompressed-tensors 是 safetensors 格式的扩展库,用于在磁盘上高效存储稀疏与量化后的张量。它解决模型压缩后权重难以标准化保存与加载★ 337BK-SDMBK-SDM(Block-KD 与屏蔽蒸馏的 Stable Diffusion 压缩模型)是 ECCV 2024 提出的高效文本生成图像方案。它通过结构剪枝与知★ 330picollmpicollm 是一个专注于设备端(on-device)大语言模型推理的开源项目,通过 X-Bit 量化技术实现高效的模型压缩与推理。它支持 Gemma、Lla★ 320npq-vitnpq-vit 是面向视觉 tokenizer 的球面量化研究代码库,包含 ICLR 2025 的 Binary Spherical Quantization(★ 225spectralquantSpectralQuant 是一个针对大语言模型推理时 KV-Cache 压缩的开源工具库。它通过特征基旋转(Eigenbasis Rotation)和基于注水★ 204distilldistill 是一个为 LLM 智能体设计的上下文智能层,以 Go 语言实现。它解决的是智能体在长期运行中上下文管理混乱、记忆冗余和敏感信息泄露的问题。核心能★ 198archive-pdf-toolsarchive-pdf-tools 是一个用 Python 编写的 PDF 批量生成与压缩工具,面向需要处理海量页面的归档场景。它把 PDF 生成、压缩、PDF★ 156chatcliChatCLI 是一个用 Go 编写的命令行 AI 聊天工具,支持接入 Anthropic、OpenAI 等多种 LLM,让用户在终端里直接进行交互式对话。它内★ 94