compression
本站收录 11 个带「compression」标签的 AI 开源项目
headroom在数据进入 LLM 之前压缩工具输出、日志、文件与 RAG 片段，编码 agent 可省 20% Token，JSON 场景最高省 95%，答案不变，以库、代理★ 74,090
PaddleNLPPaddleNLP 是百度飞桨生态下的自然语言处理库，定位为易用且强大的大模型与小模型库，内置丰富的模型动物园。它解决从文本分类、序列标注到大规模预训练模型微调★ 12,981
llm-compressorllm-compressor 是 vLLM 团队推出的 LLM 压缩工具库，与 Hugging Face Transformers 无缝兼容。它解决的核心问题是★ 3,825
SimpleMemSimpleMem 是一个为大型语言模型（LLM）智能体设计的终身记忆模块，旨在解决智能体在长期交互中遗忘历史信息、缺乏持续学习能力的问题。它通过高效的记忆存储★ 3,819
Awesome-Efficient-LLMAwesome-Efficient-LLM 是一个精选资源列表，专注于高效大语言模型（LLM）领域。它系统整理了模型压缩、推理加速、架构优化、量化、剪枝、知识蒸★ 2,043
nncfNNCF（Neural Network Compression Framework）是 Intel 开源的神经网络压缩框架，专为提升 OpenVINO 推理性能★ 1,204
BK-SDMBK-SDM（Block-KD 与屏蔽蒸馏的 Stable Diffusion 压缩模型）是 ECCV 2024 提出的高效文本生成图像方案。它通过结构剪枝与知★ 326
picollmpicollm 是一个专注于设备端（on-device）大语言模型推理的开源项目，通过 X-Bit 量化技术实现高效的模型压缩与推理。它支持 Gemma、Lla★ 318
spectralquantSpectralQuant 是一个针对大语言模型推理时 KV-Cache 压缩的开源工具库。它通过特征基旋转（Eigenbasis Rotation）和基于注水★ 203
distilldistill 是一个为 LLM 智能体设计的上下文智能层，以 Go 语言实现。它解决的是智能体在长期运行中上下文管理混乱、记忆冗余和敏感信息泄露的问题。核心能★ 182
chatcliChatCLI 是一个用 Go 编写的命令行 AI 聊天工具，支持接入 Anthropic、OpenAI 等多种 LLM，让用户在终端里直接进行交互式对话。它内★ 93