quantization 第 2 页
本站收录 68 个带「quantization」标签的 AI 开源项目（按 GitHub 星标从高到低，第 2 / 2 页）
DuQuantDuQuant 是一个针对大型语言模型（LLM）的量化方法，其核心创新在于通过双重变换（Dual Transformation）来重新分布激活值中的异常值（ou★ 188
oreilly-hands-on-gpt-llm这是一个配套O'Reilly书籍《Hands-On GPT-LLM》的实战代码仓库，专注于大规模、高效AI模型部署。项目以Jupyter Notebook形式提★ 145
model-serving-minefieldmodel-serving-minefield 是一个社区维护的 LLM 推理服务“踩坑登记册”，专门收集那些会让测量结果看似正常、实则自信地给出错误结论的陷阱★ 140
mono-pixmono-pix 是一个将像素艺术图像转换为真实感图像的浏览器端工具。它利用人工智能技术，在本地浏览器中快速将低分辨率、像素化的图像（如游戏精灵图、复古图标）升★ 138
sndr_core_engineSNDR Core Engine (Genesis) 是一个针对消费级 NVIDIA GPU（如 RTX 3090、A5000）的 vLLM 运行时补丁覆盖层，★ 133
agentic-rlagentic-rl 是一个面向中文零基础学习者的 Agentic RL 教程项目，共 25 章，从强化学习与智能体基础概念讲起，逐步过渡到 GRPO 实战，并★ 131
deepseek-local-guide-ru这是一个俄语版的 DeepSeek 本地部署完整指南，面向希望在个人电脑、Mac 或服务器上离线运行 DeepSeek V4、R1 等模型的用户。项目以 She★ 124
docker-whisperdocker-whisper 是一个把 Whisper 语音识别服务打包成 Docker 镜像的开源项目，目标是让用户在自己的服务器上快速搭建一套兼容 Open★ 116
TFMQ-DMTFMQ-DM 是 CVPR 2024 Highlight 和 TPAMI 2025 论文的官方 PyTorch 实现，专注于扩散模型的训练后量化（PTQ）。扩★ 111
aarambh-studioaarambh-studio 是一个完全用 Rust 和 Candle 框架从零构建的 decoder-only 大语言模型项目，不依赖 Python 或 Py★ 110
ReadyLLMReadyLLM 是一个面向本地大模型部署与运维的可视化基础设施工具。它把模型下载、量化、推理服务启动、运行监控和参数调优整合到一个图形界面中，底层基于 lla★ 106
kernel-skillskernel-skills 是一个面向 AI 编程代理的开源技能库，专注于高性能计算内核的编写、优化与调试，覆盖 CUDA、Triton 以及量化负载场景。它解★ 83
Rearchitecting-LLMs这是 Manning 出版社《Rearchitecting LLMs》一书的官方代码仓库，聚焦大语言模型的结构性优化，涵盖深度/宽度剪枝、知识蒸馏和注意力机制优★ 75
Comfy_HunyuanImage3Comfy_HunyuanImage3 是一个 ComfyUI 自定义节点，让用户能在本地运行腾讯的混元图像生成模型 Hunyuan Image 3。它解决了官★ 67
eullmeullm 是一个面向欧盟合规场景的开源 LLM 平台，专注于创建、分发和运行符合欧盟《人工智能法案》（AI Act）要求的大语言模型。它允许用户对任意基础模型★ 60
GuidedQuantGuidedQuant 是 ICML 2025 论文的官方 PyTorch 实现，提出一种利用端到端损失引导的大语言模型量化方法。传统量化方法通常依赖逐层或局部★ 58
stable-diffusion-streamlitstable-diffusion-streamlit 是一个将 Stable Diffusion 模型量化压缩并集成到 Streamlit 应用中的开源项目。它★ 52
LightDiffusion-NextLightDiffusion-Next 是一个专注于扩散模型推理性能优化的开源项目，旨在提供最快的 Diffusion 后端、WebUI 和服务器。它解决的是扩★ 51