llm-inference 第 2 页

本站收录 133 个带「llm-inference」标签的 AI 开源项目（按 GitHub 星标从高到低，第 2 / 3 页）

time-to-first-token这是一个为期10周、每天30分钟的LLM推理服务与优化学习路线图。它面向想要系统掌握大模型推理性能调优的开发者，解决从理论到实践缺乏结构化路径的问题。项目核心能★ 997AI-CompassAI-Compass 是一个面向 AI 学习者的开源知识导航与路线图项目，用 Python 组织内容，目标是解决 AI 领域知识点庞杂、学习路径混乱的问题。它把★ 985awesome-hostingawesome-hosting 是一个按最低套餐价格排序的托管服务清单，本质是精选资源集合而非可运行软件。它解决的问题是：开发者在选云主机、VPS、PaaS、S★ 945chatllm.cppchatllm.cpp 是一个用纯 C++ 实现的本地大语言模型推理引擎，目标是在个人电脑上直接运行多种开源模型进行实时对话，不依赖 Python 运行时。它把★ 934llm_notellm_note 是一个面向大语言模型学习者的开源笔记仓库，用 Python 编写，内容覆盖模型推理、Transformer 结构解析以及主流 LLM 框架的源★ 893llama3.javallama3.java 是一个纯 Java 实现的 Llama 3 及后续版本的大语言模型推理库，无需依赖 C/C++ 或 Python 环境，即可在 JVM ★ 820awesome-jev-toolsawesome-jev-tools 是一个围绕 TypeSafe AI 的 System One 模型 Jev 整理的工具清单。Jev 的定位是做“带类型的决策★ 752LLM-PowerHouse-A-Curated-Guide-for-Large-Language-Models-with-Custom-Training-and-Inferenc这是一个精选的大语言模型（LLM）实战指南仓库，旨在帮助开发者通过教程、最佳实践和可直接运行的代码，掌握自定义训练与推理的全流程。项目内容涵盖从数据准备、模型微★ 734pegainferpegainfer 是一个用纯 Rust 编写的 LLM 推理引擎，底层直接调用 CUDA 内核，不依赖 PyTorch 或任何 Python 运行时。它解决的★ 722llmflowsLLMFlows 是一个用于构建大型语言模型（LLM）应用的 Python 框架，强调简单、明确和透明。它解决了 LLM 应用开发中常见的复杂性和不可控性问题，★ 708qvacQVAC 是一个面向本地优先的 AI 应用开发 SDK 和库集合，旨在帮助开发者构建私有、跨平台、点对点的 AI 应用。它支持在 Linux、macOS、Win★ 701long-context-attentionlong-context-attention 是面向长上下文 Transformer 训练与推理的序列并行注意力实现，核心是 USP（Unified Seque★ 696rkllamarkllama 是面向瑞芯微（Rockchip）NPU 的开源大模型推理服务，相当于把 Ollama 的体验搬到 RK3588、Orange Pi 5/5 Pr★ 617MiniSearchMiniSearch 是一个极简的网页搜索平台，内置 AI 助手，完全在浏览器中运行，无需后端服务器。它解决了传统搜索依赖云端服务、隐私易泄露的问题，通过本地化★ 601LLM-FineTuning-Large-Language-Models该项目是一个专注于大语言模型（LLM）微调的教学型开源仓库，主要使用 Jupyter Notebook 编写，旨在帮助开发者系统学习和实践大模型微调技术。它解决★ 578taOStaOS 是一个自托管的 AI 智能体操作系统，旨在让用户的记忆、聊天、智能体和文件全部保存在自有硬件上，默认离线运行，也可选择接入云端。它解决了用户对数据主权★ 574krasisKrasis 是一个混合 LLM 运行时，专注于在消费级显存受限的硬件上高效运行更大的模型。它通过将模型层智能卸载到 CPU/内存，并利用 GPU 加速关键计算★ 522edsledsl 是一个用于设计、执行和分析 AI 驱动调查与实验的开源 Python 框架。它解决的核心问题是：传统社会科学和市场研究依赖真人样本，成本高、周期长，且★ 507chipperchipper 是一个面向创客和开发者的 AI 命令行界面工具，旨在简化本地 AI 模型（如 Ollama）的交互，并集成 Haystack RAG 框架和 P★ 485orthrusorthrus 是一个面向大语言模型的高效推理加速项目，核心思路是通过双视角扩散解码（dual-view diffusion decoding）实现快速且无损的★ 482JetStreamJetStream 是一个面向 XLA 设备（当前以 TPU 为主，未来计划支持 GPU）的 LLM 推理引擎，专注于提升吞吐量和优化内存使用。它解决了在 TP★ 470llm-inference-handbookllm-inference-handbook 是一个用 TypeScript 编写的开源知识手册，系统梳理大语言模型推理（LLM Inference）的全流程知★ 460sagifysagify 是一个旨在简化大型语言模型和机器学习工作流的开源工具，主要面向 Python 开发者。它解决了从模型训练到部署过程中配置复杂、流程繁琐的问题，通过★ 442Awesome-KV-Cache-Optimization这是一个面向大模型推理服务的 KV Cache 优化综述仓库，对应 ACL 2026 论文《Towards Efficient Large Language M★ 422Star-AttentionStar-Attention 是一个面向大语言模型长序列推理的高效注意力机制实现。它通过将标准注意力分解为星形拓扑结构，显著降低长序列下的计算和内存开销，从而加★ 393NanoLLMNanoLLM 是一个专注于本地大模型推理优化的开源工具库，提供类似 HuggingFace 的简洁 API，支持模型量化、视觉/语言模型、多模态智能体、语音处★ 380llm-inference-engineeringllm-inference-engineering 是一份面向工程师的 LLM 推理工程学习路线，用 Markdown 组织成循序渐进的知识体系。它解决的是「会★ 374MoE-InfinityMoE-Infinity 是一个基于 PyTorch 的开源库，旨在高效、低成本地服务混合专家（MoE）大语言模型。它解决了 MoE 模型因参数量巨大、推理时显★ 373HackBotHackBot 是一个由 AI 驱动的网络安全聊天机器人，旨在为网络安全相关问题提供准确、实用的解答，并支持代码分析和扫描分析。它基于 Python 构建，集成★ 365swiftLLMswiftLLM 是一个极简但高性能的 LLM 推理系统，专为研究目的设计。它用仅约 2000 行 Python 代码实现了与 vLLM 相当的性能，代码量仅为★ 361syncodesyncode 是一个面向大语言模型的语法解码库，旨在通过约束解码过程来保证模型输出符合指定语法（如 JSON、Python 代码等）。它解决了 LLM 在生成★ 341pmetalPMetal 是一个面向 Apple Silicon 的高性能本地大模型框架，用 Rust 编写，目标是在 Mac 上把 LLM 推理、LoRA/QLoRA 微★ 329leanctxleanctx 是一个用于生产环境 LLM 应用的即插即用提示词压缩工具。它基于 LLMLingua-2 模型，通过智能压缩提示词中的冗余内容，帮助开发者在不修★ 323picollmpicollm 是一个专注于设备端（on-device）大语言模型推理的开源项目，通过 X-Bit 量化技术实现高效的模型压缩与推理。它支持 Gemma、Lla★ 318LLM-TPULLM-TPU 是一个面向算能（Sophgo）BM1684X 和 BM1688 系列 TPU 芯片的开源推理项目，旨在让生成式 AI 模型（如大语言模型）直接运★ 316jax-llm-examplesjax-llm-examples 是一个用纯 JAX 实现的极简大语言模型示例集合，目标是让开发者以最少依赖理解并跑通 LLM 的训练与推理全流程。它不依赖 P★ 286SiLLMSiLLM 是一个基于 Apple MLX 框架的开源工具，旨在简化在 Apple Silicon 芯片上训练和运行大语言模型（LLM）的流程。它解决了 Mac★ 282modern-llm-notebook这是一个从零开始构建现代大语言模型的实战课程，基于 PyTorch 和 Jupyter Notebook 实现。项目包含 26 个可运行的 Notebook，覆★ 263MixEvalMixEval 是一个大语言模型评估套件，提供动态更新的评测数据集和标准化评估流程。它解决传统静态基准测试因数据泄露和过拟合导致模型分数虚高的问题，通过混合多种★ 253LLMtunerLLMtuner 是一个旨在简化大语言模型微调过程的 Python 工具库，口号是“几行代码微调大模型”。它支持多种任务类型，包括文本到文本（Text2Text★ 251transformer-tricks这是一个关于Transformer模型加速技巧与工具的集合仓库，主要面向深度学习工程师和研究者，解决Transformer推理和训练速度慢的问题。项目以TeX文★ 234spectralquantSpectralQuant 是一个针对大语言模型推理时 KV-Cache 压缩的开源工具库。它通过特征基旋转（Eigenbasis Rotation）和基于注水★ 204ShannonBaseShannonBase 是一个面向 AI 时代的下一代数据库基础设施，定位为“AI 时代的 MySQL”。它旨在解决传统数据库在支撑 AI 应用时面临的痛点，如★ 197rapid_llmrapid_llm 是一个基于 Triton 内核实现的轻量级类 LLaMA 大模型推理框架，用 Python 编写，目标是在不依赖庞大生态的前提下提供可读、可★ 195DyPRAGDyPRAG 是一个基于 arXiv 论文实现的动态参数检索增强生成框架，旨在解决大语言模型在测试时知识过时或缺失的问题。它通过动态识别输入查询中需要更新的参数★ 185captain-clawCaptain Claw 是一个自托管的 AI 智能体编排框架，用于管理多个专业智能体组成的“舰队”，支持集成推理和完整的智能体编码流水线。它解决的是单一智能体★ 174LLM-Minutes-of-MeetingLLM-Minutes-of-Meeting 是一个基于 Python 的开源工具，旨在把会议录音或视频文件自动转成文字记录，并借助大语言模型生成简洁的会议纪要★ 174ram-coffersram-coffers 是一个面向 LLM 推理的基础设施优化项目，通过 NUMA 感知的权重银行（weight banking）技术，在 refurbishe★ 172libre-chatlibre-chat 是一个免费开源的 LLM 聊天机器人 Web UI 和 API 项目，主打自托管和离线运行。它基于 Python 和 LangChain ★ 171spellbook-dockerspellbook-docker 是一个基于 Docker 的 AI 模型集成部署工具，旨在简化多种 AI 模型的本地运行与交互。它解决了 AI 爱好者与开发者★ 171

相关标签

llm3432large-language-models1059ai2792llmops233llm-serving37rag1205llama249pytorch605openai1221python1570vllm87local-llm144