llm-inference 第 3 页
本站收录 133 个带「llm-inference」标签的 AI 开源项目（按 GitHub 星标从高到低，第 3 / 3 页）
runbooksRunbooks 是一个基于 Kubernetes 的 LLM 微调工具，旨在通过声明式工作流简化大语言模型的微调过程。它利用 Kubernetes 的弹性资源★ 169
empiricalempirical 是一个用于测试和评估大语言模型（LLM）及其配置的开源基础设施工具。它帮助开发者在应用开发过程中，针对所有关键场景对模型进行系统性的测试和评★ 166
llm4regressionllm4regression 是一个研究项目，旨在系统评估大型语言模型（LLM）在上下文学习（in-context learning）场景下处理合成回归任务的能★ 162
aibitataibitat 是一个基于 TypeScript 的多智能体对话框架，旨在帮助开发者构建由多个 AI 代理协作完成任务的应用程序。它解决了单个 LLM 在处理复★ 152
moe-l2moe-l2 是一个面向低显存消费级 GPU 的 MoE 模型推理优化项目，核心解决 100B+ 参数混合专家模型（如 DeepSeek、Qwen、Mixtra★ 151
gpt4localgpt4local 是一个轻量级的本地大语言模型推理工具，提供 OpenAI 兼容的 API 接口，并支持文档问答。它旨在解决用户在使用本地模型时面临的部署复杂★ 149
Gensokyo-llmGensokyo-llm 是一个用 Go 编写的开源智能体项目，旨在为多平台聊天机器人提供统一的大模型接入层。它解决了开发者在不同聊天平台（如 QQ、微信等）和★ 139
mlx-flashmlx-flash 是一个针对 Apple Silicon 的开源工具，通过权重流式加载技术，让 MLX 框架能够运行超过设备内存容量的超大模型。它解决了 Ap★ 138
sndr_core_engineSNDR Core Engine (Genesis) 是一个针对消费级 NVIDIA GPU（如 RTX 3090、A5000）的 vLLM 运行时补丁覆盖层，★ 133
EcoAssistantEcoAssistant 是一个旨在降低大语言模型（LLM）使用成本并提升回答准确性的开源对话助手项目。它通过智能的查询路由和结果缓存机制，将用户请求分配给最合★ 132
kitchenaikitchenai 是一个面向 AI 团队的开源 LLMOps 工具，旨在简化大语言模型应用的开发、部署和运维流程。它解决了 AI 团队在模型管理、提示词迭代、★ 130
llm-inferencellm-inference 是一个基于 Python 的 LLM 推理 API 和聊天机器人项目，旨在为开发者提供便捷的大语言模型部署与交互能力。它解决了从模型★ 124
deepseek-local-guide-ru这是一个俄语版的 DeepSeek 本地部署完整指南，面向希望在个人电脑、Mac 或服务器上离线运行 DeepSeek V4、R1 等模型的用户。项目以 She★ 124
SLEDSLED 是一种用于提升大语言模型事实准确性的解码策略，通过自我逻辑演化（Self Logits Evolution）在生成过程中动态调整输出概率分布，减少幻觉★ 123
twosetaitwosetai是一个早期开源项目，主要提供搜索知识相关的代码和材料，以Jupyter Notebook为主要形式。项目旨在分享和整理关于搜索技术、信息检索或知★ 111
emmyemmy 是一个面向 LLM 推理的 GPU 编译器优化工具，旨在解决大模型推理性能调优复杂、门槛高的问题。它提供了一系列预置的优化配方，用户可以直接选用，也可★ 111
bedrock-claude-chatbotbedrock-claude-chatbot 是一个基于 Amazon Bedrock 大模型构建的个人私有聊天机器人，主要解决企业或个人在对话场景中对数据隐私★ 109
pasllmPasLLM 是一个用 Object Pascal 编写的 LLM 推理引擎，支持在 Delphi、Free Pascal 和 Lazarus 环境中运行。它旨★ 106
ReadyLLMReadyLLM 是一个面向本地大模型部署与运维的可视化基础设施工具。它把模型下载、量化、推理服务启动、运行监控和参数调优整合到一个图形界面中，底层基于 lla★ 106
free-llm-api-hubfree-llm-api-hub 是一个持续校验的免费及试用额度 LLM API 数据集，面向需要低成本调用大模型的开发者。它解决的核心问题是：网上免费 API★ 105
LLMinatorLLMinator 是一个基于 Gradio 的对话助手工具，旨在让用户直接从 Hugging Face 运行开源大语言模型。它解决了普通用户配置本地 LLM ★ 99
sample-genai-on-eks-starter-kit这是一个在 Amazon EKS 上快速部署生产级生成式 AI 基础设施的工具包。它解决了企业在 AWS 上搭建 GenAI 平台时面临的组件集成复杂、配置繁琐★ 96
llm-inference-solutions这是一个收录大语言模型（LLM）推理解决方案的精选列表，旨在为开发者提供一站式的推理工具参考。项目整理了当前主流的推理框架、服务化方案和优化库，涵盖从本地部署到★ 94
Awesome-LLMs-ICLR-24Awesome-LLMs-ICLR-24 是一个专门整理 ICLR 2024 会议上所有大语言模型（LLM）相关论文的资源合集。它解决了研究者难以系统追踪顶级会★ 73
PalmHill.BlazorChatPalmHill.BlazorChat 是一个基于 Blazor WebAssembly、SignalR 和 WebAPI 构建的聊天应用与 API 项目，旨在★ 72
DARTDART 是一个旨在加速大语言模型推理的推测解码（Speculative Decoding）方法的官方实现。它受扩散模型启发，通过引入一种新的采样与验证机制，在★ 72
aiml-companionAI-ML Companion 是一个交互式学习平台，旨在通过可视化方式帮助用户理解人工智能和机器学习。它包含22个学习轨道和300多个模块，提供实时可视化演示★ 72
llmedgellmedge 是一个面向 Android 的原生 AI 推理库，旨在将大语言模型、图像生成、图像识别、视频处理、语音识别（STT）和语音合成（TTS）等能力集★ 71
gemma4.javagemma4.java 是一个纯 Java 实现的 Gemma 4 模型推理引擎，旨在为 JVM 生态提供轻量、高效的本地大语言模型运行能力。它解决了 Java★ 70
GuidedQuantGuidedQuant 是 ICML 2025 论文的官方 PyTorch 实现，提出一种利用端到端损失引导的大语言模型量化方法。传统量化方法通常依赖逐层或局部★ 58
audiotokenaudiotoken 是一个专注于音频令牌化的开源项目，旨在以最快的方式将音频信号转换为离散的令牌序列，供音频生成模型（如音乐生成、语音合成）使用。它解决了传统★ 56
llmtracellmtrace 是一个零代码的 LLM 安全与可观测性代理，专为 OpenAI 兼容 API 设计。它作为中间层，实时拦截并分析请求与响应，提供提示注入检测、★ 53
vllm-chatterbox-streamvllm-chatterbox-stream 是一个基于 vLLM 推理引擎的多语言文本转语音（TTS）服务，兼容 OpenAI API 接口，支持实时 PCM★ 8