llm-training
本站收录 41 个带「llm-training」标签的 AI 开源项目
gitleaksGitleaks 是一个用 Go 编写的开源密钥扫描工具，专门用于检测 Git 仓库中的敏感信息泄露，如密码、API 密钥、令牌等。它解决的是开发者在代码提交过★ 29,556
llm-actionllm-action 是一个面向大模型工程师和开发者的开源知识库与实战指南，系统梳理了大模型从训练、微调到推理部署的全链路技术原理与工程实践。项目以教程和代码示★ 25,121
ludwigLudwig 是一个基于 Python 的低代码机器学习框架，旨在让开发者无需编写大量底层代码即可构建、训练和部署定制化的大语言模型、神经网络及其他 AI 模型★ 11,771
skypilot面向前沿 AI 团队的计算平台，将分散在不同云厂商的 GPU 算力整合成一台“AI 超级计算机”。它支持在多云环境下统一调度资源、自动选型最优实例并显著节省成本★ 10,665
Liger-KernelLiger-Kernel 是 LinkedIn 开源的一套面向大语言模型训练的 Triton 内核集合，目标是解决 LLM 微调与训练中显存占用高、计算效率低的★ 6,636
rllmrllm是一个致力于将强化学习（RL）技术普及到大型语言模型（LLM）训练与推理中的开源框架。它主要解决当前LLM在复杂推理、决策和智能体任务中依赖监督微调、泛★ 5,851
h2o-llmstudioH2O LLM Studio 是一个用于大语言模型（LLM）微调的开源框架和无代码图形界面（GUI）。它解决了开发者微调 LLM 时面临的高技术门槛和复杂流程问★ 5,184
openlakeOpenLake 是一个用 Rust 编写的高性能存储引擎，专为大型语言模型（LLM）推理和 GPU 训练而设计。它解决的是传统数据存储系统在 AI 工作负载下★ 2,656
verl-agentverl-agent 是 veRL 的扩展，专注于通过强化学习训练 LLM/VLM 智能体，也是论文《Group-in-Group Policy Optimiz★ 2,352
MoBAMoBA 是一种面向长上下文大语言模型的新型注意力机制，核心思想是将输入序列划分为多个块，并采用混合专家（MoE）的思路，让每个查询只关注最相关的少数块，从而将★ 2,191
nvidia_gpu_exporternvidia_gpu_exporter 是一个用 Go 编写的 Prometheus 导出器，通过调用 nvidia-smi 二进制文件采集 NVIDIA GP★ 1,561
GraphGenGraphGen 是一个面向大语言模型监督微调的数据合成框架，核心思路是用知识图谱驱动合成数据生成。它从给定知识源（如文档、知识库）中抽取实体与关系，构建知识图★ 1,226
AI-CompassAI-Compass 是一个面向 AI 学习者的开源知识导航与路线图项目，用 Python 组织内容，目标是解决 AI 领域知识点庞杂、学习路径混乱的问题。它把★ 965
awesome-on-policy-distillation这是一个围绕大语言模型在线策略蒸馏（On-Policy Distillation，OPD）的资源合集，系统整理了论文、技术报告、框架和工具。它解决的核心问题是：★ 850
LLM-PowerHouse-A-Curated-Guide-for-Large-Language-Models-with-Custom-Training-and-Inferenc这是一个精选的大语言模型（LLM）实战指南仓库，旨在帮助开发者通过教程、最佳实践和可直接运行的代码，掌握自定义训练与推理的全流程。项目内容涵盖从数据准备、模型微★ 733
long-context-attentionlong-context-attention 是面向长上下文 Transformer 训练与推理的序列并行注意力实现，核心是 USP（Unified Seque★ 695
LLM-FineTuning-Large-Language-Models该项目是一个专注于大语言模型（LLM）微调的教学型开源仓库，主要使用 Jupyter Notebook 编写，旨在帮助开发者系统学习和实践大模型微调技术。它解决★ 578
tigerTiger 是一个开源的 LLM 工具包，旨在构建可信赖的大语言模型应用。它包含三个核心组件：TigerArmor 专注于 AI 安全，提供模型防护、提示注入检★ 405
LightRFTLightRFT 是一个轻量、高效、支持全模态的强化微调（RFT）框架，核心思路是用奖励模型驱动训练，把强化学习引入大语言模型和多模态模型的微调流程。它解决了传★ 404
ReaLHFReaLHF 是一个面向大语言模型的高效 RLHF（基于人类反馈的强化学习）训练框架，通过参数重新分配技术显著提升训练效率。它解决了传统 RLHF 训练中计算资★ 336
pmetalPMetal 是一个面向 Apple Silicon 的高性能本地大模型框架，用 Rust 编写，目标是在 Mac 上把 LLM 推理、LoRA/QLoRA 微★ 321
rlixrlix 是一个面向强化学习（RL）实验的基础设施工具，旨在解决 RL 研究者频繁运行实验时 GPU 等待时间长、资源利用率低的问题。它通过智能调度和资源管理，★ 296
SiLLMSiLLM 是一个基于 Apple MLX 框架的开源工具，旨在简化在 Apple Silicon 芯片上训练和运行大语言模型（LLM）的流程。它解决了 Mac★ 283
MLX-LoRA-StudioMLX-LoRA-Studio 是一款原生 macOS 应用，让用户在 Apple Silicon 芯片的 Mac 上直接完成大语言模型的 LoRA 微调，全程★ 271
LLMtunerLLMtuner 是一个旨在简化大语言模型微调过程的 Python 工具库，口号是“几行代码微调大模型”。它支持多种任务类型，包括文本到文本（Text2Text★ 252
cevahir-aicevahir-ai 是一个全栈开源 AI 引擎，用于构建语言模型，覆盖从分词器训练、Transformer 架构、认知推理到聊天管线的完整流程。它旨在为开发者★ 243
minimind-deep-dive这是一个以 MiniMind 开源大模型源码为切入点，面向中文读者的深度学习笔记项目。它逐行精读预训练、SFT、DPO、PPO、GRPO 等核心训练机制，帮助读★ 222
modern-llm-notebook这是一个从零开始构建现代大语言模型的实战课程，基于 PyTorch 和 Jupyter Notebook 实现。项目包含 26 个可运行的 Notebook，覆★ 219
Awesome-Multi-Token-Prediction这是一个聚焦大语言模型多Token预测（Multi-Token Prediction, MTP）技术的资源合集，系统整理了相关论文、工具与开源实现。MTP 的核★ 208
tracemlTraceML 是一个开源的 PyTorch 训练性能诊断工具，旨在帮助开发者定位和解决训练过程中的性能瓶颈。它通过自动捕获和分析训练运行时的性能数据，提供可视★ 185
runbooksRunbooks 是一个基于 Kubernetes 的 LLM 微调工具，旨在通过声明式工作流简化大语言模型的微调过程。它利用 Kubernetes 的弹性资源★ 169
BlaGPTBlaGPT 是一个用于基准测试语言模型架构、层和技巧的实验性游乐场，专注于在较小数据集上进行灵活实验。它解决了研究人员和开发者难以快速对比不同模型设计（如注意★ 115
agentic-rlagentic-rl 是一个面向中文零基础学习者的 Agentic RL 教程项目，共 25 章，从强化学习与智能体基础概念讲起，逐步过渡到 GRPO 实战，并★ 114
get-beamget-beam 是一个面向 AI 基础设施的早期开源项目，旨在让用户以无服务器（Serverless）方式运行 GPU 推理和训练任务。它解决了传统 GPU ★ 104
Cyber-ZeroCyber-Zero 是一个专注于网络安全智能体训练的开源项目，其核心创新在于无需运行时环境即可训练网络安全智能体。它解决了传统网络安全智能体训练中依赖真实或模★ 100
LLF-BenchLLF-Bench 是一个专门评估智能体仅通过语言反馈进行学习能力的基准测试平台。它解决了当前强化学习与交互式智能体研究中，反馈信号过于结构化或数值化，而真实人★ 99
Awesome-LLMs-ICLR-24Awesome-LLMs-ICLR-24 是一个专门整理 ICLR 2024 会议上所有大语言模型（LLM）相关论文的资源合集。它解决了研究者难以系统追踪顶级会★ 72
remote-gpu-trainerremote-gpu-trainer 是一个面向深度学习实验生命周期的 Agent Skill 工具，旨在解决远程 GPU 训练中实验管理混乱、结果不可复现、交★ 63
audiotokenaudiotoken 是一个专注于音频令牌化的开源项目，旨在以最快的方式将音频信号转换为离散的令牌序列，供音频生成模型（如音乐生成、语音合成）使用。它解决了传统★ 56
litmusLitmus 是一个面向生成式 AI 应用开发的 LLM 测试与评估平台。它通过友好的用户界面，帮助开发者系统化地构建和评估基于大语言模型的应用性能。项目解决了★ 52
sugarcane-aisugarcane-ai 是一个面向 Prompt 的 npm 风格包生态系统，旨在解决 Prompt 复用、管理和分发难题。它将 Prompt 视为可版本化的★ 52