inference-cookbook-das

照着手册在 HCU 上把模型跑起来并调出性能

开源 🏷️完全免费 🔧 仅开源项目,无在线服务,需自行部署 基础设施 🍴 复刻 55 🐛 待处理 61 👀 关注 2
GitHub ↗
GitHub 星标 ★ 112
维护状态 活跃
是否开源 开源
定价模式 🏷️完全免费 开源仓库,免费使用

项目预览

inference-cookbook-das 项目界面预览图
图片来源:GitHub 官方仓库名片

项目数据

分类基础设施
开发团队HYGON-AI
定价模式🏷️完全免费
价格说明开源仓库,免费使用
访问状态🔧 仅开源项目,无在线服务,需自行部署
是否开源是
开源协议MIT
主要语言Python
GitHub 星标★ 112
上线时间2026-05-09 00:00:00
代码更新2026-11-20
仓库体积3.3 MB
本站数据更新2026-11-22
维护状态活跃
收录时间2026-11-22
浏览次数0

项目介绍

inference-cookbook-das 是一个面向 HCU 硬件的 AI 推理实践手册型仓库,用 Python 示例整理模型部署、性能调优与稳定运行的经验。它要解决的问题是:在非主流加速卡上跑模型时,环境配置、算子兼容、显存与吞吐调优都缺少成体系的参考,开发者往往只能靠零散试错。仓库把可复现的步骤、参数建议和常见坑位集中成文档加代码的形式,覆盖从模型加载、精度选择到批处理与并发配置的完整链路,核心能力是提供可照做的操作路径和调优基线,而不是一个通用推理框架。适合需要在新硬件上快速验证模型可行性、建立性能基线的团队作为起步参考,也便于把内部经验沉淀成统一规范。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整

数据来源:GitHub API 逐日快照 · 收录于 2026-11-22 · 当前星标 ★ 112

核心亮点

  • 以实操步骤和参数建议为主,能直接照着复现部署与调优流程
  • 覆盖模型加载、精度选择、批处理与并发等关键调优维度,形成完整链路参考
  • 把非主流硬件上的常见坑位集中记录,减少重复试错成本

不足之处

  • 偏经验手册性质,缺少统一封装,难以直接作为工程依赖集成
  • 围绕特定硬件生态,通用性和跨平台迁移能力有限
  • 早期项目,示例覆盖面与更新频率有待观察

适用场景

  • 在新硬件平台上快速验证某类模型能否跑通
  • 为团队建立该硬件上的推理性能基线与调优规范
  • 排查部署阶段的算子兼容、显存与吞吐问题

替代项目

vllm、TensorRT-LLM、llama.cpp

上一篇:tract

下一篇:rtx6kpro

同类项目推荐

ccs 开源

一个命令行搞定所有 AI 账号和模型切换

Switch between Claude accounts, Gemini, Copilot, OpenRouter (300+ models) via CLIPro···

★ 2907 2026-08-09
AIStudioToAPI 开源

一个服务把 AI Studio 变成三种通用大模型 API

A wrapper that exposes Google AI Studio Build as OpenAI, Gemini, and Anthropic compa···

★ 1873 2026-11-10
Awesome-LLM-Inference 开源

大模型推理优化论文与代码,一页找齐

A curated list of Awesome LLM/VLM Inference Papers with Codes: Flash-Attention, Page···

★ 5565 2026-10-25
vllm-deepseek-v4-sm89 开源

让新模型在 4090 等消费卡上跑起 vLLM 推理

Run DeepSeek-V4.1-Flash / DeepSeek-V4-Flash and GLM-5.3-Flash on SM89 (Ada / RTX 409···

★ 209 2026-10-28
vllm-plugin-FL 开源

让 vLLM 一套代码跑多种国产芯片

A vLLM plugin built on the FlagOS unified multi-chip backend.

★ 144 2026-10-14
Uptime Kuma 开源

自托管开源监控工具,界面友好

A fancy self-hosted monitoring tool

★ 94724 2026-08-19
openlit 开源

一键接入,全栈监控你的 LLM 应用,从开发到生产。

Same agent, Smaller bill. The tools and infrastructure to get more work from your AI···

★ 3094 2026-08-09
nbox 开源

用命令行搞定 NimbleBox 上的机器学习部署与运维

The official python package for NimbleBox. Exposes all APIs as CLIs and contains mod···

★ 87 2026-08-09
tiny-vllm 开源

用 C++/CUDA 手写一个能跑的迷你 vLLM

Build your own high performance LLM inference engine in C++ and CUDA - a smaller ver···

★ 1207 2026-09-16