
inference-cookbook-das
照着手册在 HCU 上把模型跑起来并调出性能
项目预览
项目数据
项目介绍
Star 增长趋势
本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整
数据来源:GitHub API 逐日快照 · 收录于 2026-11-22 · 当前星标 ★ 112
核心亮点
- 以实操步骤和参数建议为主,能直接照着复现部署与调优流程
- 覆盖模型加载、精度选择、批处理与并发等关键调优维度,形成完整链路参考
- 把非主流硬件上的常见坑位集中记录,减少重复试错成本
不足之处
- 偏经验手册性质,缺少统一封装,难以直接作为工程依赖集成
- 围绕特定硬件生态,通用性和跨平台迁移能力有限
- 早期项目,示例覆盖面与更新频率有待观察
适用场景
- 在新硬件平台上快速验证某类模型能否跑通
- 为团队建立该硬件上的推理性能基线与调优规范
- 排查部署阶段的算子兼容、显存与吞吐问题
替代项目
vllm、TensorRT-LLM、llama.cpp
同类项目推荐
ccs
开源
一个命令行搞定所有 AI 账号和模型切换
Switch between Claude accounts, Gemini, Copilot, OpenRouter (300+ models) via CLIPro···
AIStudioToAPI
开源
一个服务把 AI Studio 变成三种通用大模型 API
A wrapper that exposes Google AI Studio Build as OpenAI, Gemini, and Anthropic compa···
Awesome-LLM-Inference
开源
大模型推理优化论文与代码,一页找齐
A curated list of Awesome LLM/VLM Inference Papers with Codes: Flash-Attention, Page···
vllm-deepseek-v4-sm89
开源
让新模型在 4090 等消费卡上跑起 vLLM 推理
Run DeepSeek-V4.1-Flash / DeepSeek-V4-Flash and GLM-5.3-Flash on SM89 (Ada / RTX 409···
vllm-plugin-FL
开源
让 vLLM 一套代码跑多种国产芯片
A vLLM plugin built on the FlagOS unified multi-chip backend.
Uptime Kuma
开源
自托管开源监控工具,界面友好
A fancy self-hosted monitoring tool
openlit
开源
一键接入,全栈监控你的 LLM 应用,从开发到生产。
Same agent, Smaller bill. The tools and infrastructure to get more work from your AI···
nbox
开源
用命令行搞定 NimbleBox 上的机器学习部署与运维
The official python package for NimbleBox. Exposes all APIs as CLIs and contains mod···
tiny-vllm
开源
用 C++/CUDA 手写一个能跑的迷你 vLLM
Build your own high performance LLM inference engine in C++ and CUDA - a smaller ver···