项目预览
项目数据
项目介绍
Star 增长趋势
本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整
数据来源：GitHub API 逐日快照 · 收录于 2026-09-16 · 当前星标 ★ 720
使用教程
ℹ 本教程由 AI 依据该项目 README 整理，个别步骤可能需要按你的环境微调。
环境要求
- Python 3.9+
- CPU 即可（模拟）
安装与启动步骤
-
1建环境
用配置文件建环境。
conda env create -p ./env -f ./environment.yml -
2激活
环境装在项目目录下。
conda activate ./env -
3跑默认模拟
不带参数跑一遍看输出。
python -m vidur.main -
4指定负载
用真实 trace 跑更接近生产。
python -m vidur.main --trace_request_length_generator_config_trace_file ./data/processed_traces/splitwise_conv.csv
如何确认成功
运行后输出吞吐与延迟指标表。
注意事项
- 它是模拟器，不真正跑模型，不需要 GPU。
- 参数组合多，先用默认配置看结果结构。
核心亮点
- 算子级建模精度高，能复现 vLLM 等真实引擎的吞吐与延迟趋势
- 支持大规模配置扫描，单机即可评估多种模型、硬件与并行策略组合
- 模块化架构，便于扩展新模型、调度算法与硬件参数
不足之处
- 模拟结果仍依赖底层性能剖析数据，跨硬件迁移需重新校准
- 项目处于早期阶段，生态与文档完善度有待提升
适用场景
- 部署前做 GPU 容量规划与 SLO 评估
- 对比不同批处理/调度策略对推理吞吐的影响
- 研究新型并行方案或 KV Cache 管理算法
替代项目
vLLM、TensorRT-LLM
同类项目推荐
agent-trace
开源
给 AI 智能体装上监控，看清每一步动作和花费
Observability for AI agents. See what your agent did, why it cost that much, and wha···
azhpc-images
开源
一键构建 Azure 上优化好的 HPC/AI 虚拟机镜像，省去环境配置烦恼
Azure HPC/AI VM Images
scout_apm_ruby
开源
Ruby 应用性能探针，装上就能定位慢请求和慢 SQL
ScoutAPM Ruby Agent. Supports Rails, Sinatra, Grape, Rack, and many other frameworks
ESEILANE
开源
为 AI 和 LLM 打造的高性能知识图谱引擎，让 GraphRAG 更快更聪明。
High-performance Knowledge Graph engine for AI, LLMs, and GraphRAG — built for the ···
WebAI-to-API
开源
把网页版AI变成API，轻松接入你的应用
Webchat to API
hazmat
开源
给 AI 代理套上安全笼子，防破坏防泄露，还能一键回滚
Containment for AI agents - user isolation, sandboxed execution, network controls, b···
gigatoken
开源
用 Rust 把分词速度拉到 GB/s，告别数据预处理瓶颈
Language model tokenization at GB/s
runanywhere-sdks
开源
本地跑AI，生产级工具包，低延迟高隐私
Production ready toolkit to run AI locally
casbin-gateway
开源
给 AI 和 MCP 服务加一道安全闸门，防攻击、控权限。
See what every AI coding agent on your machine is doing, and whether the API behind ···