
项目预览
项目数据
项目介绍
Star 增长趋势
本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整
数据来源:GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 494
使用教程
ℹ 本教程由 AI 依据该项目 README 整理,个别步骤可能需要按你的环境微调。
环境要求
- 多卡 GPU
- 较大显存
- 容器运行时
安装与启动步骤
-
1看它的发布形态
仓库主要给部署方式与推理入口。
-
2起推理服务
用高效推理引擎起服务。
python -m sglang.launch_server --model-path dots.llm1.inst --tp 8 --host 0.0.0.0 --port 8000 -
3按卡数调并行度
并行度填错会直接起不来。
-
4压一轮看吞吐
长文本场景重点看首字延迟。
-
5核对许可
商用条款要单独确认。
如何确认成功
服务起来后能完成一次长文本推理,首字延迟与吞吐在可接受范围且输出连贯
注意事项
- 它是开源大模型的发布仓库,重点是权重与部署方式。
- 并行度参数必须与实际卡数匹配。
- 长文本场景的首字延迟比吞吐更影响体感。
- 权重许可以仓库声明为准,商用前单独确认。
核心亮点
- 提供base和instruct双版本,覆盖预训练与对话场景
- 官方仓库包含训练与推理代码,降低复现门槛
- 针对中文优化,适合中文NLP任务落地
不足之处
- 文档/社区待观察
- 模型规模与基准测试数据未明确,需自行验证
适用场景
- 中文文本生成与理解任务
- 领域大模型微调起点
- 学术研究与模型对比实验
替代项目
Qwen、ChatGLM、Baichuan
同类项目推荐
cosmos-predict1
开源
通用世界模型底座,微调即可预测物理场景未来
Cosmos-Predict1 is a collection of general-purpose world foundation models for Physi···
LlamaGen
开源
用语言模型的方式生成图像,自回归也能打败扩散模型
Autoregressive Model Beats Diffusion: Llama for Scalable Image Generation
Awesome-Multi-Turn-LLMs
开源
一张图看懂多轮LLM研究全景,快速定位关键论文和数据集
This is the official GitHub repository for our survey paper "Beyond Single-Turn: A S···
Awesome-CVPR2026-CVPR2025-ICCV20···
开源
一键速览CVPR/ICCV/ECCV最新AIGC论文与代码
A Collection of Papers and Codes for CVPR2026/CVPR2025/ICCV2025/CVPR2024/ECCV2026/EC···
MiniMax-M2
开源
写代码、跑智能体,一个模型全搞定
MiniMax-M2, a model built for Max coding & agentic workflows.
EVE
开源
去掉视觉编码器,直接用像素训练多模态模型,更简单高效。
EVE Series: Encoder-Free Vision-Language Models from BAAI
ml-slowfast-llava
开源
不训练也能做视频问答,双路抽帧直接跑出强基线
SlowFast-LLaVA: A Strong Training-Free Baseline for Video Large Language Models
Awesome-LLM-Ensemble
开源
一页看尽LLM集成研究,快速定位核心论文
A curated list of Awesome-LLM-Ensemble papers for the survey "Harnessing Multiple La···
Consistency_LLM
开源
让大模型并行吐字,推理速度翻倍
[ICML 2024] CLLMs: Consistency Large Language Models