项目预览
项目数据
项目介绍
Star 增长趋势
本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整
数据来源：GitHub API 逐日快照 · 收录于 2026-10-01 · 当前星标 ★ 911
使用教程
ℹ 本教程由 AI 依据该项目 README 整理，个别步骤可能需要按你的环境微调。
环境要求
- NVIDIA GPU 或昇腾 NPU
- 约 100GB 模型空间
安装与启动步骤
-
1看部署矩阵
官方给 Docker 与 SGLang 两种起法，按硬件选。
-
2SGLang 起服务
单机多卡用 sglang 起 OpenAI 兼容端点。
python -m sglang.launch_server --model-path /path/to/Spark-X2.6 --port 30000 -
3Docker 起
镜像方式更适合隔离环境，注意共享内存与 IPC 参数。
docker run --rm --gpus all -p 30000:30000 spark:x2.6 -
4昇腾设备
有 NPU 的机器要加 ASCEND_USE_FIA 与 host 网络。
docker run -it --rm -e ASCEND_USE_FIA=1 --network=host --ipc=host --shm-size=16g spark:x2.6 -
5跑基准
用官方给的脚本对齐吞吐与延迟，别只用单条请求测。
如何确认成功
端点返回正常，压测吞吐符合文档量级。
注意事项
- 另有 MLX 与插件仓库，Mac 本地跑需要单独装 Spark-MLX-LLM。
核心亮点
- 针对端侧硬件优化，可在 llama.cpp/MLX/Ollama 等本地框架直接加载运行
- 主打 Agentic 能力，覆盖工具调用、多步推理与 AI Coding 场景，而非单纯聊天
- 同时上架 HuggingFace 与 ModelScope，权重获取和社区分发渠道较完整
不足之处
- 项目处于早期，498 星标，文档与评测基准尚不充分
- 端侧模型能力上限受硬件限制，复杂任务表现可能不及云端大模型
适用场景
- 在笔记本或手机上离线部署私有 AI 助手，数据不出本机
- 为本地 IDE 提供代码补全与 Agent 式编程辅助
- 在无网络或弱网环境下运行工具调用型智能体任务
替代项目
Qwen2.5-Coder、Llama-3.2、Phi-3.5-mini
同类项目推荐
tabpfn-time-series
开源
不训练，几行代码直接预测未来时间序列
Zero-shot Time Series Forecasting with TabPFN (work accepted at NeurIPS 2024 TRL and···
TabSTAR
开源
让表格数据看懂文本，预测更准一步到位
TabSTAR: A Tabular Foundation Model for Tabular Data with Text Fields
LabVLA
开源
让机器人看懂实验手册，自动完成科研操作
LabVLA: Grounding Vision–Language–Action Models in Scientific Laboratories
RET-CLIP
开源
用临床报告训练视网膜AI，零样本识别眼科疾病
RET-CLIP: A Retinal Image Foundation Model Pre-trained with Clinical Diagnostic Repo···
ERNIE
开源
用知识增强预训练，快速搞定复杂NLP任务
The official repository for ERNIE 4.5 and ERNIEKit – its industrial-grade developme···
tabicl
开源
上传表格数据，无需训练即可精准预测，让建模像聊天一样简单。
TabICLv2: An open tabular foundation model
Multimodal-AND-Large-Language-Mo···
开源
每日精选多模态与LLM论文，快速跟进前沿动态
Paper list about multimodal and large language models, only used to record papers I ···
Awesome-LLM-Long-Context-Modelin···
开源
一站式掌握大模型长上下文技术，从论文到实践
Must-read papers and blogs on LLM based Long Context Modeling
StartLux-Decision
开源
给每个选项打分，让 AI 决策可量化
Open decision models from 0.8B to 27B: a calibrated probability for every option in ···