项目预览
项目数据
项目介绍
Star 增长趋势
本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整
数据来源：GitHub API 逐日快照 · 收录于 2026-09-16 · 当前星标 ★ 215
核心亮点
- 把推理、微调、多 GPU 扩展收进同一套 Python 工具包，减少组件拼装成本
- 推理侧强调速度优化，适合本地快速验证模型效果
- 支持多 GPU 并行，单机多卡即可扩展更大模型，降低分布式门槛
不足之处
- 项目处于早期，星标约 206，生态与文档成熟度有限
- 相比 vLLM、DeepSpeed 等成熟方案，社区案例和第三方集成较少
适用场景
- 本地或自建服务器上快速部署开源 LLM 做推理测试
- 用自有数据对开源模型做轻量微调与领域适配
- 单机多卡环境下扩展模型规模，验证并行推理与训练效果
替代项目
vLLM、DeepSpeed
上一篇：openai
下一篇：guardrails
同类项目推荐
twelvet
开源
一键搭建微服务+AI后台，省去基础架构重复劳动
（Spring Boot 3. X Microservices framework） 基于Spring Boot 3.X 的 Spring Cloud Al···
semantic-router
开源
用语义向量秒级决策，让 AI 路由更聪明。
Superfast AI decision making and intelligent processing of multi-modal data.
chitra
开源
一个库搞定深度学习从训练到部署的全流程
A multi-functional library for full-stack Deep Learning. Simplifies Model Building, ···
DelphiOpenAI
开源
Delphi 开发者快速接入 ChatGPT 等 AI 服务，几行代码搞定。
OpenAI (and DeepSeek, Azure OpenAI, YandexGPT, Ollama, GigaChat, Qwen) API wrapper f···
genblaze
开源
统一编排多模态AI媒体生成，每个输出都带来源证明。
Genblaze is an open source Python SDK for orchestrating generative AI media pipeline···
claude-desktop-cn
开源
让 Claude 桌面端说中文，本地代码管理更顺手
中文 Claude Desktop / Claude Code 桌面客户端：中文界面、本地 Code 工作区、GitHub 导入···
llm-ui
开源
用 React 快速搭建 LLM 聊天界面，流式输出开箱即用
The React library for LLMs
NexAU
开源
注册工具就能让大模型自主调用，快速搭出能干活的智能体
NexAU (AU for Agent Universe), a general-purpose agent framework for building intell···
agf
开源
一个终端命令，找回所有 AI 助手的聊天记录
Find, search, and resume local AI coding-agent sessions across Muse Code, Claude Cod···