ReadyLLM

图形界面一键部署本地大模型，还能顺手跑图生视频

ReadyLLM 是一个面向本地大模型部署与运维的可视化基础设施工具。它把模型下载、量化、推理服务启动、运行监控和参数调优整合到一个图形界面中，底层基于 llama.cpp 和 GGUF 格式，通过 FastAPI 暴露服务接口，让不熟悉命令行的用户也能在本地跑起 LLM。除了文本模型，它还借助 ComfyUI 支持图像和视频生成，相当于把 LLM 推理和 AIGC 生成统一到一个控制台里。核心能力包括：一键部署本地模型、实时查看推理性能、调整量化与推理参数，以及在同一界面管理生成式任务。适合想在本地或私有环境快速搭建 LLM 服务、又不想深陷配置细节的开发者与团队。