GPU算力调度不再靠猜：GPUWorks让资源分配与模型切换可追溯-中关村在线

? ? 你是否也遇到过这些问题？

GPUWorks 正是为解决这些问题而生。

它只有 40+MB，一条命令即可安装，不依赖 Kubernetes；内置的 AI 助手可以直接参与故障诊断，每一次调度都给出依据。我们把"模型 × 芯片"的组合逐一列明，近 400 个模型、1000+ 套启动配置开箱即用；用休眠唤醒让多个大模型分时共用同一批 GPU。

体积小，不代表功能简单，更不代表能力弱。在真机测试中，一个 GPUWorks Server 纳管了 1,003 台 GPU 服务器，4 分钟跑起 500 余个推理服务副本；每秒输出 6.9 万 token，Server 只占用 9 核 CPU、1.6 GB 内存；唤醒一个休眠的 DeepSeek-V4.1-Flash 最快仅需 3.6 秒。从 GPU 硬件健康到每一个请求的延迟，都有完整的监控与分析；从主机 RDMA 网络到昇腾灵衢 HCCS，都能自动发现与纳管；从放置决策到模型切换，每一步调度都有据可查。

这就是 GPUWorks。今天，我们以 Apache-2.0 协议将它正式开源。

● GitHub 仓库： https://github.com/flitai-io/gpuworks/

● 文档站：https://gpuworks.readthedocs.io

?GPUWorks 能做什么？

GPUWorks 是一款轻量级 GPU 统一管理与 MaaS 平台，安装包 40+ MB。 通过简单命令，即可将自有 GPU 服务器、公有云主机、私有云虚拟机、容器及 Mac 等异构资源接入平台，构建统一的 GPU 算力池。

在此基础上，用户可以选择所需模型，由 GPUWorks 自动评估显存需求、匹配 GPU 资源，并调用 vLLM、SGLang 或 Strata、ninfer 等推理引擎与模板完成部署，最终通过统一的 OpenAI 兼容接口提供 AI 服务。

平台支持 NVIDIA、华为昇腾、平头哥 PPU、海光 DCU 和 Apple Silicon 等多种异构加速器。未来还将进一步支持 Kubernetes 集群和 Slurm 分区，并将算力池的应用范围从 AI 推理扩展至模型微调与训练。

?? GPUWorks 如何工作？

GPUWorks 采用 Server + Agent 的分布式架构，以一个 Server 作为统一管理入口，通过 Agent 将分布在本地、云端及 Mac 上的计算节点连接起来。

通过这一架构，GPUWorks 将分散的异构计算资源连接为统一算力池，并将资源管理、模型部署和 AI 服务访问整合在同一个平台中。

?GPUWorks 有哪些亮点？

1. 超轻量部署

GPUWorks 采用轻量化 Server + Agent 架构，以静态二进制交付，无需依赖 Kubernetes。通过简单命令即可部署控制面，并逐步接入物理机、虚拟机、容器及云端 GPU 资源。轻量的部署方式降低了 AI 推理平台的基础设施门槛，也让资源管理不再依赖复杂的集群环境。

2. 大规模异构算力管理

GPUWorks 面向多节点、跨环境的异构算力场景设计，支持 NVIDIA、AMD、华为昇腾、平头哥 PPU、海光 DCU、Apple Silicon 等多种加速器。通过统一接入与管理，将不同来源、不同架构的计算资源纳入同一平台。经 1,000 个真实节点、3,000 个实例的测试，验证了平台在大规模资源环境下的管理与扩展能力。

3. 智能调度与高效利用

GPUWorks 不仅关注模型能否部署，更关注有限算力如何承载更多模型与请求。平台支持在线推理与离线任务混合调度，并通过 GPU 分时复用，让一套 GPU 资源承载多组模型，实现模型间的资源复用与快速切换，提升硬件利用率与服务部署灵活性。

?GPUWorks 的设计理念

GPUWorks 继承了 ZStack[2] 产品一贯的 4S 设计理念：SIMPLE（简单）、SCALABLE（弹性）、STRONG（健壮）和 SMART（智能）。这四项原则贯穿平台的架构设计与功能实现，也体现了 GPUWorks 对 AI 推理基础设施的理解。

SIMPLE 简单 —— 降低部署门槛，减少重复适配

开始使用一套推理平台，不必先搭建复杂的基础设施。GPUWorks 的 Server 与 Agent 以静态二进制交付，无需先搭建 Kubernetes，一条命令即可安装控制面，内置中英文 Web 界面。模型与镜像支持离线导入，便于在企业内网部署；算力查看、模型部署与在线试调用集中在同一平台，减少工具切换。

新模型上线，也不必每次从头准备环境。内置覆盖 300 多个模型的 1,200 多个推理模板，将镜像、引擎、权重版本与启动参数沉淀为可复用的部署方案。团队按模型与硬件条件选择模板，把重复适配的时间留给模型效果和业务验证。

模板保留可复用的适配配置，减少引入新模型时的重复准备

SCALABLE 弹性 —— 让模型共享算力，让算力随业务扩展

GPUWorks 同时支持 显存共享与分时使用算力。通过 dGPU 为多个模型分配显存；对于支持休眠的单机部署，还可以设置常驻、闲置出让、分时轮转等策略，让不同模型按业务优先级共享同一批 GPU。由共享策略休眠的模型，可在请求到来后自动唤醒，再继续处理请求。结合定时休眠、唤醒与副本调整，团队可以安排白天在线服务、夜间批量任务，让算力分配跟随业务节奏变化。

模型变大、请求增多时，跨节点多副本分担请求，多机并行让多个节点共同运行更大的模型，PD 分离按负载分别配置预填充与解码资源。团队可以组合不同的扩展方式，并通过内置压测比较吞吐与延迟，为扩容提供依据。

在部署界面选择单机、多机或 PD 分离，为 Prefill 与 Decode 分别配置节点并行参数

扩展也包括算力来源。支持 NVIDIA、AMD、华为昇腾、平头哥 PPU、海光 DCU、Apple Silicon 等 AI 芯片，将自有服务器、公有云和私有云资源接入同一平台。规模验证覆盖 1,000 个节点、3,000 个实例，检验多节点环境下的调度与管理能力。

同一模型以多个副本提供服务，集中查看副本就绪状态并配置请求路由

STRONG 健壮 —— 从硬件健康到服务恢复，保障推理持续运行

GPUWorks 将 硬件健康纳入资源调度，结合显存错误、设备故障与链路异常等信息，停止向故障卡分配新任务，并依据检查结果确认恢复状态。部署前检查运行条件，运行期间持续协调实例状态；节点失联时按策略重新调度，节点维护时先创建替代副本、再排空原副本，持续处理硬件异常、节点变化与服务故障。

多机部署前，先确认参与节点的资源满足要求，再启动模型。通过 RDMA 带宽测试、节点互测与 PD 传输自检验 证通信链路；指定的 RDMA 通信不可用时明确报错，不静默回退 TCP。运行中按节点查看网卡收发与 RDMA 流量，跟踪高速互联状态。

按节点查看网络中的网卡收发与 RDMA 流量趋势，跟踪高速互联运行状态

应用通过 OpenAI 兼容入口调用模型服务，结合 API Key 鉴权、请求故障切换与用量统计支撑业务接入。服务健康、吞吐、延迟与实例状态集中展示，日志检索和逐请求追踪进一步关联调用与运行信息，让团队从一次慢请求追到具体实例，定位性能瓶颈与故障原因。

服务状态与请求指标集中呈现，为异常排查和持续运行提供依据

SMART 智能 —— 让资源分配有依据，让调度过程可追溯

模型放在哪个节点、请求分给哪个副本，都有具体的判断依据。部署前，平台根据模型、引擎与硬件条件评估显存，解释候选节点的选择与排除原因；运行时，网关按请求负载选择副本，也可按前缀保持亲和。多机部署按存储、参数与服务流量配置网络，自动选择可用的 RDMA 端口并生成通信参数，减少手工配置。

部署前查看候选节点与放置策略，结合显存构成、最低启动需求和调度器选择结果确认资源安排

运行中，通过 集群 GPU 热力图和模型驻留时间线，查看每张卡由谁使用、模型何时休眠或唤醒，以及资源为什么发生切换。结合服务时长、切换次数与请求等待统计，团队可以判断共享策略是否合适，找到频繁切换或等待集中的位置，让自动调度的过程可见、可追溯。

按 GPU 查看模型驻留与状态切换，结合出让策略和调度活动追溯算力共享过程

排障从平台已有信息出发。配置好大模型端点后，AI 助手围绕实例故障、模型适配、调度与节点健康进行只读诊断；只读 MCP 接口 让开发人员在熟悉的客户端中查询模型服务和集群状态。管理员与开发人员使用同一份运行信息，减少在页面、终端与日志之间来回查找。

AI 助手结合日志、镜像缓存与副本状态分析实例故障，并给出对应的排查与处理建议

? GPUWorks 使用演示

从控制面手动安装，到通过 Web 界面接入计算节点、部署模型，再到对外提供 AI 服务，本视频将演示 GPUWorks 如何将计算资源转化为可调用的 AI 模型服务。

60 秒安装一个 MaaS 平台，10 分钟拉起第一个模型

? 快速部署

GPUWorks 提供了 AI 安装、一键安装和手动安装 三种方式实现快速部署。

? 前置条件

● 安装主机为 Linux 或 Mac

● 首次安装时，安装目录至少有 2 GiB 空闲

● 监听端口未被其他进程占用

● 安装或升级时需取得发布包

● Linux 使用 systemd、Mac 使用 launchd 时需要 root 或 sudo 更多详细条件请参考文档站：前置条件

? 让 AI 编程助手帮你装

把下面这段贴给能在你的服务器上执行命令的 Claude Code、Codex、Cursor 等助手：

在这台主机上安装 GPUWorks 控制面并验证。1. 执行 `bash <(curl -fsSL https://dl.gpuworks.ai/get.sh) --quiet`：它会下载最新构建、校验后安装为监听 8800 端口的服务（需要时用 sudo）。如果我没有 sudo 或没有 systemd，在命令后追加 `--dir ~/gpuworks-server --no-systemd`。2. 用 `curl -fsS http://<监听地址>/healthz` 验证（应包含 "status":"ok"），并把安装摘要告诉我：访问地址、安装目录、数据目录，以及 admin 初始密码存放在哪。3. 非必需不要开防火墙端口、不要改动其他服务、不要接入 GPU 节点。告诉我 GPU 节点应该用哪个地址访问 server，节点我会在 Web 界面里自己加。

?一键安装

在目标主机（Linux 或 Apple 芯片 Mac）的终端执行：

bash <(curl -fsSL https://dl.gpuworks.ai/get.sh)

脚本挑选响应最快的发布源（中国大陆通常是阿里云 OSS 或华为云 OBS），下载本机平台的发布包并按 SHA256SUMS 校验，再运行 ./gpuworks install，之后的交互提问与下文第 3、4 步相同。还没有 release 版本时自动改装 nightly。脚本后面的参数原样传给 gpuworks install，例如 bash <(curl -fsSL https://dl.gpuworks.ai/get.sh) --quiet；用环境变量 GPUWORKS_CHANNEL=nightly 指定渠道，GPUWORKS_SOURCE=<源地址> 指定发布源。脚本源码见仓库 scripts/get.sh。

?? 手动安装

适合需要自己核对每一步，或主机只能离线拷入发布包的场景，按操作步骤在 Linux 目标主机的终端执行。更多详细条件请参考文档站。

? 直播预约

如果你对 GPU 算力、AI 基础设施、异构算力调度、模型部署及 MaaS 平台等领域感兴趣，这场直播千万不要错过！

11 月 6 日（周五）14:00，云轴科技 ZStack CTO 王为将带来一场硬核实战直播：从零开始部署 1000 台 GPU 服务器，1 小时完成上线开服，全程展示真实操作过程。欢迎预约！

本周五下午 2 点，我们直播间见！

? 欢迎加入 GPUWorks 社区

GPUWorks 的开源之路才刚刚开始。无论你是 AI 开发者、基础设施工程师，还是硬件厂商，都欢迎参与进来，尝试不同的模型与算力组合，分享使用经验，反馈问题，与我们一起完善 GPUWorks。

体验 GPUWorks，参与开源共建！

● GitHub： https://github.com/flitai-io/gpuworks/

● 文档站：https://gpuworks.readthedocs.io

● 微信交流群