40+MB，纳管千台 GPU 服务器！GPUWorks 正式开源！

在和用户的交流中，我们反复听到这样几个问题：

• 手里只有几台 GPU 服务器，为此搭一套复杂的基础设施，得不偿失；

• AI 与 GPU 的运维复杂，平台不够简单、不够智能，管理员就用不起来。

• 很多平台都说支持异构，却不说清楚哪张卡能跑哪个模型，异构就始终落不了地。

• 卡不多，切分只能解决小模型的部署，大模型的利用率又该如何提升？

  
  

GPUWorks 正是为回答这些问题而生。

它只有 40+ MB，一条命令即可安装，不依赖 Kubernetes；内置的 AI 助手可以直接参与故障诊断，每一次调度都给出依据。

我们把“模型 × 芯片”的组合逐一列明，近 400 个模型、1000+ 套启动配置开箱即用；用休眠唤醒让多个大模型分时共用同一批 GPU。

体积小，不代表功能简单，更不代表能力弱。在真机测试中：

一个 GPUWorks Server 纳管了 1,003 台 GPU 服务器，4 分钟跑起 500 余个推理服务副本；每秒输出 6.9 万 token，Server 只占用 9 核 CPU、1.6 GB 内存；唤醒一个休眠的 DeepSeek-V4.1-Flash 最快仅需 3.6 秒。

从 GPU 硬件健康到每一个请求的延迟，都有完整的监控与分析；从主机 RDMA 网络到昇腾灵衢 HCCS，都能自动发现与纳管；从放置决策到模型切换，每一步调度都有据可查。

GPUWorks 是一款面向企业的轻量 AI 推理平台，将不同厂商、不同来源的算力纳入统一管理，通过模型与硬件匹配、显存评估和模板化部署，向业务应用提供可通过 OpenAI 兼容接口调用的模型服务。

GitHub 代码仓库：

https://github.com/flitai-io/gpuworks/ 

企业与开发者可以获取代码、使用和修改平台，也可以贡献推理模板与芯片适配。

亮点一：极致轻量40+ MB 轻量起步
60 秒 完成平台安装部署

搭建企业 AI 推理平台，从一个 40+ MB 安装包开始。GPUWorks 无需预先搭建 Kubernetes，一条命令、60 秒完成平台安装部署。管理员可以通过浏览器进入管理界面，接入计算节点、查看算力资源，为后续模型部署做好准备。企业内网也可离线导入安装包、模型文件与运行镜像，按自身环境推进建设。

平台装得快，模型上线也有现成方案可用。GPUWorks 为近 400 个模型提供 1000+ 套启动配置，将镜像、推理引擎、权重版本与启动参数整理为可复用的一键部署方案。管理员根据模型与硬件条件选择模板，结合显存评估安排资源，减少反复准备环境与调整配置的工作。

亮点二：分时复用一组 GPU 承载多个大模型
策略驱动高效自动切换

配置复用策略，平台自动协调模型切换。管理员可按业务需要设置优先级、闲置出让或定时轮转策略，平台据此协调模型休眠、资源释放与唤醒。需要多张 GPU 协同运行的模型，以整组 GPU 为单位让出和收回资源，减少管理员反复手工停启模型、调整资源的工作。

从十几分钟到约 4 秒，模型服务唤醒效率提升约 200 倍。通过 L1 休眠将模型权重保留在主机内存中，GPUWorks 在唤醒时无需重启引擎、从存储重新读取权重，降低模型交替运行的等待成本。在 8 × H20 实测中，三个大模型均采用八卡并行部署，轮流使用同一组 GPU；从 NFS 读取权重冷启动需要 16—17.5 分钟，内存唤醒恢复服务仅需约 4 秒。

亮点三：千节点规模统一管理 1000+ 节点算力
让平台随业务一起成长

0~1000+ 节点规模，算力统一管理、按需扩展。企业可以从现有设备开始建设，随业务增长持续接入计算节点，在同一平台查看资源、部署模型并跟踪运行状态。从少量模型试用到多个业务持续调用，管理员能够统一安排算力与模型服务。

算力来自不同地方，部署和管理集中在一个平台。GPUWorks 支持 NVIDIA、AMD 等芯片，也广泛适配国产算力，覆盖华为昇腾、平头哥 PPU、海光 DCU 等多种国产 AI 芯片，为企业采用国产算力提供更多选择。自有机房、私有云与公有云中的裸机、虚拟机和云容器均可纳入统一管理。平台根据模型适配条件筛选可用硬件，帮助企业整合已有设备，并用云上资源补充所需卡型与容量，减少为不同环境分别维护部署工具的工作。

突破单机容量限制，按业务负载扩展服务能力。多机并行让多台机器协同承载单机无法运行的大模型，扩大企业可部署的模型范围；多副本将请求分配到多个实例，提升并发处理能力，缓解业务高峰时的排队压力。对于适用的模型，PD 分离将输入处理与内容生成分开部署，便于按两个阶段的实际负载分别配置和扩展资源，减少资源错配，针对性能瓶颈投入算力。管理员还可结合服务状态、请求指标与日志，判断扩容后是否改善了响应表现，持续调整资源配置。

企业私有化推理平台建设：让多个应用共用一套模型服务

在企业自有环境中，统一支撑知识检索、智能问答、语音交互与内容生成。GPUWorks 支持模型与镜像离线导入、节点间同步和模板化部署，便于在内网或外网访问受限的环境中建设推理平台。不同类型的模型可以持续接入，为各业务应用提供统一的调用入口，减少各部门重复搭建和维护。

跨云与多厂商算力协同：把分散设备组织成可用资源

整合现有算力，按需引入云端资源，满足多样化的硬件与容量需求。面对分散在自有机房、私有云和租用云 GPU 上的资源，GPUWorks 统一接入裸机、虚拟机与云容器，按模型适配条件选择硬件。管理员可以在同一平台安排不同环境中的模型部署，整合现有投入，并按业务需要补充算力。

有限算力下的新模型验证：兼顾模型迭代与业务连续性

新模型不断出现，企业可以在现有算力上持续验证。管理员通过推理模板和显存评估安排部署，结合 dGPU 共卡与 vLLM 休眠腾出资源。对于多副本服务，可以只休眠部分副本，保留其他副本继续服务，让模型试用与业务运行共享现有算力，减少每次验证新模型都要新增设备的压力。

大模型与高并发服务扩容：模型放得下，请求接得住

根据模型大小和业务调用量，选择合适的扩容方式。GPUWorks 支持多机并行、多副本与 PD 分离，并结合空闲卡、芯片架构和共同网络选择节点，配置 RDMA 或昇腾 HCCS 通信。扩容前，管理员可通过内置压测观察吞吐与延迟，判断现有配置能承载多少请求，再决定增加多少资源。

推理用量核算与算力效能分析：看清资源花在哪里

哪些应用调用多、哪些资源闲置，用数据支撑投入决策。GPUWorks 按 API Key、模型和部署统计 Token 用量与缓存命中情况，并结合 GPU 占用时长、每生成百万输出 Token 所需的卡时及闲置 GPU 分析，帮助企业开展内部用量核算，识别可回收资源，为后续扩容提供依据。

在线推理服务维护与故障恢复：让维护和排障有序进行

从节点维护到服务异常，减少管理员逐台排查与手工恢复的工作。需要迁出节点上的服务时，平台先补充副本，再让原副本完成已有请求后退出；节点长期失联后，自动选择符合条件的节点恢复服务。管理员可以结合请求追踪、日志与 AI 诊断，定位慢请求和实例故障，掌握问题原因与处理方向。

Make Any GPU Work.

从 40+ MB 的轻量起步，到大模型秒级切换，再到 1000+ 节点统一管理，GPUWorks 希望让企业更容易开始，也更有能力持续扩大 AI 应用：把已有算力用起来，把空闲时间利用起来，把模型服务交到真正需要它的业务手中。

开源让这条路向更多人敞开。企业可以检视和扩展平台，开发者可以贡献模板，硬件伙伴可以完善适配，共同让更多模型在更多算力上运行。

欢迎体验 GPUWorks，反馈使用问题，或参与推理模板与芯片适配，让你的实践帮助更多团队用好模型与算力。

GitHub 代码仓库：

https://github.com/flitai-io/gpuworks/

扫描下方二维码加入 GPUWorks 社群，与开发者、企业技术团队和硬件伙伴交流部署经验，讨论产品需求，共同完善 GPUWorks。