产品动态

各产品线的版本发布、能力升级与重要更新

返回列表

算力不够别急着买卡,先给 GPU 排班提效!


晚上十点,一家金融机构当天的业务材料已经收齐。白天用来查制度、查条款的在线模型,这会儿已经很少收到请求。另一边,夜间批处理要给这批材料分类、提取字段,赶在第二天上班前交付结果。

两项业务的高峰正好错开,可批处理模型还是拿不到卡:在线模型的权重仍驻留在显存里,占着整组八张 GPU。

类似的矛盾,很多部署了多个大模型的企业都会遇到。业务部门看到的是缺卡:新模型要上线,后台任务在排队,资源清单上却找不到一组可分配的 GPU。负责采购的人看到的却是另一组数字:已有设备只在部分时段跑满,算力利用率还有很大的提升空间。

两边看到的都是实情。大模型的资源往往按部署长期分配,业务对算力的需求却有高峰、有低谷。于是,一组卡即使几个小时都没多少计算任务,也很难腾给正在排队的模型。

下一笔预算,该不该再买卡?

如果几项业务都要在同一时段满负荷运行,扩容有充分的理由。可如果白天忙的是在线问答,夜里忙的是文档处理,为两者各配一组八卡,采购成本上去了,两组设备却各有半天用不充分。算清这笔账,除了看每个模型需要几张卡,还得看它们究竟有多少时间需要同时用卡。

GPUWorks 分时复用让多个大模型可以在不同时间使用同一组完整的 GPU。交接时间明确的业务,可以提前设好定时计划;请求到达时间不固定的业务,可以按闲置时长、本轮服务时间或优先级交接。这样,白天的在线服务仍能独享八张卡,夜里的批处理也能用上这八张卡,无须每天安排人手停服、换模型。

01 / SHARED GPU RESOURCES

GPUWorks 分时复用如何让多个模型共用一组卡

在 GPUWorks 中,管理员可以把多个模型部署在同一组 GPU 上,并为每个部署设置出让策略。这样,当其他模型也需要用卡时,GPUWorks 就能根据当前用卡模型的策略,判断它什么时候该让出资源。

比如,DeepSeek、Qwen 和 GLM 共用一组八卡。DeepSeek 正在用这八张卡处理请求时,Qwen 也发来了用卡请求。等到 DeepSeek 满足出让条件,它会按预设规则处理当前请求,再进入休眠、释放显存。Qwen 随即接手这八张卡,恢复服务。如果接下来 GLM 也在等卡,就由 Qwen 的出让策略决定下一次交接的时机。

多个模型轮流使用同一组八卡 · 分时复用示意
多个模型轮流使用同一组八卡 · 分时复用示意

以这组卡的总显存约 1 TB 为例,如果三个模型都需要整组卡,分别独占部署,就要为每个模型各留一组。采用分时复用后,三个模型先后使用同一组八卡,每次运行都能用到完整的 1 TB 显存。

通过分时复用,三个大模型轮流使用同一组八卡,用约 1 TB 显存承接三份用卡需求,实现“三倍超分”的效果。

02 / HANDOVER POLICIES

什么时候让卡,可以给每个模型单独设策略

4种出让策略

同样是有模型在等卡,当前服务是否应该让出资源,取决于它承担的工作。GPUWorks 提供四种出让策略,配置在当前占用 GPU 的部署上。

出让策略
有其他部署等卡时,当前模型如何处理
不自动出让
继续占用 GPU。需要保持常驻的在线服务,可以用这一项。
闲置自动出让连续一段时间没有用户请求,且有其他部署在等卡,才让出。比如设为 60 秒,期间收到新的用户请求,闲置时间就重新计算。健康检查不计入用户请求。
按时自动出让
达到闲置阈值可以让出。与其他同样配置了按时自动出让的部署轮用时,本轮服务达到设定上限也可以让出。比如每轮 120 秒,双方都有任务在等,就依次轮换。
随时出让更高优先级的部署发来用卡请求,当前模型即使还在忙,也会开始交接。普通任务可以这样为关键业务让位。
闲置达标且有其他部署等卡时,自动交接 · 计时为加速示意
闲置达标且有其他部署等卡时,自动交接 · 计时为加速示意

这里有个容易忽略的区别。“按时自动出让”计算的是模型这一轮已经服务了多久。 如果如果没有别的模型过来请求资源,即使用满 120 秒,也可以继续用卡。

定时计划

如果要求的是“每个工作日晚上十点交班”,则可以在定时计划里添加休眠指令,设好星期、时间和休眠级别。白天需要常驻的模型可以配置“不自动出让”,晚上十点仍会按计划休眠。

到了交卡时间,模型可能还在回答用户的问题。在线问答希望用户能收到完整答复,紧急任务却可能需要尽快接手 GPU。为兼顾这两种需求,GPUWorks 支持管理员在部署时预设当前请求的处理方式。

选择等待完成,可以设置最长等待时间,让模型有机会答完当前问题再交卡。选择立即中断,模型会停止当前请求,直接开始交接,等待用卡的业务可以更早接手。

03 / SLEEP & WAKE

卡让出去了,模型多久能回来

如果每次轮到一个模型,都要从存储重新读取整套权重,短短几分钟的空档很难用起来。GPUWorks 为此提供了两种休眠级别。

采用 L1 休眠时,推理引擎保留,模型权重从 GPU 显存转移到主机内存。其他模型可以使用腾出的 GPU,原模型下次获得资源时,再从内存把权重载回显存。

主机内存空间紧张时,也可以采用 L2 深度休眠,将权重转移到磁盘。

在 GPUWorks 的实测中,一台配备 8 张 H200 的服务器上,三个模型都采用八卡张量并行部署。

传统冷启动要重启推理引擎、从 NFS 重新读取权重、装载八卡显存,再完成初始化与预热,服务恢复耗时 16 至 17.5 分钟。同组硬件上,L1 唤醒约为 4 秒。在本次实测中,与传统 NFS 冷启动相比,GPUWorks 分时复用通过 L1 唤醒,将模型服务恢复效率提升了 200 多倍。

同一组 8×H200 · L1 约 4 秒为本次实测;冷启动流程为加速示意,非等比例计时
同一组 8×H200 · L1 约 4 秒为本次实测;冷启动流程为加速示意,非等比例计时

04 / USE CASES

四种典型的 GPU 分时复用场景

场景一|模型选型与测试

给企业内部的 AI 助手选模型,研发需要让 DeepSeek、Qwen 和 GLM 各答一遍同一套问题,再逐题比较。三个模型可以先后运行,但如果每换一个模型都要找人停服务、重新部署,一套测试做下来,时间很容易花在等机器上。

在给研发安排的测试时段内,可以把三个候选模型都设为按时自动出让,每轮最长服务时间设为 120 秒,交接时选择等待当前请求完成。

这样,DeepSeek 本轮到时,可以在配置的等待上限内答完手上的问题,再交给排队的 Qwen,随后轮到 GLM。测试程序按模型分别记录回答。最后拿来比较的是同一套题、同一组硬件上的三份结果,一组 GPU 就能完成这次选型。

场景二|白天在线,夜间跑批

开头那组八卡有一个明确的交接时刻。在 GPUWorks 里,管理员给在线模型配置不自动出让,再到“定时计划”中添加休眠指令,选好执行的周期、释放资源的时间和休眠级别。这样,即使已有一批文档排队,在线模型也会继续响应查询。

到了约定时间,休眠指令生效,等待中的批处理模型即可接手这组卡。

批处理模型也可以另配闲置自动出让。如果某晚文档少,任务提前做完,只要闲置达到阈值、另有其他模型再等卡,剩下的夜间时段就能继续给其他任务使用。

22:00 按计划交接,夜间批处理接手同一组 GPU · 场景示意
22:00 按计划交接,夜间批处理接手同一组 GPU · 场景示意

场景三|关键业务优先用卡

有些请求等不到晚上十点。比如普通模型正在整理一批资料,关键业务的问答请求随时可能进来。如果专门为关键业务模型留一组卡,没人提问时卡就一直空耗;如果让它排在整批资料后面,又可能错过响应时机。

可以把关键业务模型作为 P0 优先级,可以配置闲置自动出让;把普通业务模型作为 P1 优先级,可以配置随时出让。普通业务平时照常工作。

关键请求到来时,普通业务模型按预设的交接规则收尾,例如在等待上限内完成当前这份资料、保存结果,然后让出 GPU。关键模型接手,优先回答这次提问。

关键模型答完问题后,如果连续 60 秒没有收到新的用户请求,而且资料整理模型仍在等卡,关键模型就会按闲置自动出让策略把这组 GPU 交回给资料整理模型。资料整理模型接着处理下一份资料。

场景四|两个积压队列持续轮用

离线数据合成要生成一批问答样本,文档摘要也排着一长串任务。两项工作优先级相同,都能分条处理。等样本全部生成才开始做摘要,意味着第一份摘要也要跟着等完整个队列。

这时可以给两个部署设置相同优先级,都选按时自动出让,每轮最长 120 秒。只要对方还有任务在等,当前模型用满一轮、按规则处理完手上的请求,就轮到对方。

合成程序逐条保存样本,摘要程序逐份保存结果,下一轮各自从待处理项继续。即使两边的队列一直都不空,当天也可以陆续拿到两类产出。如果其中一边先做完,另一边可以接着跑,无须为了一个已经清空的队列定时停下来。

决定是否增购 GPU,先看各项业务是否需要同时用卡。多个模型同时满载,算力仍要按峰值准备。用卡时段能够错开,GPUWorks 分时复用就能让同一组 GPU 承接更多工作。

05 / COMMUNITY

加入社区

GPUWorks 的开源之路才刚刚开始。无论你是 AI 开发者、基础设施工程师,还是硬件厂商,都欢迎参与进来,尝试不同的模型与算力组合,分享使用经验,反馈问题,与我们一起完善 GPUWorks。

体验 GPUWorks,参与开源共建!

联系我们