器件选型与工程师成长

功耗散热限制推动超10万加速器AI集群跨数据中心

来源:海外媒体 2026-11-20 19:58 1 次阅读 约 1,881 字 · 预计阅读 5 分钟

AI集群快速增长正推动计算基础设施突破单个数据中心的物理与电力限制,并催生新的网络架构需求,使其能够连接多个设施甚至地理区域的计算资源。在2026超级计算大会(SC26)上,俄亥俄州立大学研究人员讨论了高性能网络技术演进。他们在会议上解释称,如此规模的高效分布式计算不仅需要更快的网络连接,还强调跨域扩展的重要性,以便将工作负载延伸至不同地理区域的多个数据中心。

配图

大规模系统需要新型互连

现代AI集群通常容纳超过10万个AI加速器,并可能有数百万个CPU端点,这对网络带宽、时延和拥塞管理提出极高要求。同时,加速器计算性能的持续提升速度快于通信能力,这意味着更快的AI GPU不一定带来成比例的应用性能提升。因此,网络基础设施效率决定大规模AI系统能否有效利用其计算资源。

传统上,高性能计算系统依赖两大互连域:纵向扩展(scale-up)和横向扩展(scale-out)。纵向扩展网络使用超威Infinity Fabric、英特尔UPI、英伟达NVLink,或UALink等新兴替代方案,在紧密集成系统内连接处理器和加速器。横向扩展网络通常依赖以太网、InfiniBand、慧与Slingshot,或近期的Ultra Ethernet,将单台服务器或机柜级系统连接成更大集群。这些互连对带宽、时延和可扩展性有不同要求,因此服务于不同用途。

跨域互连架构渐近

然而,现代AI集群的巨大规模和功耗催生了第三互连域,即跨域扩展(scale-across)。与通常连接单个数据中心内系统的横向扩展网络不同,跨域架构将高性能连接扩展至不同建筑、园区甚至区域之间。

这种方法使运营方能够整合多个地点的计算及其他资源,以达到一定性能水平,而不是将过多加速器集中到单个数据中心;由于电力供应、散热需求或物理空间限制,后者可能困难甚至不可能。

向跨域架构的过渡已经开始。谷歌今年早些时候推出Virgo网络架构,以支持超出单个数据中心空间和电力容量的AI工作负载。该公司打算将整个计算设施园区视为单一系统,同时为加速器、服务器和数据中心之间的通信提供专用网络。思科和迈威尔也在开发面向跨域部署的技术,包括大容量路由器、交换芯片和光互连,用于连接地理分布的集群。

并非没有挑战

将AI基础设施扩展到单个设施之外会带来重大技术挑战。虽然现代纵向扩展网络能在相对短距离内提供极高带宽和低时延,但数据中心之间的通信必须面对长距离连接的物理限制。即使光网络也无法消除传播时延,而拥塞、丢包和同步开销可能进一步降低有效性能。因此,用高速链路连接两个大型GPU集群,不一定能让它们像一个紧密集成的计算系统那样运行。

这些挑战对AI训练尤为重要,因为加速器会频繁交换模型参数、梯度和中间结果。大规模工作负载需要高效集合通信,因为影响个别加速器的延迟会显著降低整个集群的性能。因此,分布式计算效率不仅取决于原始网络带宽,还取决于网络拓扑、拥塞管理、通信协议和软件实现。

需要更复杂的硬件与软件

为解决这些限制,网络适配器和交换机正变得空前复杂。现代网络接口控制器可在无需CPU持续参与的情况下执行远程直接内存访问(RDMA)操作,而慧与Slingshot硬件集合和英伟达SHARP等技术可将某些通信操作卸载到网络基础设施本身。智能网卡和数据处理单元进一步减轻主机处理器负担,因为它们会用专用硬件处理选定的网络和基础设施功能。这些能力可以提升分布式应用效率,而不一定需要更快的物理互连。

值得注意的是,软件对大规模AI基础设施性能同样重要,因为libfabric、MPI或UCX等通信框架决定应用如何交换数据并使用现代网络适配器的能力。研究人员表示,GPU感知通信和GPUDirect RDMA等技术可消除通过主机内存的不必要传输,而优化后的集合操作可减少大量加速器之间的通信开销。

AI基础设施复杂性提升也改变了运营方评估网络性能的方式。尽管行业持续推出更快的互连技术,包括标称带宽为800Gb/s和1.6Tb/s的GbE版本,但峰值传输速率本身并不能完全描述特定系统的能力,因为实际应用性能取决于多个因素,包括网络硬件和软件如何有效协作传输数据、防止拥塞,并在数千个处理器间同步计算。

演进仍在继续

最终,跨域互连架构的出现反映了AI基础设施设计的根本变化。随着单个加速器计算能力提升,以及AI集群扩展超出单个设施,高效通信变得与处理器性能同等重要。因此,下一代AI系统不仅依赖更快的AI加速器或CPU,还依赖复杂的网络适配器、交换机,以及或许更重要的软件;这些软件能够在不过度增加通信开销的情况下整合地理分布的计算资源。

来源: 海外媒体

更多选型与成长文章