基于IB交换机的AIDC组网方案
随着科技的不断进步，智算中心高性能计算已广泛应用于各个领域，尤其是在大规模科学计算和大数据分析等方面。
使用InfiniBand网络，采用QM9790 IB交换机作为核心设备，该设备具备64个400G端口的强大功能。
1：1无阻塞的网络架构。
计算网络架构是一个 balanced、 full-fat tree。
通过 rail-optimized （轨道优化）技术到达顶层。
支持最新的SHARPv3功能。
Spine到Leaf级联：
在Spine到Leaf的级联设计中，我们注重优化网络连接性能，避免任何可能导致网络拥塞的情况。通过合理的配置，我们能够使交换机之间的传输速率峰值达到或接近理论上的最大值，从而确保计算任务的高效执行。
每个Leaf使用400G光纤上联Spine。即每个Leaf与每个Spine之间使用400G光纤进行连接。
Leaf下联到服务器层：
在Leaf下联到服务器层的连接中，我们采用了Superpod的方案，并实现了轨道优化的功能。通过这种方式，我们确保了GPU之间的通信速率不会受到物理连接的影响，从而达到了最佳的性能表现。这种优化措施能够最大限度地提高数据传输速度，进而加速计算过程。
在Leaf-服务器端的连接中，我们划分多个组（SU），每个组包括8个Leaf和32台服务器。每个服务器的8张网卡都通过一条400G光纤上联至8个Leaf。这种灵活的配置使得我们的网络架构可以适应不同的计算需求，无论是大规模的并行计算任务还是高度复杂的计算任务，都可以在这个平台上得到高效的处理。
计算网络架构拓扑图
图 1 计算网架构图
使用InfiniBand网络，采用QM9790 IB交换机作为核心设备，该设备具备64个400G端口的强大功能。
存储网络架构是一个 full-fat tree。
独立于计算结构，以最大限度地提高存储和应用程序的性能。
它很灵活，可以扩展以满足特定的容量和带宽要求。
1：1无阻塞的网络架构。或者3:5收敛比的组网方式（Leaf上联24、下联40）。
满足单台存储设备配备1*400G （CX7）或者2*200G（CX6、CX7）网卡需求。
Spine到Leaf级联：
我们在确保了每台Leaf交换机分别接入Spine交换机的端口数量是相同的，这样可以减少网络拥塞的可能性，并使得性能峰值能够达到或接近交换机之间的理论最大传输速率。这种设计确保了数据的顺畅流动和高效的存储访问。
在Spine-Leaf端，每台Leaf使用400G光纤上联Spine。此外，若有剩余端口，则可用于接入UFM服务器。这种连接方式确保了光纤资源的充分利用和网络的稳定性。
Leaf下联到服务器层：
在Leaf-GPU服务器端，为了确保数据传输的稳定性和高效性，Leaf使用400G光纤来下联每台GPU服务器。
在Leaf-存储服务器端，针对不同的存储设备类型，我们采用不同的连接方式。如果使用Connext-7网卡，我们采用400G到200G的一分二光纤跳线加模块方式连接；如果使用Connext-6网卡，我们则采用OSFP到2*QSFP56 HDR规格的一分二成品线缆方式连接。这样的设计既考虑了不同设备的兼容性，也保证了数据传输的性能和稳定性。
图 2 存储网架构图
使用以太网，采用SN 4600C 以太网交换机作为核心设备，该设备具备64个100G端口的强大功能。
此网络用于节点配置、数据移动、互联网访问和其他用户必须可访问的服务。
1：1无阻塞的网络架构。或者4：5收敛比的组网方式（Leaf上联28、下联35）。
带内管理网络架构是一个 full-fat tree。
Spine到Leaf级联：
在Spine到Leaf的连接方式中，我们确保了每台Leaf交换机连接至Spine交换机的端口数量相等，以降低拥塞风险，并确保交换机之间的传输速率峰值能够达到或接近理论最大值，每台Leaf交换机使用100G线缆上联至Spine。
Leaf下联到服务器层：
在下联至服务器层的部分，我们配置多个端口用于连接各个节点（包括GPU服务器、存储设备及管理节点），每台设备都使用一条100G成品线缆进行接入，以确保稳定的数据传输和管理操作。
图 3 带内管理网架构图
使用以太网，采用SN 2201 以太网交换机作为核心设备，该设备具备48个1G端口的强大功能。
带外管理网络连接了所有的基本管理控制器（BMC）端口，以及其他应该与系统用户进行物理隔离的设备。
采用1G接入
需要使用多台具备1G、10G端口的以太网交换机作为Leaf层设备，同时配备多台10G以太网交换机作为Spine层设备。这样最多可以接入多个节点。
采用10G接入
需要使用多台具备10G、100G端口的以太网交换机作为Leaf层设备，同时配备多台100G以太网交换机作为Spine层设备。这样最多可以接入多个节点。
Spine到Leaf级联：
在Spine到Leaf的级联部分，我们确保了每台Leaf交换机连接至Spine交换机的端口数量完全相等。这种设计有助于降低网络拥塞的风险，并确保交换机之间的传输速率峰值能够达到或接近理论最大值。每个Leaf交换机使用10G或100G成品线缆上联至Spine的方式。
Leaf下联到服务器层：
在Leaf层设备下联至服务器层部分，我们配置了多个端口，用1G或者10G的线缆连接各个节点，确保了稳定的数据传输和管理操作。
图 4 带外管理网架构图
恒豹智网 IB 价值与优势
⇘ 专家级服务
专业、全面、可靠的方案与服务团队，为客户提供小时级的快速响应服务