为后100Gb/s时代挑战做准备

走得更远

有趣的是，标准一旦被制定出来，就会存在相当长的时间。据传，现代英国铁路轨距可能直接源自罗马帝国二轮战车的轮距。这个问题无需再深入讨论。影响数据中心的标准包括基础设施内的机架尺寸和间隔。典型机架为19英寸宽，42英寸长，7英尺高。这一标准已沿用了许多年。在某些行业，机架宽23英寸，目的是为了适用于电信交换机设备等应用。即使CMOS尺寸缩小带来了更高密度的集成，这些机架的体积也没有相应缩小。实际上，由于功耗和布线要求更高，它们的体积反而在不断增加。最近，开放运算项目针对一种被称为"开放式机架"(21英寸宽)的新标准制定了一些计划。不仅宽度增加，机架也变得更高。一些机架的高度甚至要达到9英尺，以最大化服务器密度。

随着机架尺寸的增加，与设备内部电子器件相关的连接器布局也要调整。同时，CMOS密度的增加，让硅制造厂商可以将原来安装在外部的物理层(PHY)器件集成到内核交换ASIC并靠近连接器。这种情况会产生两个结果：外部连接器和电子器件之间的距离增加；连接数据速率提高。这将对设计的信号完整性产生极大的影响。在许多情况下，它要求增加有源器件，对数据进行恢复和重新计时，以达到连接器的规范(图1)。现在，10Gbps传输线路受到高抖动问题的困扰，同时面临最初四通道(x4)2.5Gbps版信号的衰减问题。

图1：高速互连的发展。

对10Gbps以太网以及存储和计算来说，这就成了问题。第3版PCI Express(PCIe)等标准将通道带宽从500Mbps增加至1Gbps。通过更加高效的编码，并将传输速率从5Gbps增加至8Gbps，便可以达到这个目标。更高的传输速率会带来相同传输距离连接器规范不达标的问题，而在这一距离，使用FR4无源传输线时，PCIe 2.0却可以工作得很好。在许多情况下，面临的问题是使用更独特的PCB材料，还是有源平衡器/转接驱动器，以电学方式缩短传输线路。这可没有它看起来那么简单，因为PCIe标准使用带外(OOB)信号传输，在根组件和PCIe节点之间建立起一个有效链路。半导体厂商一般会提供允许这种标准在更长距离工作的硅组件。PCIe 4.0规范使用16Gbps通道。在机架式服务器和设备尺寸不断增大的情况下，要想达到这种标准实现通用性将变得越来越困难。

存储接口标准也做了同样的修订。在企业存储世界，标准是串行连接SCSI(SAS)，它是小型计算机系统接口(SCSI)的串行版本。SAS-2.0规范使用6Gbps通道，利用精密细致的FR4 PCB布局方法和高性能连接器可以让它再次发挥作用。SAS-3.0使用12Gbps通道，并面临与其它高速标准相同的信号完整性问题。现在，使用连接器和线缆将某个驱动器连接至系统使得这个问题变得错综复杂。线缆厂商现在正推出一种新的高性能连接器(小型SAS HD)和介电材料，以应对信号完整性降低问题。但是，要解决这个问题却并不容易，因为系统中驱动器可能会移动到更远的地方，这就要求使用更长的连接器。

功耗原则

正如前文所述，功耗是运营商和设备厂商共同关心的主要问题。即使用于设计高性能通信设备的大多数ASIC都是CMOS，但相比一些老型号产品，更新(更快)的设备实际功耗也更高。另外，有意思的是，尽管晶体管几何尺寸不断缩小并且越来越高效，但是电路设计人员却利用这种小体积优势将更多的晶体管封装到这些器件中。CMOS电路的功耗与时钟频率比例关系，因此，尽管每个晶体管的功效越来越高，但是它们的时钟频率却比早期产品快了数倍。

这种发展趋势仍将持续，并在一定程度上推动机架空间变得越来越大，从而实现更好的空气流动和更优的线缆管理。电线管理的改进可让设备的连接器具有更好的空间间隔，从而使其本身的互连不妨碍设备风扇排出的气流。但是，连接器密度迟早会扩展到填满所有有效空间的程度。

超越10Gb/s

在一些现代的数据中心，大多数互连均为铜缆或者光纤的10Gbps以太网。这些通道均为单(SFP+)通道或者分组四通道(QSFP)。不管是哪种情况，这些线缆都为全双工。今天的一些标准传输速度都超过了10Gbps以太网。一种是光纤通道，现在的速度已经达到16Gbps(另外还有20Gbps标准)。互联网协议(IP)等协议标准都可以映射FC数据包，并允许使用光纤和铜缆实现更高速的互连。

就以太网而言，使用多条10Gbps通道进行数据传输可以实现更高的总带宽，但要达到100Gbps，需要使用10条通道。100Gbps以太网光纤模块利用一个超高速的10:4/4:10串行器/解串器(SerDes)将10通道的10Gbps数据转换为4个25Gbps流。这4个数据流馈送给使用波分复用(WDM)方案配置的4条不同颜色的激光。SerDes较为昂贵并且功耗很高，而10条通道又会占用连接器空间。下一代产品将使用25Gbps，直接向光纤模块传送数据。这种方法无需使用SerDes，并且连接器占用空间非常小。

数据传输能耗指标

过去，我们可以说某个系统以"X"bps的速度将一些比特从"A"点移至"B"点。但在服务器群有10,000台服务器和千兆存储以后，我们就不能这么说了。今天，设备按照其传输信息时的无误差(BER>10-12)和高效程度来分级。因此引起了一场有关信息传输效率的竞赛——谁的功耗最低，谁就是获胜者。企业运营商关心的是服务器性能和数据传输速度以及系统的能耗。设备运行所需的所有能量以废热的形式存在，因此需要将这种废热排出去，而这个过程又会消耗更多的能量。