Gen-Z互连(下):第一步25-100GB-s、PCI-SIG的反应

2020年12月4日 作者 火狐体育

此文发布于2017年8月21日

本文内容非商业用途可无需授权转载,请务必注明作者及本微信公众号、微博ID:唐僧\_huangliang,以便更好地与读者互动。

接上篇《_Gen-Z互连(上):Intel缺席的内存中心架构_》

另类RSD:复用PCIe pin提升整体内存带宽

Gen-Z可以连接3D XPointMemory吗?我想Inte_应该不太可能为Apache Pass提供Gen-Z接口吧。

除了DRAM主内存之外,Gen-Z也可以用于连接处理器和SCM存储级内存、GPU/FPGA等,通过引入Gen-Z Switch还可以实现多个资源池的通用互连。

注:关于Intel 3D XPoint__和Optane SSD__我写过一些东西,在这里列出最后一篇《SPDK__实战、QoS__延时验证:Intel Optane P4800X__评测(5)

如果有Gen-Z Fabric Switch,它还能用于服务器外部互连。在机架级池化内存这个场景中,Gen-Z还提供了复用PCIe引脚来提升整体内存带宽的能力。这让我想起了Intel Rack Scale Design还处在解决PCIe外设(SSD、网卡)池化的阶段。

扩展阅读:《IDF__随笔:RSA|__天蝎存储池化的理想与现实

通过使用Gen-Z来解耦合的系统示例

上图应该只是一个Demo,可以通过Gen-Z连接的组件包括SoC、DRAM内存、Flash闪存、SCM、GPU、高性能GPU(尺寸较大)、FPGA模块等。

单个Gen-Z交换资源池规模增大后,我又想起了单点故障的问题,在_《__ODCC__随笔:整机柜资源池化需要高可用吗?_》中曾有过讨论,朋友们反馈说高可用应该是跨池实现。

在更小连接器上跑出更高带宽(25-100GB/s

鉴于当前PCIe生态系统的发达,支持Gen-Z的系统可能会包含Gen-Z接口逻辑 + PCIe Root Complex的组合,物理配置上二者都可以通过Switch来扩展。PCIe不需要操作系统改动,而Gen-Z也利用逻辑PCI设备(LPD)的概念采取了类似的支持策略。

通过Switch,Gen-Z还支持I/O组件在多个系统(主机)之间的共享,号称可以较低的成本和复杂性提供PCIe MR-IOV的主要价值。在我印象中使用MR-IOV的服务器产品不多,DellPowerEdge VRTX是其中一款,主要是实现了Shared PERC8 RAID卡在刀片服务器之间的共享。

看到Gen-Z 112GT/s的速率,我猜测每个通道使用了4x28G SerDes(衍生自网络常用的IEEE 802.3 PHY),所以我们看到Gen-Z1C的连接器比PCIe x1要长一些(主要是信号部分金手指较多),这一点看2C和4C插槽更加明显。

按4个28G SerDes实际跑到100Gb/s有效速率来计算,Gen-Z 1C的双向带宽是25GB/s,4C就是100GB/s,已经超过了连接器尺寸更长的PCIe Gen4 x16(双向接近64GB/s)。至于112、224和448GB/s这几个数值,不知是多少年后Roadmap上的吧?

对于前文中提到和PCIe共用引脚的情况,应该是Gen-Z也能兼容PCIe的PHY,此时速率应该就没有优势了,只是上面跑不同的协议。

联盟中还缺席了谁?PCI-SIG的反应

上图是Gen-Z联盟成员,其中包含有:

(跨领域的只在一边列出)

CPU/SoC方面:AMD、ARM、Cavium、IBM

存储芯片、模组:Everspi、Micro_、Samsung、SK hyniX、Smart Modular

网络、Switch方面:Broadcom、IDT、Mellanox、Microsemi

服务器、存储、HPC系统:Cray、Dell EMC、HPE、Huawei、Lenovo、NetApp

连接器:Amphenol、Lotes、Molex、Tyco Electronics

操作系统/Hypervisor:Red Hat、VMware

硬盘/SSD:Seagate、WD

FPGA:Xilinx

正如有的同行朋友所说,大家都不想在PCIe一棵树上吊死。除了利益受到影响的Intel,另外还缺席一家巨头微软,可见Wintel联盟仍然存在。不过如果将来Gen-Z能够流行,微软为Windows提供兼容估计不难。

不难看出,主导PCIe的PCI-SIG组织也在关注Gen-Z的进展了,希望PCIe 4.0规范的版本号能够尽早从0.7变成1.0。

最后对Gen-Z做个总结:

-可扩展系统互连及协议;

-优化的内存语义通信;

-打破处理器-内存之间的创新依赖性;

-有机会简化软件开销和复杂性;

-无需更改的操作系统支持;

-通用模块化连接器和机械尺寸。

我就分享到这里,大家有什么想法可以在下面留言:)

参考资料https://www.flashmemorysummit…\_FB12\_Bowman.pdf

推荐阅读

  • 16Gb FC实测带宽几何、四端口HBA呢?
  • Gen-Z互连(上):Intel缺席的内存中心架构

本文转载自企业存储技术微信公众号原文链接点这里

注:本文只代表作者个人观点,与任何组织机构无关,如有错误和不足之处欢迎在留言中批评指正。 进一步交流技术可以加我的微信/QQ:490834312。
尊重知识,转载时请保留全文,并包括本行及如下二维码。感谢您的阅读和支持!《企业存储技术》微信公众号:HL_Storage,也欢迎关注企业存储技术极术专栏,定期更新。