英特尔数据中心业务(对话英特尔数据平台事业部CTO：IPU如何成云数据中心的战略元件？)

东西(微信官方账号：aichip001)
作者|心缘
编辑|沙漠阴影
东西网8月26日报道，继上周英特尔推出一系列IPU新品之后，英特尔数据平台事业部首席技术官Guido Appenzenller接受了东西网等媒体的采访，对英特尔的IPU技术和战略进行了深度解读。
近年来，随着巨头的进入，数据处理芯片DPU逐渐流行起来。从功能上看，IPU和这些dpu没有本质区别，只是命名方式不同。
然而，与行业中的其他dpu不同，IPU不处理特定数据类型或卸载AI负载等任务，而是专注于卸载基础设施管理和虚拟化任务。
英特尔IPU公司为何诞生？与传统的SmartNIC有何不同？IPU建筑的核心优势是什么？专用ASIC版和FPGA版IPU适合什么应用场景？在交流过程中，Guido一一回答了这些问题。
Guido告诉Core，IPU不限于特定的CPU，也就是说，它可以与任何CPU一起工作。他还提到，在大多数情况下，无论是从收入水平还是从财务角度来看，IPU对云服务提供商都非常有吸引力。
1.分担云数据中心的基础设施任务，让CPU全力以赴为云服务租户服务。全称是基础设施处理单元，是一种可编程的网络设备。目前主要应用场景是大型云服务商。
在典型的企业数据中心，CPU负责所有任务。但是在云中，要运行的任务不仅仅是业务程序，还有基础设施支持程序。
IPU所做的是代替CPU承担运行基础设施软件的任务，让服务器CPU更好地专注于为云服务租户提供更大性能价值的任务。
Guido Appenzenller举了一个形象的例子。传统的数据中心服务器架构就像一个人的家，你可以轻松地从客厅走到厨房或餐厅。
云中心更像一个酒店。房间、餐厅和厨房位于不同的区域。将有许多门或走廊分隔这些区域。你甚至必须出示你的徽章才能进入不同的区域。
同样，云数据中心逐渐发展到将租户工作职责与云服务提供商软件分离，前者运行在CPU上，后者运行在IPU上。
具体来说，IPU主要处理网络虚拟化、存储虚拟化、网络存储管理和安全等基础设施功能，可以加速数据中心基础设施功能的安全，使系统级资源管理更加智能。
此前，传统智能网卡SmartNIC主要用于网络和存储基础设施的提速，但仍由CPU控制、管理和编程，更多用于通信服务等场景。
IPU是SmartNIC的进化，内置CPU内核，不仅可以安全加速任务，而且可编程，可以承担控制和管理任务。换句话说，在IPU的帮助下，云或通信服务提供商可以管理系统级基础设施资源的控制点，以最大限度地减少资源的保留或过度使用。
在Guido看来，设计一个优秀的IPU有很多挑战，最困难的部分是获得加速器和装配线。因为他们负责大部分的工作，所以可以保证超高的性能和超低的延迟，特别是对于大规模的云提供商。
他认为，IPU适合任何拥有类似云的数据中心的客户，未来除了大型云服务提供商之外，还有望扩展到较小的云服务提供商和企业数据中心。此外，他还看到了IPU在电信公司加速发展的景象。
二。英特尔IPU架构的三大核心优势Guido详细解释了英特尔IPU架构的三大优势：
首先，IPU作为服务器的控制平面，负责运行云服务商的软件，相当于把整个CPU腾出来服务租户。更好地隔离这些功能将大大增强系统的安全性。
其次，IPU可以优化基础设施功能，进一步提高效率。如下图所示，脸书研究数据显示，微服务通信开销可以消耗31%~83%的CPU性能。
可以看到，在Web应用的第一列中，83%的服务器CPU周期用于开销，包括传输、压缩、解压缩、加密等功能。这些费用可以从CPU转移到IPU。
IPU具有一些优化的存储和网络管理加速功能，而CPU可以专注于为云服务提供商带来更大利益的任务，而不必处理基础设施任务，并通过更精细的分工和优化的计算来大幅提高性能和能效。
最后，IPU可以管理存储流量，减少延迟，并使云数据中心实现全面的无盘服务器架构，从而有效地利用存储容量。
由于很难预测每个租户的存储使用情况，在传统的企业数据中心架构中，每台服务器通常配备一组磁盘驱动器和固态磁盘，以应对峰值存储负载。
使用IPU后，客户可以采用全面的无盘架构，所有存储资源由中央存储服务提供。管理中央存储服务显然比管理数据中心中成千上万台服务器的存储资源要容易得多。
当客户在此服务器上启动工作负载时，云服务提供商会在存储服务上创建一个虚拟卷。通过管理网络，云服务提供商告诉IPU基于这个虚拟卷创建一个新的NVMe SSD。
由于这种虚拟NVMe SSD看起来像PCIe总线的常规SSD，此操作将支持大多数操作系统和虚拟机管理程序，开箱即用。这样客户就可以从这块SSD开机了。
所有网络流量都来自这些磁盘。让IPU非常聪明的是，存储服务器和服务器上的工作负载之间的实际存储流量发生在高速路径上，这意味着它不会涉及IPU或CPU上的任何CPU核心。
IPU有一条固定的储存运输管道。在固定流水线中，从存储服务传输到服务器的数据包没有经过任何处理器的处理，因此延迟和抖动极低，性能非常高。
从CPS的角度来看，这就像有一个本地磁盘，但它实际上是来自共享存储服务。这可以帮助云服务提供商从直连存储转移到完全无盘的架构。
解读两类IPU产品，由客户需求驱动的产品根据不同的应用需求，英特尔提供了两个系列的IPU，即专用ASIC IPU和基于FPGA的IPU。这两者有望长期共存。
大多数全球云服务提供商已经部署了英特尔基于FPGA的IPU平台。在美国和中国，六家云服务提供商都使用基于FPGA的IPUs，Guido观察到他们正在逐渐转向专用ASIC IPU。
与专用芯片相比，FPGA更加灵活，但编程难度相对更高，吞吐量和功耗也受到一定程度的限制。
目前八大云都使用不同的专用存储协议，如果只使用一种专有协议，云厂商选择FPGA是合理的。如果使用其他协议，专用ASIC会是更好的选择。
上周，英特尔刚刚发布了这两种新型IPU:Oak Springs Canyon，一种基于FPGA的IPU参考平台，以及其首款专用ASIC IPU芒特埃文斯。前者采用英特尔至强D，后者采用Arm Neoverse N1核心。这两种IPU产品都可以通过使用现有的广泛部署的软件环境进行编程，如DPDK和SPDK。
Oak Springs Canyon是一个基于英特尔至强D处理器和英特尔Agilex FPGA的IPU参考平台。这种混合IPU架构可以以硬件的速度管理网络，同时可以通过超高的软件灵活性让用户更容易实现控制平面功能。
基于硬件的数据路径(使用FPGA的板载资源)和基于软件的控制平面(与IPU的板载处理器上的基础设施操作系统堆栈一起运行)提供的可编程性使IPU具有更强大的性能。
Oak Springs Canyon与基于英特尔至强处理器的服务器协同工作，提供卸载2x100G工作负载所需的基础设施加速；它拥有丰富的软件生态系统，并针对英特尔CPU进行了优化。同时，它还采用了英特尔的开放式FPGA堆栈，使其合作伙伴和客户能够开发定制的解决方案。该平台可以满足新兴云服务提供商部署100GB工作负载的要求。
Mount Evans是英特尔和一家超大型云服务提供商联合设计开发的ASIC产品。基本上只具备IPU的功能，适合非常大规模的云部署。
它结合了英特尔多代FPGA SmartNIC的经验，有两个部分：网络子系统(左)和计算复合体(右)。网络子系统包括一个固定的流水线，通过该流水线数据包是可编程的。
Mount Evans支持200Gb/s的吞吐量，最多可以连接4台至强主机。对云性能的需求将推动存储、消息处理和高性能计算等许多应用迁移到基于RDMA的协议。通过实施ROCEv2和新的可靠传输技术，Mount Evans可以支持上述一系列迁移。
它还使用从英特尔傲腾技术扩展而来的硬件加速NVMe存储接口。NVMe引擎将高性能NVMe设备暴露给主机处理器，允许基础设施提供商使用IPU来实施他们选择的存储协议，无论是硬件加速的基于结构的NVMe还是计算子系统上的定制软件后台。
这种可编程数据包处理引擎支持虚拟交换机卸载、防火墙、测量功能等用例。在实际应用中，它可以支持高达每秒2亿个数据包，并提供内嵌IPSec来保护网络上发送的每一个数据包。
Mount Evans computing complex使用arm neoveren1ares内核，这16个高频内核配有大型系统级缓存，由三个LPDDR4控制器支持。Guido认为这个选择相当务实，是在评估了性能、集成和动力之后最合适的组合。
计算联合体与网络子系统紧密集成，这使得网络子系统加速器能够使用系统级高速缓存作为末级高速缓存，在两者之间提供高带宽和低延迟连接，且灵活地集成硬件和软件分组处理。
Lookaside加密压缩引擎源于英特尔的Quick Assist技术，英特尔根据IPU的使用模式对其进行了修改，包括对Zstandard压缩算法的支持。
结论：连推IPU新品，英特尔加速数据中心布局。随着云的不断扩展，云数据中心涌现出越来越多不同类型的专用芯片，包括GPU、AI芯片以及新兴的IPU等。
近年来，除了芯片巨头的进入，IPU/DPU领域也逐渐成为芯片圈创业的热门方向。几家初创公司已经有了很多有趣的技术和产品。圭多认为这对所有制造商都有利。
在上周英特尔架构日结束时，英特尔首席执行官基辛格说，“英特尔回来了，故事才刚刚开始。”作为与CPU和XPU并列的英特尔云战略的重要支柱之一，IPU的故事仍处于前言阶段。
从长远来看，云中几乎每台服务器都会有类似IPU的东西，市场前景无疑会更广阔。目前，IPU/DPU已被许多芯片巨头视为未来数据中心设计的另一个战略元素。它扩展了智能网卡的功能，推动云数据中心架构向更高性能、更低成本的方向发展。云服务提供商显然对此感到高兴。