Ebpay

   2018年11月8日下午，在第五届世界互联网大会同期举行的新产品新技术创新发布会上，Gooxi产品总监黄翔先生以《扫清人工智能开展道路上的障碍》为主题作了精彩的演讲。

       1971年的11月15日，Intel发布了世界首款商用处理器4004，人类开启了X86架构服务器的征程，作为我们最主要的商业计算架构X86已经陪伴我们走过40多个年头。我们对计算系统的依赖从最初的能不能保存更多的数据，能不能更快的运行应用软件，逐步的开展到今天我们希望，“他”能够帮助我们思考，“他”能够自我完善。X86 CPU这个老朋友在这个全新的领域，能为我们做的越来越有限。GPU将接过CPU手中的接力棒，带我们进入一个全新的世界，人工智能AI的世界。

传统服务器应对AI与深度学习需求的不足

       黄翔认为，在应对AI与深度学习需求时，传统服务器有着如下四个方面的不足：1、GPU的种类供给限制了某种程度的X86高密度GPU服务器方案选择；2、X86硬件架构的先天限制与运算时间成本；3、GPU密度 vs. 存储 vs. PCIe扩展的结构空间取舍；4、分布式GPU计算的适用性。

     “熟悉深度学习的人都知道，深度学习是需要训练的，所谓的训练就是在成千上万个变量中寻找最佳值的计算。这需要顺利获得不断的尝试识别，而最终取得的数值并非是人工确定的数字，而是一种常态的公式。顺利获得这种像素级的学习，不断总结规律，计算机就可以实现像人一样思考。就现在而言，越来越多的深度学习标准库支持基于GPU的深度学习加速，通俗点描述就是深度学习的编程框架会自动根据GPU所具有的线程/Core数，去自动分配数据的处理策略，从而达到优化深度学习的时间。而这些软件上的全面支持也是其它计算结构所欠缺的。”

高密度GPU的优势

       黄翔表示，从拖带比、最大算力需求、兼顾存储与网络的复杂场景的能力这三方面进行比较，CPU与GPU各有优劣性。 

       从拖带比来看，CPU具有复杂, 平衡的软件运行能力（操作系统），而GPU则具有简单, 高度并行的硬件运算能力（图形渲染）。CPU所做的工作都在软件层面，而GPU在硬件层面。我们可以用软件（使用CPU）做任何事情，但是对于图像处理，通常用硬件会更快，因为GPU使用图像对高度并行浮点运算做了优化。

      “从我们硬件厂商的角度看我们需要提高CPU的利用效率，让单个CPU能够服务更多的GPU，更有效的分摊CPU的成本，这是一个最基本的出发点。除此之外不同的AI应用程序对CPU算力和GPU算力又有着不同的比例需求，我们硬件厂商需要为用户给予更灵活的组态方案，满足用户的不同应用场景需求。让所有用户都能够实现最佳的CPU与GPU的拖带比，从而不多花一分冤枉钱。”

    从最大算力需求角度而言，搭建GPU的分布式计算系统，或者说对多台GPU平台进行有效的性能堆叠其难度相对于CPU平台技术门槛要高等多，成本也要大很多。在GPU开展的初级阶段，提升GPU单机的最大算力显得尤为重要，毕竟我们回过头看X86的开展历程也经历了，从追求单机高性能到，分布式计算这样的开展历程，这也是GPU的必经之路。最大单机算力则是当下我们硬件厂商现在研发新产品的重中之重。
    从存储与网络的复杂场景的兼顾而言，GPU平台需要搭配多大容量的存储？GPU平台需要接驳多大带宽的网络？这里我们找不到一个确切答案，因为AI应用在当下已经渗透到了我们生活的每一个角落，不同的应用不同的需求，这一度是我们硬件厂商比较头疼的问题。网络规格、存储规格如何能够满足多样化的用户需求？我们这里为用户给予了更好的解决方案。从应用角度出发，视AI或深度学习的部署规模以及软件对于学习模型的设定（资料带宽）而定；从硬件平台设计出发，保留PCIe扩展弹性以及保留不同存储种类的兼容性（SATA/SAS/NVMe SSD）。

扫除高密度GPU服务器的应用壁垒

    黄翔认为，要扫除高密度GPU服务器的应用壁垒，可从四个方面进行，一是多元化的GPU卡支持（GTX/RTX/Tesla/Quadro）；二是大容量内存与多种PCIe信道弹性组态（HBA/NIC…etc）；三是良好的散热设计；四是足量适配的存储装置。并就此提出了Gooxi高密度GPU平台的设计解构、多种PCIE资源组态的灵活部署方案，以及散热瓶颈与解方。

高密度GPU平台的设计解构

多种PCIE资源组态的灵活部署

高密度GPU服务器的散热瓶颈与解方

   “面对AI与深度学习的科技浪潮，高密度GPU架构已然成为趋势。”黄翔指出，不同场景应用对GPU的配置需求将不断延伸变型，GPU供给的寡占市场，增加开发者的多元化选择是成熟平台所应俱备能力，PCIe I/O与存储需求弹性应有持续优化的可能，将来如何面对散热挑战，和不规范的GPU卡设计，势必将有功能上的取舍。