AWS宣布三个由AWS设计的新芯片支持的Amazon EC2实例

拉斯维加斯——(商业连线)——亚马逊公司(NASDAQ: AMZN)旗下的亚马逊网络服务公司(AWS)今天在AWS re:Invent上宣布了三个新的亚马逊弹性计算云(Amazon EC2)实例，由三个新的AWS设计的芯片提供支持，以更低的成本为客户提供更佳的计算性能，适用于广泛的工作负载。Hpc7g实例由新的AWS Graviton3E芯片提供支持，与当前一代C6gn实例相比，浮点性能提高了2倍，与当前一代Hpc6a实例相比，性能提高了20%，为AWS上的高性能计算(HPC)工作负载提供了最佳的性价比。C7gn实例采用新的AWS Nitro卡，与当前一代网络优化实例相比，提供高达2倍的网络带宽和高达50%的每秒数据包处理性能，为网络密集型工作负载提供最高的网络带宽、最高的数据包速率性能和最佳的价格性能。由新的AWS Inferentia2芯片提供支持的Inf2实例，专门用于运行具有多达1750亿个参数的最大深度学习模型，与当前一代Inf1实例相比，提供高达4倍的吞吐量和高达10倍的延迟，以最低的成本为亚马逊EC2上的机器学习(ML)推理提供最低的延迟。

AWS拥有以较低成本设计高性能和可扩展性芯片的十年经验。在此期间，AWS引入了专门的芯片设计，使客户能够运行具有不同特征的更高要求的工作负载，这些工作负载需要更快的处理速度、更高的内存容量、更快的存储输入/输出(I/O)和更高的网络带宽。自2013年推出AWS Nitro系统以来，AWS已经开发了多个AWS设计的硅创新，包括五代Nitro系统，三代Graviton芯片，针对广泛的工作负载进行了性能和成本优化，两代用于ML推断的Inferentia芯片，以及用于ML训练的Trainium芯片。AWS将基于云的电子设计自动化作为敏捷开发周期的一部分，用于设计和验证AWS设计的硅，使团队能够更快地创新，并更快地将芯片提供给客户。AWS已经证明，它可以以可预测和快速的速度提供基于更现代、更节能的硅工艺的新芯片。通过每个连续的芯片，AWS为托管它们的Amazon EC2实例提供了性能、成本和效率方面的逐步功能改进，为客户提供了更多针对其独特工作负载需求优化的芯片和实例组合选择。

AWS负责亚马逊EC2业务的副总裁David Brown表示:“AWS设计的每一代硅芯片——从Graviton到Trainium、Inferentia芯片到Nitro卡——都为不同的客户工作负载提供了更高的性能、更低的成本和更高的电源效率。”“持续的交付，加上我们的客户使用AWS芯片实现卓越性价比的能力，推动了我们的持续创新。我们今天介绍的Amazon EC2实例为HPC、网络密集型和ML推理工作负载提供了显著的改进，为客户提供了更多的实例来满足他们的特定需求。”

Hpc7g实例是专门为在Amazon EC2上大规模运行HPC工作负载提供最佳性价比而构建的

许多部门的组织都依赖于HPC来解决最复杂的学术、科学和业务问题。如今，阿斯利康(AstraZeneca)、Formula 1和Maxar Technologies等客户在AWS上运行传统的HPC工作负载，如基因组学处理、计算流体动力学(CFD)和天气预报模拟，以利用AWS提供的优越安全性、可伸缩性和弹性。工程师、研究人员和科学家在Amazon EC2网络优化实例(例如，C5n、R5n、M5n和C6gn)上运行他们的HPC工作负载，这些实例在服务器之间提供几乎无限的计算能力和高水平的网络带宽，这些服务器可以跨数千个核心处理和交换数据。虽然这些实例的性能对于当今大多数HPC用例来说已经足够了，但人工智能(AI)和自动驾驶汽车等新兴应用程序需要HPC优化的实例，这些实例可以进一步扩展，以解决日益困难的问题，并降低HPC工作负载的成本，这些工作负载可以扩展到数万个内核或更多。

由新的AWS Graviton3E处理器支持的Hpc7g实例在Amazon EC2上为客户的HPC工作负载(例如，CFD、天气模拟、基因组学和分子动力学)提供最佳性价比。与采用Graviton2处理器的当前一代C6gn实例相比，Hpc7g实例提供了高达2倍的浮点性能，与当前一代Hpc6a实例相比，性能提高了高达20%，使客户能够在多达数万个核心的HPC集群上执行复杂的计算。Hpc7g实例还提供高内存带宽和200 Gbps的弹性织物适配器(EFA)网络带宽，以更快地实现HPC应用程序的结果。客户可以将Hpc7g实例与AWS ParallelCluster(一种开源集群管理工具)一起使用，将Hpc7g实例与其他实例类型一起提供，使客户可以灵活地在同一个HPC集群中运行不同的工作负载类型。有关AWS上HPC的更多信息，请访问aws.amazon.com/hpc．

C7gn实例为网络密集型工作负载提供了最佳性能，具有更高的网络带宽、更高的包速率性能和更低的延迟

客户使用Amazon EC2网络优化实例来运行要求最高的网络密集型工作负载，如网络虚拟设备(例如，防火墙、虚拟路由器和负载平衡器)和数据加密。客户需要扩展这些工作负载的性能，以处理不断增加的网络流量以响应活动高峰，或者减少处理时间以向最终用户提供更好的体验。今天，客户使用更大的实例大小来获得更多的网络吞吐量，部署比所需更多的计算资源，这增加了成本。这些客户需要更高的每秒数据包性能、更高的网络带宽和更快的加密性能来减少数据处理时间。

C7gn实例采用新的AWS Nitro卡，由具有网络加速功能的第五代Nitro芯片驱动，在Amazon EC2网络优化实例中提供最高的网络带宽和包处理性能，同时使用更少的功耗。Nitro卡将I/Ofor功能从主机CPU卸载并加速到专门的硬件，从而将Amazon EC2实例的几乎所有资源交付给客户工作负载，以更低的CPU利用率获得更一致的性能。与当前一代网络优化的Amazon EC2实例相比，新的AWS Nitro卡使C7gn实例能够提供高达2倍的网络带宽和高达50%的每秒数据包处理性能，并减少弹性织物适配器(EFA)网络延迟。与C6gn实例相比，C7gn实例对加密工作负载的计算性能提高了25%，性能提高了2倍。与第四代Nitro卡相比，第五代Nitro卡的每瓦性能提高了40%，降低了客户工作负载的功耗。C7gn实例使客户能够扩展性能和吞吐量，并降低网络延迟，从而优化Amazon EC2上要求最高的网络密集型工作负载的成本。C7gn实例今天在预览版中可用。要了解更多关于C7gn实例的信息，请访问aws.amazon.com/ec2/instance-types/c7g．

Inf2实例是专门为当今最苛刻的深度学习模型部署而构建的，支持分布式推理和随机舍入

为了应对更好的应用程序和更量身定制的个性化体验的需求，数据科学家和机器学习工程师正在构建更大、更复杂的深度学习模型。例如，拥有超过1000亿个参数的大型语言模型(LLMs)越来越普遍，但它们在大量数据上进行训练，从而推动了计算需求的空前增长。虽然培训受到了很多关注，但在生产中运行机器学习的复杂性和成本中，推理占了大部分(即，每在培训上花费1美元，在推理上花费高达9美元)，这可能会限制其使用并阻碍客户创新。客户希望在他们的应用程序中大规模使用最先进的深度学习模型，但他们受到高计算成本的限制。当AWS在2019年推出Inf1实例时，深度学习模型是数百万个参数。从那时起，深度学习模型的规模和复杂性呈指数级增长，一些深度学习模型的参数超过了数千亿，增长了500倍。使用深度学习最新进展开发下一代应用程序的客户需要具有成本效益、节能的硬件，支持低延迟、高吞吐量推理，以及灵活的软件，使工程团队能够大规模快速部署最新创新。

Inf2实例由新的Inferentia2芯片提供支持，支持具有高达1750亿个参数的大型深度学习模型(例如LLMs、图像生成和自动语音检测)，同时在Amazon EC2上提供最低的每次推理成本。Inf2是第一个支持分布式推理的推理优化亚马逊EC2实例，分布式推理是一种将大型模型分散到多个芯片上的技术，为具有超过1000亿个参数的深度学习模型提供最佳性能。Inf2实例支持随机舍入，与传统舍入模式相比，这种概率舍入方式可以实现更高的性能和更高的精度。Inf2实例支持广泛的数据类型，包括CFP8和FP32，前者提高了吞吐量并降低了每个推断的功耗，后者提高了尚未利用低精度数据类型的模块的性能。客户可以使用AWS Neuron(用于ML推断的统一软件开发工具包(SDK)开始使用Inf2实例。AWS Neuron集成了流行的ML框架(如PyTorch和TensorFlow)，帮助客户通过最小的代码更改将现有模型部署到Inf2实例。由于在多个芯片上拆分大型模型需要快速的芯片间通信，因此Inf2实例支持AWS的高速实例内互连NeuronLink，提供192 GB/s的环形连接。与当前一代的Inf1实例相比，Inf2实例提供了高达4倍的吞吐量和高达10倍的低延迟，并且与基于gpu的实例相比，它们还提供了高达45%的每瓦性能。Inf2实例今天在预览版中可用。要了解更多关于Inf2实例的信息，请访问aws.amazon.com/ec2/instance-types/inf2．

水研究所是一个独立的、非营利性的应用研究组织，致力于跨学科的推进科学，并开发用于解决复杂的环境和社会挑战的综合方法。“对我们的客户来说，能够做出准确、接近实时的数值天气预测来辅助决策非常重要。随着亚马逊EC2 Hpc7g实例的推出，我们很高兴看到亚马逊EC2的高性能计算产品继续发展，”水研究所的研究工程师扎克·科贝尔(Zach Cobell)说。“随着浮点性能的提高，基于Arm架构的AWS Graviton3E处理器的效率提高，以及使用Elastic Fabric Adapter减少节点间延迟，我们希望能够继续在我们的计算产品组合中提供创新和可持续的解决方案。”

奥雅纳是一家全球设计师、工程和可持续发展顾问、顾问和专家的集体，致力于可持续发展，并利用想象力、技术和严谨来塑造一个更美好的世界。奥雅纳高级工程师Sina Hassanli博士表示:“我们使用AWS进行高度复杂的模拟，以帮助我们的客户建造下一代高层建筑、体育场馆、数据中心和关键基础设施，同时评估和洞察影响全球许多人生活的城市小气候、全球变暖和气候变化。”“我们的客户不断要求在开发的早期阶段以更低的成本进行更快、更准确的模拟，以便为他们的设计提供信息，我们已经在期待亚马逊EC2 Hpc7g实例的引入将如何帮助我们的客户更快、更有效地创新。”

HAProxy Technologies是世界上最快、使用最广泛的软件负载平衡器HAProxy背后的公司。HAProxy的首席开发人员Willy Tarreau说:“HAProxy支持在任何规模和任何环境下的现代应用程序交付，为世界上一些最受欢迎的网站提供最大的性能、可观察性和安全性。”“当HAProxy测试亚马逊EC2 C6gn实例时，我们发现了软件负载均衡器前所未有的性能。我们对搭载了Graviton3E和第五代AWS Nitro卡的新C7gn实例以及它们将为我们的客户带来的网络性能提升感到兴奋。”

Aerospike Inc.的实时数据平台是为组织设计的，用于构建反欺诈的应用程序，实现全球数字支付，为数千万客户提供超个性化的用户体验等等。Aerospike公司首席产品官Lenley Hensarling表示:“Aerospike实时数据平台是一个无共享、多线程、多模式的数据平台，旨在高效地在服务器节点集群上运行，利用现代硬件和网络技术，在pb级数据上以亚毫秒级的速度驱动可靠的快速性能。”“在我们最近的实时数据库读取测试中，我们很高兴地看到，与C6gn实例相比，使用新的AWS Nitro卡的Amazon EC2 C7gn实例的每秒事务数有了显著提高。我们期待着利用C7gn实例和未来AWS基础设施的改进。”

Qualtrics设计开发经验管理软件。“在Qualtrics，我们的重点是开发技术，以缩小客户、员工、品牌和产品的体验差距。为了实现这一目标，我们正在开发复杂的多任务、多模态深度学习模型，以推出新功能，如文本分类、序列标记、话语分析、关键短语提取、主题提取、聚类和端到端对话理解，”Qualtrics核心机器学习主管Aaron Colak说。“随着我们在更多应用中使用这些更复杂的模型，非结构化数据的数量也在增长，我们需要更多性能推断优化的解决方案来满足这些需求，例如Inf2实例，为我们的客户提供最佳体验。我们对新的Inf2实例感到兴奋，因为它不仅可以让我们实现更高的吞吐量，同时大幅减少延迟，而且还引入了分布式推理和增强的动态输入形状支持等功能，这将帮助我们扩展以满足更大、更复杂的大型模型的部署需求。”

Finch Computing是一家自然语言技术公司，为政府、金融服务和数据集成商客户提供人工智能应用程序。“为了满足客户对实时自然语言处理的需求，我们开发了最先进的深度学习模型，可扩展到大型生产工作负载。我们必须提供低延迟事务并实现高吞吐量来处理全球数据提要。Finch Computing的首席架构师Franz Weckesser表示:“我们已经将许多生产工作负载迁移到Inf1实例上，并在gpu上降低了80%的成本。“现在，我们正在开发更大、更复杂的模型，能够从书面文本中获得更深刻、更深刻的含义。我们的许多客户需要实时访问这些见解，而与Inf1相比，Inf2实例的性能将帮助我们提供更低的延迟和更高的吞吐量。随着Inf2性能的提高和新的Inf2功能，如支持动态输入大小，我们正在提高成本效益，提升实时客户体验，并帮助我们的客户从他们的数据中收集新的见解。”

关于亚马逊网络服务

15年来，亚马逊网络服务一直是世界上最全面、最广泛采用的云服务。AWS一直在不断扩展其服务，以支持几乎任何云工作负载，现在它拥有200多种功能齐全的服务，涉及计算、存储、数据库、网络、分析、机器学习和人工智能(AI)、物联网(IoT)、移动、安全、混合、虚拟和增强现实(VR和AR)、媒体以及应用程序开发、部署和管理，覆盖30个地理区域的96个可用区。宣布计划在澳大利亚、加拿大、以色列、新西兰和泰国再增加15个可用性区域和5个AWS区域。数以百万计的客户(包括增长最快的初创公司、最大的企业和领先的政府机构)都信任AWS为他们的基础设施提供动力，使其变得更加敏捷，并降低成本。要了解AWS的更多信息，请访问aws.amazon.com．

对亚马逊

亚马逊遵循四项原则:以客户为中心而不是以竞争对手为中心;对发明充满热情;致力于卓越运营;亚马逊致力于成为地球上最以客户为中心的公司、地球上最好的雇主和地球上最安全的工作场所。顾客评论、一键购物、个性化推荐、Prime、亚马逊履约、AWS、Kindle直接出版、Kindle、职业选择、Fire平板电脑、Fire电视、亚马逊Echo、Alexa、Just Walk Out技术、亚马逊工作室和气候承诺都是亚马逊首创的一些东西。更多信息，请访问amazon.com/about并关注@AmazonNews。

资料来源:亚马逊公司