GTC-To权力下一波的人工智能数据中心,英伟达今天宣布与NVIDIA料斗的下一代加速计算平台架构,提供一个数量级性能跳过它的前身。命名的恩典料斗,开拓美国计算机科学家,新的架构成功NVIDIA安培架构,两年前推出。
该公司还宣布首次Hopper-based GPU, NVIDIA H100,挤满了800亿个晶体管。世界上最大的和最强大的加速器,H100开创性的特性,比如一个革命性的变压器发动机和高度可伸缩的NVIDIA NVLink互连推进巨大的人工智能语言模型,推荐系统,基因组学和复杂的数字双胞胎。
“数据中心成为人工智能工厂,加工和提炼大量的数据产生智慧,”詹森说道,NVIDIA的创始人兼首席执行官。“英伟达H100的引擎是世界上人工智能基础设施,企业使用加速AI-driven业务。”
H100技术突破
NVIDIA GPU H100集加速大规模人工智能和HPC的新标准,提供六个突破性的创新:
- 世界上最先进的芯片,建立800亿个晶体管使用尖端的台积电4 n为NVIDIA的加速设计过程计算需求,H100特性主要进展加速AI, HPC,内存带宽,互连和通信,包括近5字节每秒的外部连接。H100是第一个GPU支持作为PCIe Gen5和第一个利用HBM3,使3 tb / s的内存带宽。二十H100 gpu可以维持相当于整个世界的互联网流量,使客户提供先进的推荐系统和大型语言模型推理运行实时数据。
- 新变压器引擎——现在的标准模型选择自然语言处理、变压器是有史以来最重要的深度学习模型。H100加速器的变压器引擎是建立加快这些网络多达6 x与上一代不失准确性。
- 2 nd-generation安全的多实例GPU -米格技术允许单个GPU划分为七个小,完全孤立的实例来处理不同类型的工作。料斗架构米格功能延伸了前代7 x通过提供安全的在每个GPU实例多租户云环境中配置。
- 保密计算H100是世界上第一个加速器与保密计算能力来保护人工智能模型和客户数据时处理。客户还可以为隐私保密计算应用于联合学习医疗和金融服务等行业,以及共享的云基础设施。
- 4代NVIDIA NVLink——加速最大的人工智能模型,NVLink结合新的外部NVLink切换到扩展NVLink扩大网络以外的服务器,连接256 H100 gpu在9 x高带宽使用NVIDIA HDR量子InfiniBand和上一代。
- DPX指令-新的DPX指令加速动态编程中使用广泛的算法,包括路由优化和基因组学-达40 x与cpu和7 x与上一代相比,gpu。这包括Floyd-Warshall算法寻找最优路线自治机器人舰队在动态的数据仓库环境中,并均在序列比对算法用于DNA和蛋白质的分类和折叠。
- 的综合技术创新H100扩展NVIDIA的人工智能推理和培训领导支持实时和沉浸式应用程序使用大规模的人工智能模型。H100将使聊天机器人用世界上最强大的单片变压器语言模型,威震天530 b, 30 x更高的吞吐量比上一代,而会议所需的次秒级延迟实时会话AI。H100还允许研究人员和开发人员培训等大规模的模型混合的专家,拥有3950亿参数,快到9倍,减少了训练时间从周的天。
广泛采用NVIDIA H100
英伟达H100可以部署在任何类型的数据中心,包括本地、云、混合云和优势。预计今年晚些时候全球可用的全球领先的云服务提供商和电脑制造商,以及直接从NVIDIA。
NVIDIA的第四代帕特系统,帕特H100、特点八H100 gpu提供32次的AI性能新FP8精度,提供大的规模来满足大规模计算需求的语言模型,推荐系统、医疗研究和气候科学。
每个GPU帕特第四代NVLink H100系统连接,提供900 GB / s的连接,1.5 x超过前代。NVSwitch使所有八个NVLink H100 gpu的连接。外部NVLink开关可以网络32帕H100节点下一代NVIDIA帕SuperPOD超级计算机。
斗已经收到了广泛的行业领先的云服务提供商阿里巴巴云的支持,亚马逊网络服务,百度人工智能云,云谷歌,微软Azure,甲骨文云和腾讯云,它计划提供H100-based实例。
广泛的服务器H100加速器预计从世界领先的系统制造商,包括源、BOXX技术,思科,戴尔技术,富士通,g, H3C,惠普企业,浪潮集团、联想、Nettrix和超微型计算机。
NVIDIA H100在每个规模
H100 SXM和作为PCIe形式因素将支持多种服务器设计要求。聚合加速器也将可用,搭配一个H100与NVIDIA GPU ConnectX-7 400 Gb / s InfiniBand和以太网SmartNIC。
NVIDIA的H100 SXM有HGX H100服务器上有四个,八路配置企业应用程序扩展到多个gpu在服务器和跨多个服务器。HGX H100-based服务器提供人工智能训练和推理的最高应用程序性能数据分析和高性能计算应用程序。
的作为PCIe, H100 NVLink连接两个gpu,提供超过7 x作为PCIe 5.0的带宽,提供优秀的主流企业服务器上运行的应用程序的性能。它的外形很容易集成到现有的数据中心基础设施。
的H100 CNX,新的聚合加速器,夫妻一个H100 ConnectX-7 SmartNIC提供开创性的I / o密集型应用程序的性能,如多节点AI培训在企业数据中心和5 g信号处理的优势。
NVIDIA料斗架构GPU也可以搭配NVIDIA恩典CPU的超高速NVLink-C2C互连超过7 x更快的CPU和GPU之间的通信相比,作为PCIe 5.0。这种组合-霍珀高密度芯片是一个集成的模块设计为大规模高性能计算和人工智能的应用。
英伟达软件支持
支持NVIDIA H100 GPU强大的软件工具,使开发人员和企业构建和加速应用程序从HPC AI。这包括主要更新软件等工作负载的NVIDIA AI套件演讲,推荐系统和超大型推理。
NVIDIA还发布了60多个更新其CUDA-X集图书馆、工具和技术来加速在量子计算和6克的研究工作,网络安全,基因组学和药物发现。
可用性
英伟达H100将在第三季开始。
