·对比备受热捧的h100芯片,新的h200完成了1.4倍内存带宽和1.8倍内存容量的升级,提高了处理密集生成式人工智能负载的能力。据介绍,在处理meta的大语言模型llama2(700亿参数)时,h200的推理速度比h100提高了2倍。
·第一批h200芯片将于2024年第二季度上市。
第一批h200芯片将于2024年第二季度上市。
北京时间11月14日凌晨,英伟达在今年的sc23大会上突然宣布,推出新的顶级ai芯片hgx h200。第一批h200芯片将于2024年第二季度上市。
英伟达又一次自己超越自己,h200取代h100成为新的世界最强ai芯片。
对比备受热捧的h100芯片,这款新的gpu(图形处理单元)完成了1.4倍内存带宽和1.8倍内存容量的升级,提高了处理密集生成式人工智能负载的能力。据介绍,在处理meta的大语言模型llama2(700亿参数)时,h200的推理速度比h100提高了2倍。
从外观上看,h200似乎与h100基本相同。内存方面,h200芯片是第一款采用hbm3e(新型超高速高带宽内存)的gpu。hbm3e可加速生成式ai和大语言模型工作负载,将gpu的内存带宽提高到每秒4.8tb,而h100为每秒3.35tb,同时将其总内存容量提高到141gb,而其前身为80gb。与再前一代的a100相比,其容量翻倍,带宽增加2.4倍。
对于高性能计算(hpc),显存带宽也至关重要,其可以实现更快的数据传输,减少复杂任务的处理瓶颈。对于模拟、科学研究和人工智能等显存密集型hpc应用,h200更高的显存带宽可确保高效地访问和操作数据。据介绍,相较于h100,h200在处理高性能计算的应用程序上有20%以上的提升。
英伟达大规模与高性能计算副总裁伊恩·巴克(ian buck)在演示视频中表示,“hbm内存的整合有助于加速计算密集任务的性能,包括生成式人工智能模型和高性能计算应用,同时优化gpu的利用率和效率。”“借助h200,业界领先的端到端人工智能超算平台的速度会变得更快,一些世界上最重要的挑战,都可以被解决。”
h200还与支持h100的系统兼容。英伟达表示,云服务提供商在添加h200时无需进行任何更改。亚马逊、谷歌、微软和甲骨文等公司的云服务部门将是明年首批接收新gpu的公司。
除了各种芯片性能升级外,一个重要的关注点在于公司是否能够得到这些新芯片,或者它们是否会像h100一样受到供应限制。对于这个问题,英伟达并没有确切的答案。该公司表示正在与“全球系统制造商和云服务提供商”合作,以使其可用。英伟达发言人克里斯汀·内山(kristin uchiyama)拒绝就生产数量发表评论。
此外,价格也是核心焦点。英伟达目前没有列出新芯片的价格,内山表示定价由英伟达的米乐app官网下载的合作伙伴确定。据美国媒体cnbc报道,上一代h100估计每个售价在25000到40000美元之间,要想在最高水平上运行,可能需要数千个h100芯片。
目前全球的人工智能公司还面临着“算力荒”,急切寻找h100芯片成为常态(h100被视为高效训练和运行生成式人工智能和大语言模型的最佳选择)。这些芯片已经成为了“硬通货”,甚至有公司将h100芯片用作贷款的抵押品,在硅谷谁拥有多少h100芯片也是热门的八卦话题。
内山在接受科技媒体the verge的采访中表示,h200的推出不会影响h100的生产,“你将看到我们在整个年度增加总体供应”。据《金融时报》8月报道,英伟达计划在2024年将h100的生产量增加到三倍,目标是明年生产200万个(2023年生产约50万个)。
(原标题:英伟达自己超越自己,h200取代h100成为新的最强ai芯片)
特别声明:本文转载仅仅是出于传播信息的需要,并不意味着代表本网站观点或证实其内容的真实性;如其他媒体、网站或个人从本网站转载使用,须保留本网站注明的“来源”,并自负米乐app官网下载的版权等法律责任;作者如果不希望被转载或者联系转载稿费等事宜,请与我们接洽。