在11月10日举行的第5届中国超级算力大会(chinasc 2023)上,由中科院计算技术研究所研究员张云泉、清华大学教授陈文光、美国阿贡国家实验室pavan balaji研究员和瑞士苏黎世实验室torsten hoefler教授联合acm sighpc china委员会共同发起的世界人工智能算力性能500排行榜——aiperf500发布。
榜单显示,“鹏城云脑ii”再次蝉联榜首,实现“四连冠”;北京超级云计算中心和一台神威系列高性能计算机、联泰集群、算力互联(北京)的智算系统列在第2~5位。另据榜单发布人、清华大学计算机系长聘教授翟季冬介绍,本届榜单前20位系统中有5台系新增机器。
?
aiperf500排行榜top5,本文图源chinasc 2023
作为鹏城实验室与华为公司联合打造的人工智能大科学装置,“鹏城云脑ii”拥有“华为鲲鹏920 昇腾910”的cpu ai加速芯片组合,铸就其强大的人工智能算力。此外,在今年5月在德国汉堡举行的2023国际超级计算大会(isc23)上,“鹏城云脑ii”实现了全球io500排行榜“六连冠”。
这是aiperf500第四次发榜。翟季冬介绍,该测试程序具有“提供一个分数”“可变计算规模”“计算有人工智能意义”“多机通信可以少但不能没有”等特点。实践证明,aiperf能够有效地评价计算系统的人工智能算力,是对大规模计算系统人工智能算力评测这一领域空白的有效补充。
翟季冬
“各个省市都投入许多资源和财力建设智能计算,公众需要一个简单明晰的指标来了解‘哪套系统的人工智能算力更强’‘整个领域的发展状况如何’等问题,aiperf就是在此背景下诞生的。”翟季冬说:“好的指标可以引领领域的健康发展。”
大模型在全球的风靡,离不开大算力的支撑。如何评测不同智能计算系统的大模型训练能力?为此,aiperf特别发布了面向大模型的基准测试程序aiperf-llm。
翟季冬称,评测智能计算系统大模型训练能力,面对着要测试真实大模型负载、支持不同智能处理器、适应不同系统规模等挑战。aiperf-llm基于llama-s 可变规模大模型设计,提出“一个参数、多种大小”理念,对给定初始模型和数据集进行若干步预训练,并与参考实现的loss曲线对比来验证其有效性。在量化评估训练性能方面,该测试程序将不同精度的浮点运算均视为一次aiop,测试得分即训练模型的aiop数量与训练时长之比,单位为aiops。同时,aiperf-llm还通过多种并行计算组合策略和多样化的优化算法进行性能调优。
基于aiperf-llm,翟季冬发布了以“大模型训练能力”作为区分的算力排行榜。在可测的若干智能计算系统中,复旦大学人工智能创新与产业研究院、算力互联(北京)科技有限公司、北京超级云计算中心、 魏桥国科智算中心、北京师范大学(珠海)交叉智能超算中心提交的智能计算系统位列aiperf-llm top5。
aiperf-llm top10
翟季冬表示,下一步,aiperf benchmark还需在支持更多国产智能处理器、支持更多机器学习框架、aiperf-llm 自动性能调优、进一步国际化推广等方面扎实推进。
米乐app官网下载的版权声明:凡本网注明“来源:中国科学报、科学网、科学新闻杂志”的所有作品,网站转载,请在正文上方注明来源和作者,且不得对内容作实质性改动;微信公众号、头条号等新媒体平台,转载请联系授权。邮箱:shouquan@stimes.cn。