首页 - sky注册中心 - NVIDIA A100 GPU推理性能高达CPU的237倍引爆点-SKY娱乐注册

NVIDIA A100 GPU推理性能高达CPU的237倍引爆点-SKY娱乐注册

发布时间:2020-10-27  分类:sky注册中心  作者:dadiao  浏览:4


据雷锋说。MLPerf组织今天发布了MLPerf推论V0.7的最新结果。共有23个组织提交了结果,几乎是前一版本(MLPerf推论v0.5)的12个提交者的两倍。


结果显示,今年5月英伟达发布的安培架构A100张量核心GPU的基准测试性能是最先进的Intel CPU的237倍。



MLP天富娱乐网址erf影响力v0.7部分结果截图


最新的AI推理测试结果意味着英伟达未来可能在AI推理和训练市场都占据领导地位,给云端AI推理市场拥有优势的英特尔带来更大压力的同时,也将让其他追赶者面临更大挑战。


MLPerf推理基准测试进一步完善的价值


与2019年的MLPerf Inference v0.5版本相比,最新的0.7版本将测试从AI研究的核心视觉和语言的5项测试,扩展了到了包括推荐系统、自然语言理解、语音识别和医疗影像应用的6项测试,并且有分别针对云端和终端推理的测试,还加入了手机和笔记本电脑的结果。扩展测试项目无论从MLPerf还是行业来看都具有积极意义。



MLPerf推理v0.5测试项目



MLPerf推理v0.7数据中心测试项目



MLPerf推理v0.7边缘结束测试项目


任何基准测试都需要给行业一个参考指标。MLPerf基准测试诞生于2018年,当时业界还没有公认的AI芯片评测标准。因此,移动绩效组织不仅要给出各方认可的绩效,还要根据人工智能行业的发展完善评估标准。


但是随着AI行业的快速发展,AI模型的参数越来越多,应用场景越来越多。评估AI芯片和系统的推理性能需要涵盖可编程性、延迟、准确性、模型大小、吞吐量、能效等指标。还需要选择更有指导意义的模式和应用。


这个新增的推荐系统测试对互联网公司来说意义重大。根据汪哲的书《深度学习推荐系统》,天猫2019年的“双11”营业额为2684亿元。假设推荐系统优化,整体转化率提高1%,增加营业额约26.84亿元。


此外,在mlperf感染v0.7中增加医学影像的3D U-Net模型测试,与新冠肺炎大流行和AI在医疗行业的重要性日益增加密切相关。例如,一家初创公司使用人工智能来简化超声波心电图的采集,这在新冠肺炎大流行的早期发挥了作用。


基准测试从v0.5到v0.7,能够为要选用AI芯片和系统的公司提供更直观和有价值的参考是MLPerf基准测试的价值所在,比如,帮助金融结构的会话式AI更快速回答客户问题,帮助零售商使用AI保证货架库存充足。


同时也会促进行业内对MLPerf组织的认可,从提交分数几乎翻倍的组织可以看出


GPU云端推理性能最高是CPU的237倍


这几年来,英伟达在云AI培训市场有着绝对的优势,而英特尔在云AI推理市场上赚取的利润最多也是事实。很多人已经意识到GPU更适合训练,CPU更适合推理,但是MLPerf最新的推理测试结果可能会改变这种观点。


MLPerf推论V0.7测试结果显示,在数据中心的OFFLINE测试模式下,skyilinsky U250和Intel Cooper Lake在各种测试模式下与NVIDIA T4的差异不大,但A100与CPU、FPGA和自带的T4相比,性能差距明显。



在SERVER模式下的推荐系统DLRM模型下,A100 GPU对比英特尔Cooper Lake有最高237倍的性能差距,在其他模型下也有比较显著的差距。值得注意的是,英特尔的Cooper Lake系统的状态还是预览,其余三款芯片的系统都已经可用。



A100 GPU的优势在边缘推理上也很明显。与英伟达T4和英伟达捷森AGsky泽维尔相比,A100在单流测试中的性能要高几倍到十倍。在Multi-Stream测试中,A100在不同AI机型上与其他两款国产产品相比有几倍到20倍以上的性能优势。



与T4和杰生AGsky skyavier相比,A100在edge OFFLINE模式下具有数倍至二十倍以上的性能优势。


这很好地说明A100的安培架构以及其第三代Tensor Core优势的同时,也表明了英伟达能够覆盖整个AI推理市天富娱乐客服场。10-59000


从提交结果的合作伙伴的系统可以看出,英天富娱乐代理伟达T4仍然是企业边缘服务器推理平台的主要选择。A100性能的提升意味着未来选择AI推理平台时,企业边缘服务器可以从T4升级到A100,功耗有限的设备可以选择杰斯顿系列产品。


在此次提交结果的23家公司中,除了英伟达外还有11家其合作伙伴提交了基于英伟达GPU的1029个测试结果,占数据中心和边缘类别中参评测试结果总数的85%以上。


特别值得注意的是,英伟达GPU首次在公有云中实现了超越CPU的AI推理能力。


五年前,只有几家领先的高科技公司使用GPU进行推理。临界点到来?AI推理芯片市场竞争门槛更高



此外,英伟达还强调基于A100的高性能系统的性价比。英伟达表示,一个DGsky A100系统可以提供相当于近1000台双插槽CPU服务器的性能,可以为客户AI推荐从R&D到生产的系统模型流程,性价比极高。



同时英业达也在不断优化推理软件栈,进一步提升自己在推理市场的竞争力。


Intel会是第一个感受到冲击的,但云环境下的AI推理市场至少需要几年时间才能显现出显著的变化,因为企业在换平台时会更加谨慎,此时的生态护城河更能体现价值。


但是,我们都看到天富娱乐开户了英伟达在AI市场的强势地位。7月底,雷锋报道,在mlperf发布的MLPerf训练v0.7基准测试中,A100 Tensor Core GPU和HDR InfiniBand,一个由多个DGsky A100系统互联而成的庞大集群DGsky superpad系统,创造了8个新的性能里程碑,共破16项纪录。


如今,英伟达GPU首次在公有云市场实现超越CPU的AI推理能力,或许意味着AI推理市场临界点的到来。英伟达还预测,基于其GPU的总体云端AI推理计算能力每两年增长约10倍,增长速度高于CPU。


NVIDIA进一步将自己在云培训市场的优势拓展到云和边缘推理市场,符合AI未来的发展趋势。预计随着AI模型的成熟,云AI培训的市场需求增长率将下降,云AI推理的市场规模将快速增长,预计2022年将超过培训市场。根据ABI研究的数据,预计到2025年,edge AI芯片市场的营收将达到122亿美元,云AI芯片市场的营收将达到119亿美元,edge AI芯片市场将超过云AI芯片市场。


凭借强大的天富娱乐APP下载软硬件生态系统,英伟达和英特尔仍将是AI市场的重要参与者。但是随着自身竞争力的不断提高,其他参与AI市场竞争的AI芯片公司将面临越来越大的压力。