数字革命浪潮席卷而来,5G、物联网、大数据、区块链等新一代信息技术突飞猛进。新能源电动车市场正在蓬勃发展,未来正从数字化、网络化向智能化发展。人工智能(AI)作为一种新的颠覆性技术,正在释放科技革命和产业变革积累的巨大能量,深刻改变人类的生产、生活和思维方式,对经济发展和社会进步产生重大而深远的影响。
在过去的2020年,从零开始为人工智能设计IPU智能处理器的Graphcore发布了第二代IPU产品。近日,Graphcore高级副总裁兼中国区总经理陆涛先生与Graphcore中国项目总经理、AI算法科学家陈进女士共同探讨了Graphcore第二代IPU产品的创新优势,以及人工智能创新者如何从最新的Poplar SDK 1.4的关键新功能中受益。并就Graphcore在中国及全球的业务发展、在合作伙伴生态系统中的相关规划和进展,以及在人工智能升级需求的推动下,Graphcore产品将面临的市场挑战,与行业媒体进行了进一步的交流。
为了与IPU合作,在软件方面,Graphcore不断更新Poplar软件。Poplar SDK已经更新到1.4版本,同时还发布了PyTorch的IPU生产版。只需几行额外代码,开发人员就可以在PyTorch上无缝运行他们的应用程序。PyTorch是AI社区,尤其是研究人员社区的热门机器学习框架。现在用机器学习框架中的TensorFlow“一分为二”。
陈进女士介绍到“Poplar SDK 1.4是在Poplar SDK 1.3的基础上进一步优化,可以支持大嵌入。嵌入主要用作推荐模型。我们还引入了对PyTorch GA的支持。在Poplar SDK 1.4中,可视化工具不仅支持单机性能测量和编写,还支持多机性能测量和编写。我们在训练上也做了一些优化。现在有混合的精准训练,也有扩展训练,训练越来越不稳定。我们采取了一些措施使训练更加稳定,比如一个带有损失值的自动扩展。这种机制使您能够根据损失值的范围自动调整和缩放这些损失,以便在FP16的情况下可以保持最小梯度。即使批量增加,我们的梯度累积也是有效的。我认为这是一个非常有用的功能。在未来, 模型会越来越大,引入稀疏度逐渐成为必然趋势和选择。为了更好地支持稀疏性,我们还将在公共库中引入一个稀疏库。这个库的主要功能是支持静态和动态稀疏矩阵乘法。"
作为一款“革命性”产品,第二代IPU(MK2 IPU)、IPU-M2000机器智能刀片计算单元和IPU-POD64(一款新型模块化机架秤解决方案)可以满足最苛刻的机器智能工作负载。陆涛先生特别指出,“IPU-M2000是继英伟达的GPU和谷歌的TPU之后,全球第三个公开发布的可以训练BERT-Large模型的AI处理器产品。IPU-POD64是由16个IPU-M2000组成的解决方案,已经在全球交付,该解决方案解耦了x86和IPU计算。IPU-POD64是市面上非常少见的AI计算平台产品,无论是纵向扩展还是横向扩展都可以做得非常好。”
IPU-M2000和IPU-POD64于2020年第四季度正式发货,首批发货的部分产品已经在客户的数据中心安装运行。Graphcore的全球精英合作伙伴网络和Graphcore的全球销售和现场工程团队将为客户提供完美的销售和服务。
为了进一步量化IPU的优异表现,Graphcore围绕IPU-M2000和IPU-POD64发布了一组新的基准测试。这组基准涵盖了许多模型的训练结果,包括典型的CV模型ResNet、基于组卷积的ResNeXt、EfficientNet、语音模型、自然语言处理模型如BERT-Large和传统的机器学习模型如MCMC。这些模型在IPU上显示出巨大的性能改进。例如,与V100相比,在IPU-M2000上,ResNet的吞吐量增加了4倍,ResNeXt增加了5.4倍,EfficientNet增加了18倍,Deep Voice增加了13倍。与两个DGX-A100相比,像BERT-Large这样的大型模型或像MCMC这样的传统模型在IPU-POD64这样的系统级产品中训练时,可以实现一定的性能增益。
最新的基准测试表明,IPU独特的架构可以帮助当今领先的模型实现最先进的性能,它在下一代模型所需的更小的分组卷积中也显示出巨大的性能优势。除了常见的模型,该基准还涵盖了那些已经在金融、汽车等领域应用的解决机器学习难题的模型。与传统的计算方法相比,IPU可以充分发挥这些模型的潜力。
在社区方面,Graphcore携手阿里云、微软亚洲研究院等行业巨头,汇聚优势,开展进一步的技术合作,拥抱行业生态,为合作伙伴拓展新的价值。
Graphcore是阿里云HALO/ODLA的共建伙伴之一。目前,阿里云HALO的GitHub中有完整的支持IPU的代码库odla_PopArt。
此外,用户可以从各种渠道获得IPU。用户可以通过微软Azure云、金山云等云厂商获得IPU云解决方案,通过戴尔、浪潮等服务器厂商获得搭载IPU的服务器产品。用户也可以通过渠道和渠道合作伙伴如神州数码获得IPU。在全球范围内,Graphcore的渠道合作伙伴不断丰富。去年,Graphcore启动了Graphcore全球合作伙伴计划,招募更多的合作伙伴来推动IPU产品的落地。
关于开发者社区和研究者社区的建设,中国官网和开发者社区的门户已经上线(http://www.graphcore.cn)。Graphcore与阿里云、微软亚洲研究院共同建立的社区共建项目HALO和NNFusion,从AI编译的角度希望用户能够尽可能平滑地在GPU和IPU之间迁移,所以这两个项目支持的主要平台也是GPU和IPU。此外,2021年,Graphcore将与国内某知名大学正式推出IPU大学课程。2021年,Graphcore在中国将专注两件事——落地和生态建设。
2020年,Graphcore在研究领域取得了诸多成就,MK2 IPU的发布也为人工智能创新者的下一次突破带来了无限可能。据悉,Graphcore公司E轮融资,融资2.22亿美元。增资后,公司其估值为27.7亿美元。Graphcore表示,新投资将用于支持公司继续在全球拓展业务,进一步加快未来IPU芯片、系统和软件的开发。新投资者在颠覆性技术和支持扩展企业领域带来了丰富的经验,凸显了Graphcore在数据中心人工智能计算潜在市场中的巨大机遇,以及公司产品的成熟度。
未来,随着云技术、5G等数字化趋势的发展和AI普及率的提高,通用AI处理器的市场将变得非常重要,IPU技术的性能远远优于GPU等传统处理器。作为该领域的领导者,Graphcore将继续针对AI开发者的需求开发强大的软件工具集,并通过全球销售运营将产品推向市场。Graphcore将与志同道合的合作伙伴共建命运共同体,携手打造IPU生态系统,助力每一个世界级的互联网。公司“拨云见日”,全面开启数字化转型新征程。