全球超算总决赛融入微软NLP赛题,高性能计算和AI如何携手前行?

  • 时间: 2018-05-12 11:37:37

ASC世界大学生超级计算机总决赛(ASC18)于近日在南昌大学举行。这个由亚洲超算协会和浪潮集团联合发起的超算竞赛起源于 2012 年,目前已经成功举办7届。据雷锋网 AI 研习社了解,这一赛事共有来自北美洲、南美洲、非洲、亚洲、欧洲、大洋洲6 大洲,全球300 多支大学生队伍报名参赛,再次创下数量新高。

近年来人工智能的火热让高性能计算(HPC)逐步走入大众视野,而从赛题设置的角度HPC与AI的结合似乎已成为一种必然趋势。从2016年开始,ASC 就已经将人工智能领域的一些热门问题作为决赛赛题,着重考察选手们对深度神经网络系统的优化方案。

ASC16的一道赛题便是针对深度学习DNN的智能语音识别应用,对涉及英文、中文普通话、四川方言三个语种共约60万条语音数据实现了高准确度训练模型。彼时华中科技大学团队设计了非常出色的深度神经网络优化方案,将计算性能最高提升108倍。

而在ASC17中,围绕百度提供的历史交通大数据,北京航空航天大学团队对深度神经网络模型进行优化,对早高峰的道路交通进行预测,摘得这一赛题的桂冠。

在今年的ASC18中,自然语言处理也成为了今年的赛题热点。在阿里、微软、哈工大与讯飞联合实验室相继在SQuAD(Stanford Question Answering Dataset)文本理解挑战赛中超越人类水平后,机器阅读理解与问答数据集微软MS MARCO成为了自然语言处理的下一座高峰。在今年,百度NLP团队、猿辅导团队都在微软MS MARCO上表现不俗,雷锋网也做过相关报道。据了解,ASC18各参赛队将使用CNTK深度学习框架,独立开发机器阅读理解和问答的算法模型,使用最新超算技术结合MS MARCO数据集进行训练,以试图让机器更准确地回答问题。

 “超算的强项是对大数据的处理和强大的计算能力。在人工智能方面,现在超算的能力主要发挥在深度学习方面,对语音、图像及翻译的处理都可以用超算。”这也不难理解,为何同期举行的高峰论坛和创新研讨会都以人工智能为重点内容。

第18届“HPC Connection Workshop国际超算高峰论坛”的主题为“下一个尖端:人工智能, 计算与科学”。来自中国、美国、欧洲等多国超算专家在论坛上分享探讨的议题,也集中于如何更好地促进超算与AI的融合。“HPC Connection Workshop国际超算高峰论坛”由亚洲超算协会和浪潮集团联合举办,每年在德国ISC超算大会、美国SC超算大会和ASC世界大学生超算竞赛期间召开,旨在探讨超算在前沿科学工程与新兴领域的应用创新和发展趋势。

全球超级计算机排行榜TOP500发起人,美国工程院院士,橡树岭国家实验室及田纳西大学杰出教授Jack Dongarra带来《高性能计算与大数据:未来的挑战》主题报告。Jack Dongarra结合自己在1993年所的TOP500榜单,分析了目前全球超级计算机的发展态势。在演讲中,Dongarra院士提及了CPU的发展、深度学习与边界设备的发展将给科学计算带来进一步的挑战。

国家重点研发计划“高性能计算”重点专项总体专家组组长钱德沛教授、国家超级计算无锡中心副主任、清华大学付昊桓副教授、华沙大学数学建模和计算机跨学科中心副主任 Marek Michalewicz博士、、挪威科技大学计算机科学系教授Anne C. Elster博士、、南昌大学徐子晨教授、NVIDIA刘通等与会嘉宾也分别带来精彩报告。

而人工智能与超算创新研讨会则邀请了国家超级计算无锡中心副主任、清华大学 付昊桓副教授及百度云、腾讯云、浪潮、南昌大学等单位的人工智能与超算专家,分享了AI与超算方面的尖端应用与科研进展。

会后,Dongarra院士也进一步向雷锋网(公众号:雷锋网)AI研习社总结了他所理解的人工智能与高性能计算的关系。他认为,高性能计算是“更好实现人工智能的一个工具(tool)”,可以从算力上帮助人工智能更好地探索现有的问题。

钱德沛教授则表示,人工智能与超算的关系在目前仍然处于一个比较初级的阶段,即“AI需要超级计算的支持”。人工智能特别是深度学习领域有大量的数据、推理、训练内容,高性能计算能够协助AI拓宽应用更多的领域。但钱德沛教授也认为,两者间的关系在未来可能会有更加深入的进化。

两位教授都提及了摩尔定律。在摩尔定律终将不适用于如今计算机系统的那一天,也就同时意味着机器要发生新的转变。

首先,机器的规模会越变越大,且会朝着并行计算的趋势前行。这一点并没有太多疑问,从Dongarra院士所提供的最新一期TOP500榜单中就可以看出,以天河1号、太湖之光为代表的超级计算机已经在全球处于领先地位。

其次,人工智能虽然在计算能力上碾压人类,但从计算智能向感知智能的转化上,在运行像模式识别为代表的任务上,还有很长的路要走。钱德沛教授认为,未来计算系统或将会探索出一种新型的计算模式,而超算将为这一转变带来更多的启发。

而深度参与了多年会议的二位学者,对于今年的ASC18也有着诸多感悟。他们均从不同角度表示,ASC18作为一项国际赛事,在推动超算人才培养、关注人才成长上有着非常多的助力作用。

2012年首届ASC大赛举办时,共有来自中国大陆的27支队伍参赛;但转眼到2013年,ASC竞赛便全面覆盖了东亚、西亚、北亚和南亚43支高校参赛队;在2014年就成为了世界规模最大、覆盖地区最大的大学生超算竞赛。超算大赛的参赛规模扩大,人数增加,甚至一些高校已经组织起一支以赛事为导向的比赛团队。

不论是从ASC18的赛题,还是从两场论坛及研讨会上看,我们发现HPC正在越来越多地拥抱人工智能。人工智能需要高性能计算的支持,也需要超算的强大计算辅助。如今,有更多的学生因为人工智能领域开始接触到高性能计算,对于这门科学而言,无疑也是一件好事。

雷锋网原创文章,未经授权禁止转载。详情见转载须知

全球超算总决赛融入微软NLP赛题,高性能计算和AI如何携手前行?