央广网

科大讯飞认知突破,机器阅读理解全球第一

2017-08-04 09:01:00来源:中安在线

  中安在线讯阅读理解是人类考试中必不可少的项目之一,想考高分并不容易。

  近日,由斯坦福大学发起的SQuAD(Stanford Question Answering Dataset)挑战赛榜单更新成绩。在这场国际顶级机器阅读比赛中,由科大讯飞与哈工大联合实验室提交的“InteractiveAoA Reader”系统模型,在全球自然语言理解研究领域脱颖而出跃居头名,这也是中国本土研究机构在该赛事中首次夺冠。

  据悉,过去,机器阅读理解问题的解决,是靠传统的自然语言处理方式,也就是采用分拆任务的方法将其分成问题分析、篇章分析、关键句抽取等一些步骤,但这种方法容易造成级联误差的积累,很难得到很好的效果。在目前的机器阅读理解领域中,则多采用完全端到端的神经网络建模,消除了分步骤产生的级联误差。除此之外,采用神经网络的方法能够通过大量的训练数据学习到泛化的知识表示,对篇章和问题从语义层面上高度抽象化。

  此次参赛,科大讯飞联合团队同样也采用了端到端的神经网络模型,但把精力更多放在如何能够模拟人类在做阅读理解问题时的一些方法。

  具体而言,讯飞提出的基于交互式层叠注意力模型,主要思想是根据给定的问题对篇章进行多次的过滤,同时根据已经被过滤的文章进一步筛选出问题中的关键提问点。这样“交互式”地逐步精确答案的范围,与其他参赛者的做法不太相同,最终收获了令人瞩目的成绩。

  目前,科大讯飞的全学科阅卷技术在四六级、部分省份的高考、中考等大规模考试中进行了试点验证,验证结果表明计算机评分结果已经达到了现场阅卷老师的水平,完全满足大规模考试的需要。这项技术应用到正式考试中,可以辅助人工阅卷,减少人员投入,降低人工阅卷中疲劳、情绪等因素的影响,进一步提升阅卷效率和准确性。

  其实,这并不是哈工大讯飞联合实验室第一次阅读理解考试第一了。此前,该实验室曾先后在Google DeepMind阅读理解公开数据测试集、Facebook阅读理解公开数据测试集取得世界最好成绩,本次在SQuAD测试集再获全球最佳,包揽了机器阅读理解权威测试集的“大满贯”。

  机器阅读理解技术拥有广阔的应用场景,例如在产品的精准问答、开放域的问答上都会起到有力的支撑作用,下一步,科大讯飞也在不断探索机器阅读理解技术的应用落地。

  新闻链接:

  SQuAD挑战赛

  SQuAD挑战赛是行业内公认的机器阅读理解标准水平测试,也是该领域的顶级赛事,被誉为机器阅读理解界的ImageNet(图像识别领域的顶级赛事)。

  参赛者来自全球学术界和产业界的研究团队,包括微软亚洲研究院、艾伦研究院、IBM、Salesforce、Facebook、谷歌以及卡内基·梅隆大学、斯坦福大学等知名企业研究机构和高校,赛事对自然语言理解的进步有重要的推动作用。

  阅读理解题,机器怎么考?

  SQuAD挑战赛通过众包的方式构建了一个大规模的机器阅读理解数据集(包含10万个问题),就是将一篇几百词左右的短文给人工标注者阅读,让标注人员提出最多5个基于文章内容的问题并提供正确答案;短文原文则来源于500多篇维基百科文章。

  参赛者提交的系统模型在阅读完数据集中的一篇短文之后,回答若干个基于文章内容的问题,然后与人工标注的答案进行比对,得出精确匹配(Exact Match)和模糊匹配(F1-score)的结果。

编辑: 汪称
关键词: 科大讯飞;机器阅读

科大讯飞机器阅读理解全球第一

由科大讯飞与哈工大联合实验室提交的“InteractiveAoA Reader”系统模型,在全球自然语言理解研究领域脱颖而出跃居头名,这也是中国本土研究机构在由斯坦福大学发起的SQuAD赛事中首次夺冠。