泡泡网科技生活频道 PCPOP首页      /      科技生活频道     /      动态    /    正文

科大讯飞刷新SQuAD2.0纪录 收获2018年第十个世界冠军

  日前,哈工大讯飞联合实验室团队(HFL)登顶SQuAD 2.0排行榜,击败谷歌(Google AI)、阿里达摩院(Alibaba DAMO)、微软亚洲研究院(Microsoft Research Asia),获得今年的第10个世界冠军。

  SQuAD2.0最新榜单(截至2018.11.22)

  SQuAD(Stanford Question Answering Dataset)是个阅读理解数据集,机器根据文本提供的信息,回答问题,而所有的答案都来自该文本,也就是说无法通过互联网等其他渠道获取相关问题的额外信息。

  据斯坦福NLP官方所说,相较于SQuAD 1.1中的10万问答,SQuAD 2.0又新增了5万个人类撰写的问题——而且问题不一定有对应答案,不仅要求机器能从对应段落中找到问题的答案,还需要机器在没有对应答案时可以选择无,而不是瞎猜,“不可回答的问题”算是进一步加大了机器在精准回答方面的难度。

  在本次提交的系统中,哈工大讯飞联合实验室所提交的模型在EM指标达到82.374,F1指标达到85.310。

  EM指标即精确匹配结果,也就是模型给出的答案与标准答案一致。

  F1指标即模糊匹配结果,可以理解为机器答对了部分内容,是根据模型给出的答案和标准答案之间的重合度计算出来的。

0人已赞

关注我们

泡泡网

手机扫码关注