[科技资讯] SuperGLUE排名更新：谷歌追一科技Facebook霸榜

最近更新了自然语言处理领域的权威数据集superglue的排名。Google的预训模式t5保住了第一名，中国ai初创公司Zhuiyi Technology的AI实验室团队超越facebookai跃居榜单第二。值得注意的是，与Google t5等超大规模的研究模式相比，此次上市的roberta-mtl-adv模式商业化程度也非常强，相关技术已经登陆Zhuiyi Technology的ai数字员工产品线，不断为银行、保险、证券、零售、房地产、能源、教育、互联网等行业赋能。

zhuiyi科技跃居强力胶测试榜第二名

Super Glue(Super General Language understance Evaluation)是目前NLP领域最难、最权威、最有价值的评价标准之一，由纽约大学、华盛顿大学和Google的deepmind、facebook等为主要赞助商推出。它最大限度地涵盖了现实生活中可能遇到的不同类型的自然语言处理任务，旨在反映最先进的自然语言处理技术所能达到的认知智能水平。

在为企业提供智能交互服务的过程中，技术和应用是相互驱动的，在实际商业应用中总结的多任务学习、对抗训练、知识提炼等技术手段和经验融入到入门模型中，在强力胶评测数据集上获得第二个结果。

排除人的水平作为参考，谷歌的t5模型目前排名第一。从学术研究来看，t5模型目前已经达到了实验室智能的最佳水平，但如果考虑商业用途，t5需要大量的计算能力，而且模型本身过大，目前无法应用于实际的商业场景，缺乏实际的商业应用价值。

roberta-mtl-adv模型规模合理，在多任务学习、对抗训练和知识提炼方面仅次于谷歌的t5。与此同时，相关技术也登陆到了Chasing Technology的ai数字员工的产品线上。就强力胶排名而言，可以说，Zhuiyi Technology的roberta-mtl-adv模型的效果最好，在世界上具有实际落地能力的nlp模型中排名最高。

学霸模式的商业化能力

强力胶测试项目不是打孔机，而是实际测试模型一般能力的三项全能；参加强力胶不仅仅是为了刷新分数，更重要的是为了测试当前的技术能否很好的应用到实际应用场景中。

强力胶涵盖了自然语言理解的维度，如问答、推理、语义理解、常识判断等。它是人机智能交互过程中的核心环节，在特定的业务场景中具有非常重要的应用价值。Zhuiyi Technology入门模式相关的nlp技术已应用于自主研发的全套ai数字员工产品线，广泛服务于银行、保险、泛互联网、房地产、政府和企业等行业的标杆客户。比如将多轮问答技术、语义检索技术、机器阅读理解技术等nlp技术融入到Zhuiyi Technology的智能在线机器人bot中，可以准确识别用户意图，满足用户需求。

文字无法支撑。然后结合强力胶中的任务和bot的具体案例，探讨实际情况。

单/多轮问答技术是指机器人与用户之间进行问答，实现多轮对话的过程。例如，以下智能在线机器人机器人服务于餐饮业场景:

智能在线机器人机器人不仅可以从对话中准确识别位置、人数等信息，还可以进一步询问用户没有给出的用餐时间信息，以满足客户的需求。然而，传统的客户服务机器人对没有给出的潜在信息没有做出反应。

机器阅读理解技术在于机器人试图理解文档中内容的含义，从而根据用户的需要输出相应的结果。比如在金融保险领域，大量的保险业务单据被修改、增加。面对客户，即使是经验丰富的客户经理，也往往很难用所有新添加的文档做出有效的回应。此时，用阅读理解技术定制的智能在线机器人bot又可以发挥作用，可以实时帮助业务人员，从新文档中提取相关问题的答案，解决问题，降低出错概率。

文本蕴涵是自然语言推理任务中的一种常见形式，在实际中非常常见。请参考银行领域的以下示例:

因为白金信用卡属于信用卡，我的白金信用卡挂失的需要就隐含在我的信用卡挂失的需要中。因此，智能在线机器人bot只需要在回答用户时准确指导用户如何报失信用卡即可。

回指解析在人们的交流中非常常见。在表达中恰当地使用回指，会使表达更加简洁而不影响原意。如以下旅行领域的例子:

智能在线机器人bot了解到客户问题中的最后一次其实指的是最后一次中途取消订单，所以马上给出了正确的回复。

而机器人最难的是常识推理[/s2/]，对语言的理解离不开对常识的掌握。举个例子:

机器人需要有旭日东升留下阴影的常识推断，才能选择正确答案。对于人来说，这些常识很简单，但是对于机器来说，很多这些常识都隐藏在我们的意识深处。ai系统的研究人员几乎不可能将所有这些常识归纳起来，并注入到系统中，所以机器人在这个数据集中的性能往往不能令人满意。

比如在真实场景中落地，我们可以告诉智能在线机器人bot我的银行卡丢了，bot会问你是否需要挂失。因为它有一个常识，就是需要挂失一张银行卡。

可见，在真实的交互场景中，模型需要具备理解语言不同维度的能力，才能有完全正常流畅的对话。上面例子中的问题形式很好地包含在不同的强力胶数据集里。因此，这次Zhuiyi Technology在强力胶评测指标上的成绩，不仅是对其理解自然语言技术的roberta-mtl-adv模型的肯定，也验证了技术驱动应用和面向应用的技术策略的可行性，进一步坚定了Zhuiyi Technology继续培育技术、不断赋予各行业ai权能的信念。