近日，搜狗搜索技术团队在CLUE（中文语言理解测评基准）的任务比赛中，击败来自腾讯、华为、美团、阿里、oppo、中科院等知名科技公司和高校，在CLUE总榜、分类总榜、阅读理解榜单、小模型榜单均获得第一名，刷新业界记录。

“BERTSG”为搜狗搜索自研模型，“HUMAN”为人类成绩（不计入选手）

搜狗搜索霸榜CLUE任务比赛第一名，彰显强大技术创新实力

据了解，国际上常用GLUE作为评估通用 NLP 模型的基准，其比赛排名已成为衡量自然语言理解技术水平的重要指标。然而，GLUE基准目前只能针对英文任务，无法评价NLP模型处理中文的能力。为填补这一空白，CLUE（ChineseGLUE）应运而生，可谓是“中文版GLUE”，已经成为中文语言理解领域最具行业权威的测评基准之一。

目前，CLUE基于原始的中文文本语料共开设了7个方向的比赛，由文本相似度、分类、上下文推理、阅读理解等共11个子任务组成。CLUE希望集合各大科技企业和科研团队的技术力量，推动NLP（自然语言处理）基准预训练模型技术的不断进步和突破。

据了解，搜狗搜索技术团队此次在CLUE总榜、分类总榜、阅读理解榜单、小模型榜单均获得冠军，得益于其在自然语义理解领域强大的技术能力，以及对学术界最新算法的持续跟踪。搜狗搜索技术团队的预训练模型采用了多种自研预训练技术，基于自身海量优质语料构建的训练数据，利用大规模分布式训练平台，训练出了包括从千万参数量级的小模型到数十亿参数的大模型。此外，搜狗搜索技术团队还探索了一套适用语义匹配、分类、和阅读理解等不同任务的算法，均表现出了优异的效果。

搜狗搜索NLP技术成果丰硕，加速人工智能持续向实际场景落地

那么，预训练模型的技术突破到底意味着什么？我们知道，NLP（自然语言处理）技术作为人工智能领域的一个重要发展方向，其目的是使得计算机具备人类的听、说、读、写、译、问、答、搜索、摘要、对话和聊天等能力，并可利用知识和常识进行推理和决策，最终支持客服、诊断、法律、教学等场景，因此，被业界誉为 “人工智能皇冠上的明珠”。但同时它也具有很高的技术难度，而目前技术难点主要集中在对标注数据依赖性较高，导致其难以在标注数据稀缺的任务、语言或领域内发挥作用。尤其是在中文自然语言模型领域，更是缺乏大规模高质量的标注数据，因此目前业界主流采用的一个方法就是采用基于大规模无监督数据的预训练模型，来作为通用语言模型测评的有效补充，从而促进中文自然语言处理模型的完善发展，最终来加速NLP技术在产业的应用和落地。

搜狗搜索在NLP技术领域的优势由来已久。除了此次夺冠的预训练模型外，搜狗搜索技术团队还在多模态预训练模型也进行了深入的研究，并在整个搜索场景中落地从而提升用户体验。此外，搜狗搜索在语义理解、长文本和短文本分类、阅读理解、问答等NLP技术领域更拥有长期领先业界的表现。在此次获得CLUE榜单冠军之前，搜狗搜索已先后在国际阅读理竞赛CoQA等竞赛中取得了冠军的成绩。

预训练模型技术已被证实给多个下游任务如文本匹配、文本分类、文本抽取、阅读理解、机器问答等任务带来大幅的提升。因此，搜狗搜索在CLUE任务比赛中的“霸榜”成绩，既展现了在预训练模型领域的丰硕成果和技术突破，也更全面彰显了搜狗搜索处于行业领先水平的NLP技术实力。目前，搜狗搜索已经将自研预训练模型运用在搜索查询理解、文本语义匹配，内容理解等方面，有效提升了搜狗搜索的使用体验。相信在未来，搜狗搜索的相关技术将有能力在语言翻译、聊天机器人、知识图谱等领域进行广泛的落地，有助于推动人工智能技术在国内的发展和应用。