CMU携手NUS、复旦推出DataLab：打造文本领域生物信息学处理Matlab

恶言论 artifacts

如右示意图 3 所示，我们借助 DataLab 可以很较易找到这个著名的反馈集（SST2）中所存在明显的适度别同性恋问题：

示意图 3：SST2 反馈集的适度别同性恋分布

再行比如，借助 DataLab，我们较易复现 Gururangan et al.[4] 在 SNLI 反馈集（自然句法处理中所关于两个句子关系悬疑流行的反馈集）上找到的一个很著名的 artifact 现象：hypothesis 越长的句对 (premise-hypothesis) 通常是「neutral」关系，如右示意图 4 所示。

示意图 4：SNLI 反馈集的 artifact 现象

3. Prompt 的系统性

Prompt Learning 并未得到了相当多的非议，因为它能格外好地借助可不培训的句法框架中所有利于许多 NLP 目标的知识。在也就是说应用中所，什么是好的「Prompt」是一个有着挑战适度的问题。右示意图 5 为DataLab 表述 Prompt 的一个例子。

（a）Prompt的表述

（b）属适度；（c）同一个反馈集Prompts在各有不同PLM上的结果

DataLab 目此前为止不但全力支持了 3000 多个并未其设计好的 Prompt（涵盖 PromptSources 揭晓的 2000 多个），伸展了上百个反馈集，并且为 Prompt 其设计了一个方式而，使得每一个 Prompt 可以被许多各有不同的视角刻画。示意图 5 为 DataLab 表述的 Prompt 例子，包括 Prompt 的相似适度 (如较宽、外观等)、属适度 (如模板、答案等)、全力支持的可不培训句法框架，以及它在各有不同的可不培训句法框架的结果（示意图 5 下右）。该其设计不仅可以尽力深入实证格外好地其设计 Prompt，还可以系统性什么是好的 Prompt。

4. 对比两个反馈集关联性

在够深入研究时，了解两个反馈集之间的详细关联性在很多各个方面都很不可或缺，例如，它可以尽力我们解释框架培训在各有不同反馈集上的各有不同行为。然而，系统性它们的关联性是一项繁琐的岗位，通常须要其设计各有不同的相似适度并且在各有不同的反馈集上去推算。DataLab 将这一流程电子化，并尽力深入研究工作人员以极其方便的方式顺利进行两两反馈集系统性。

我们选取了两个句法内容可的反馈集顺利进行试验中所， 然后会得到关于这两个反馈集全各个方面的比较，如下雷达示意图，两个反馈集各自特点可以清晰的被刻画。

5. 反馈集力荐

我们经常有个好的 idea，却不确切应当用上哪些合适的反馈集，随着越来越多的反馈集被提出，如何为也就是说的应用选择正确的反馈集似乎格外加瓶颈。

DataLab 尝试在这各个方面缺少些尽力。基本说来，也就是说一个深入研究想法的描述，DataLab 可以根据语义搜索出比较适配的反馈集，并且给出排序分数。我们用一个例子试验中所对比了下 DataLab 和 Google Dataset Search：我们找到此前者可以比较精准地找到一个符合描述的反馈集，而 Google Dataset Search 直接失效。

右示意图 6：DataLab 和 Google Dataset Search 对于同一个社会科学 idea 而力荐的反馈集。

(a) DataLab 为也就是说的 idea 而力荐的反馈集的结果页面。

（b）Google Dataset Search 为也就是说的 idea 的搜索结果（无法结果回到）

6. 亚洲地区视野系统性

（1）句法地示意图

句法地示意图是用来从地理的视角系统性哪些句法深入研究得多，哪些句法深入研究得少，从而询问我们今后应当格外非议框架哪些句法的反馈集。

如右示意图 7，颜色越红表示该国句法的反馈集被深入研究得越多。我们可以很较易看出哪些国家句法的反馈集很丰富（橙色），相比而言，中所文反馈集是相对缺少（橙色）。

示意图 7：句法地示意图

（2）NLP 框架谁家过关斩将？

以反馈集为单位，根据相反其借助于框架适度能的排序，以及对应的借助于的机构，我们可以对各有不同的机构其设计的 NLP 系统的适度能上顺利进行排序，并且判断各有不同的机构格外擅的 NLP 目标，如右示意图 8 所示。

示意图 8：亚洲地区的机构在 NLP 系统适度能上的排名

今后展望

我们希望和平台的标准化可以让集体知性格外较易发挥作用。今后，DataLab 将在此之后向多个正向扩大：

探寻并涵盖格外多各有不同的反馈类别。目此前为止，DataLab 仅涵盖句法类别的反馈集，随着促使优化，DataLab 将逐渐全力支持其他领域各有不同类别的反馈集，例如示意影像、多模态和刺耳等； 扩大格外多的操控。目此前为止，DataLab 涵盖的操控有可不处理、prompting、反馈编辑等操控。随着引入各有不同目标的系统，DataLab 有望探寻系统人组等应用，借助于高精度的自动反馈标明，从而一定程度上为Gmail减少反馈标明的费用； 促进该领域格外好的不断进步。各有不同和平台的标准化需要让Gmail短时间找到就其反馈集（反馈集力荐），有别于合适的反馈集（反馈可理解适度），短时间顺利进行反馈的处理（可不处理、prompting 等），从而一定程度上让社会科学深入研究格外较易。

参考内容可

[1]

[2] Datasets: A Community Library for Natural Language Processing

[3] PromptSource: An Integrated Development Environment and Repository for Natural Language Prompts

[4] Annotation Artifacts in Natural Language Inference Data

。

广州肿瘤医院哪最好
昆明白癜风医院哪里最好
沈阳皮肤病治疗费用
南京儿科医院去哪家好
杭州男科医院哪个比较好