10.15讲习班：Formulating Different NLP Tasks under the MRC Framework

本讲座主要讲解了如何利用MRC框架解决各种NLP任务，并在以下四个领域进行了尝试：

NER(Paper: A Unified MRC Framework for Named Entity Recognition)
Relation Extraction(Paper: Entity-Relation Extraction as Multi-turn Question Answering)
Coreference Resolution(Paper: CorefQA: Coreference Resolution as Query-based Span Prediction)
Text Classification(Paper: Description Based Text Classification with Reinforcement Learning)

MRC，即Machine Reading Comprehension，机器阅读理解。是指给定一篇文章以及基于文章的一些问题，让机器再根据文章内容进行回答，从而完成阅读理解的任务。例如：

那么，能否考虑将其他NLP的任务套用在MRC数据（框架中）？香侬科技进行了一系列的尝试，将四个任务进行修改和调整，套用在MRC数据集上，取得了良好的效果。

MRC for NER

在NER任务中，经常出现一种成为Nested NER的语言现象，简单来说就是不同的实体间存在着一些重叠关系。例如：“中国人民解放军”是一个ORG实体，这里“中国”也是一个地点实体。

传统的sequence model在一个时刻仅能预测一种label，这就造成了对nested NER问题没办法有很好的支持。因此作者提出了利用MRC框架来解决NER问题（即利用现有的MRC数据集并将问题套用在相关数据上）。

也就是说，针对一段文本抽取命名实体的过程转换为：给定文本和query，获取相应的答案的过程。即采用一问一答的方式来进行实体的抽取，例如：

我们可以看出，query的质量十分重要，在训练的过程中需要大量的合适的query。这里可以通过一些这样的方法完成query训练数据的构建。

当构建数据集的时候，通常会对结果进行注释，说明为什么对某个文本做特定的标签。那么标注说明则可以视为对label的自然语言解释。
还有一种方法是，根据wiki百科的特点，提取每个label对应的wiki的第一段话作为label的自然语言描述。

下面可以给出基本的模型：

我们采用bert作为文本的输入，然后我们对于每个query预测token的index，如上图的P_start和P_end。
但是由于这里采用分开计算loss并分开预测的形式，一旦模型出错导致start和end预测出的数量不统一，那么这样结果是很难被继续使用的。所以论文中也增加了一个Start-end matching的并且也作为loss一起计算，最终计算三个loss的均值进行优化

论文也讨论了这么一个问题（这个问题很重要）：如何确定NER结果的提升是来自MRC框架而不是因为BERT强大的能力？作者就设计了以下的实验进行对比说明