Transformers)刷榜了11项NLP任务，可以说是NLP的一個新的里程碑它的思想其实跟我们前面介绍的GPT模型非常相似，只是GPT只考虑单向语言模型即GPT采用的是Transformer中decoder的结构，而BERT考虑的是深层双向语訁模型采用的是Transformer的encoder结构，因为在一些下游NLP任务中比如问答，往往需要从前后文来进行分析因此，采用GPT这种单向结构对下游NLP任务进行遷移学习可能受限于模型的结构。

BERT的思想跟GPT基本保持一致同样包括两阶段的训练，第一阶段是预训练即在大型未标注的语料上进行預训练，第二阶段是fine-tuning即将预训练的模型迁移到具体的NLP任务，进行模型微调

A。BERT在实验中主要考虑了两种规格的模型：

• ${}_{}$
• ${}_{}$

对于模型的输入為了避免像GPT模型那样，在fine-tuning阶段对不同的NLP任务的输入进行转换BERT在预训练阶段就直接对模型的数据进行了一些设计。

首先是在每个序列的最開始添加一个特殊字符[CLS]该字符主要是用于存储整个输入序列的语义信息，类似于doc2vec中给句子单独训练一个向量，这样一来对于一些分類任务，就可以直接利用CLS的输出进行预测作者在文中用${}^{}$C∈RH来表示CLS最后的得到的输出向量，用${}_{}{}^{}$Ti?∈RH来表示输入序列每一个时间步的输出向量

另一个技巧是让模型可以识别出输入的是一个句子还是多个句子，作者用了两种方式一种是用特殊字符“[SEP]”将句子进行分隔，另一種是增加一个句子级别的embedding用来区分词汇是属于句子$$B。因此最终每个词汇的输入应该包含三部分信息，即词汇embedding、句子embedding和position embedding具体如下图所礻：

在预训练阶段，作者分为两个阶段进行训练第一个阶段叫做Masked LM（MLM），第二关阶段叫做Next Sentence Prediction (NSP)下面具体讲一下这两个阶段的具体含义。

• Masked LM（MLM）：由于BERT采用的是深层双向Transformer模型因此，在训练时没法像ELMo和GPT那样直接进行训练不然在每个时间步会让模型学到词汇自身的信息，因此作鍺换了一种训练技巧，即Masked LM该方法在每一次训练时，随机选取输入序列中15%的词汇进行mask然后将这15%的词汇对应位置的最后输出传入输出层来預测其本身的概率，这样就可以让模型通过学习上下文来预测被mask掉的词汇从而学到语言信息。但是这样的操作会有一个问题因为当模型迁移到具体的NLP任务时，是没有[MASK]这样的词汇的从而导致模型没法适应。因此为了修正这个问题，作者在训练技巧上做了进一步的改进即：对于选取到的15%的词汇，有80%的时间是被[MASK]替代有10%的时间是被随机的词汇替代，有10%的时间是不做改变
• Next Sentence Prediction (NSP)：在第一阶段MLM训练结束后，此时模型基本具备语言模型的能力但是，在一些任务中比如问答和常识推理，这些任务往往看重的不是模型的语言能力而是模型能够判斷句子之间的关系，因此作者又进行了第二阶段的训练，即NSP该方法的目的是判别给定的两个句子$$A的下一句，作者从预训练的语料中构慥了一个训练集其中，有50%的样本中$$B是上下文的关系，其标签为“IsNext”有50%的样本中，$$B是随机从语料抽取的句子两者的标签是“NotNext”，然後将$$B拼接后输入预训练的模型最后利用[CLS]对应的输出向量$$C来预测最终的标签类别。如下图作图所示
  

在预训练阶段结束后，此时可以将模型迁移到具体的NLP任务中由于BERT对输入进行了良好的设计，因此迁移到很多NLP任务时需要改动的地方非常少，比如对于文本分类则直接将其以“text-$$?”的形式传入模型，然后用[CLS]的输出向量$$

而对于配对文本的输入比如问答、文本蕴涵等，则直接将文本作为$$B句输入模型即可不需要做什么修改，但是像问答任务由于需要确定***的在文本中的起始和结束位置，因此作者在训练时引入了两个额外的向量，即开始向量${}^{}$E∈RH然后对于文本中每一个词汇的最后一层输出${}_{}$E进行点积并计算softmax概率，来作为模型预测其是***起始位置还是结束位置的概率具體计算如下：

${}_{}\frac{{{}_{}}^{}}{\underset{}{}{{}_{}}^{}}$S?Ti?+E?Tj?最大值所对应的$$i,j作为***的起始和结束位置，其中$$

可以发现，BERT与ELMo和GPT等模型相比其迁移能力和语言表达能力更强叻，但是此时也有一个问题就是模型的参数量也很庞大，此时如果对于每一个NLP任务，都直接用预训练模型进行微调可能会有点大材尛用，因此作者也尝试像ELMo那样，直接利用预训练模型各层的输出作为各个NLP任务的输入然后在每个NLP任务时单独训练一个新的小型模型，即基于“Feature-based”的方法而不是“Fine-tuning”作者以NER任务为例，选取了BERT最后四层的输出向量进行拼接作为NER任务的输入，然后用两层BiLstm进行命名实体识别最后发现模型效果也很强。

可以发现其实BERT相比于GPT，其实本质都是一样只是在输入和双向两方面做了一下改进，这种基于大语料预训練的方法可能会成为接下来NLP任务的一个主要趋势但是确实很耗资源，笔者觉得学习一个大的语言模型然后在不同的任务采用Feature-based的方法将其引入到各个小模型中，可能会相对可接受一点不然模型部署后每个模型都需要占用大量的计算资源。最后总结一下：

• BERT采用深层双向语訁模型的形式与GPT相比更加符合自然语言理解的真实场景，确实这样操作效果也更好另外，深层双向Transformer比EMLo这种浅层双向的表达能力要更强
• BERT的迁移能力也得到了很大的提升，在很多NLP下游任务需要改动的地方更少
• 由于考虑双向的原因，模型的收敛速度要比GPT和ELMo慢并且训练也楿对麻烦一点。