都是设计机器学习方法的关键要求。对抗训练在CV领域已经有广泛的研究和应用，一些研究表明：

　　在NLP中，BERT等大型预训练语言模型在下游任务中有良好的泛化性能；通过对抗训练是否可以进一步增加泛化能力呢？不恰当的对抗训练方式是不是会损害BERT呢？BERT是不是也经受不住“对抗攻击”呢？

　　不同于CV的对抗对抗训练是在像素级别，由于文本输入是离散，NLP通常是在embedding空间添加扰动。

　　ALUM既能应用在预训练阶段，也能应用在微调阶段。ALUM采取（划重点）虚拟对抗训练进行，不是上述传统的对抗训练。

　　在上述ALUM的目标函数中，对于预训练阶段，\alpha=10，加大VAT惩罚；而在微调阶段，\alpha=1。

　　理论上，迭代次数K值越大，估计越好，但训练时间越长。论文折中，取K=1。

　　如上图给出了ALUM与BERT的对比，ALUM在500k步以后进行VAT，加入VAT后虽然总体训练时间是BERT的1.5倍，但指标提升明显。

　　同样，论文也在预训练充分的RoBERTa模型上进行了对比，ALUM同样取得最佳效果！

　　论文也在对抗数据集上，将ALUM与其他预训练模型进行了对比，ALUM取得最佳效果，显著提升鲁棒性。

　　论文也在 预训练和微调阶段都进行对抗训练 的情况进行对比（如上图），发现继续在微调阶段进行VAT，指标还会继续提升。

　　本文介绍了一种针对预训练语言模型进行对抗训练的方法——ALUM，主要结论如下：

　　虽然之前工作表明，对抗训练不同时鲁棒性和泛化性，但ALUM可以调和这一冲突，主要归咎于预训练阶段进行了对抗训练。而之前工作是在有监督条件下进行的对抗训练，这表明对未标记数据的对抗性训练是一个有效途径，以调和泛化和鲁棒性之间的明显冲突。

　　在预训练阶段进行对抗训练，虽然训练时间变长，但仍然会比同样训练时间的持续预训练模型效果好！继续在微调阶段进行对抗训练，指标会进一步提升！

　　当然，本文介绍的ALUM仍然有进一步提升空间，例如继续加速对抗训练、应用到更广泛的领域等。

　　此外，NLP中的对抗训练大多集中在instance级别的扰动，而在token的扰动是否会更加合理？对更大规模的预训练模型，对抗训练是否不太稳定？对于这些问题，JayJay将在后续公号文章中，继续介绍对抗训练在NLP中的进展等等，欢迎持续关注。EBET易博官方网站