主要是用于样本生成或者对抗攻击领域，主要方法是通过添加鉴别器或者根据梯度回传生成新样本，其主要是为了提升当前主干模型生成样本的能力或者鲁棒性
==对抗训练是一种引入噪声的训练方式，可以对参数进行正则化，提升模型鲁棒性和泛化能力==
就是在原始输入样本上加上一个扰动得到对抗样本，再用其进行训练，这个问题可以抽象成这样一个模型：
其中，是ground truth,是模型参数。意思就是即使在扰动的情况下求使得预测出的概率最大的参数，扰动可以被定义为：
其中代表输入样本的分布，代表输入，代表标签，是模型参数，是单个样本的loss，是扰动，是扰动空间。这个式子可以分布理解如下：
这就解决了两个问题：如何构建足够强的对抗样本、和如何使得分布仍然尽可能接近原始分布
对于CV领域，图像被认为是连续的，因此可以直接在原始图像上添加扰动；而对于NLP，它的输入是文本的本质是one-hot，而one-hot之间的欧式距离恒为，理论上不存在微小的扰动，而且，在Embedding向量上加上微小扰动可能就找不到与之对应的词了，不是真正意义上的对抗样本，因为对抗样本依旧能对应一个合理的原始输入，既然不能对Embedding向量添加扰动，可以对Embedding层添加扰动，使其产生更鲁棒的Embedding向量
FGM直接通过epsilon参数算出了对抗扰动，这样得到的可能不是最优的。因此PGD进行了改进，通过迭代慢慢找到最优的扰动
从FGSM到PGD，主要是优化对抗扰动的计算，虽然取得了更好的效果，但计算量也一步步增加。对于每个样本，FGSM和FGM都只用计算两次，一次是计算的前后向，一次是计算的前后向。而PGD则计算了K+1次，消耗了更多的计算资源。因此FreeAT被提了出来，在PGD的基础上进行训练速度的优化
FreeAT的思想是在对每个样本连续重复次训练，计算时复用上一步的梯度，为了保证速度，整体epoch会除以。的更新公式为：
FreeAT的问题在于每次的对于当前的参数都是次优的(无法最大化loss)，因为当前是由和计算出来的，是对于的最优
YOPO的出发点是利用神经网络的结构来降低梯度计算的计算量。从极大值原理PMP(Pontryagin’s maximum principle)出发，对抗扰动只和网络的第0层有关，即在embedding层上添加扰动。再加之层之间是解耦合的，那就不需要每次都计算完整的前后向传播
基于这个想法，复用后面几层的梯度，减少非必要的完整传播。可以将PGD的次攻击拆成次：
YOPO的假设对于ReLU-based网络来说是不成立的，因为YOPO要求损失是两次可微的，于是，FreeLB在FreeAT的基础上将每次inner-max中更新模型参数这一操作换掉，利用步之后累积的参数梯度进行更新，于是总体任务的目标函数就记为：
依据下面算法中的数学符号，PGD需要进行次梯度计算，FreeAT需要进行次，FreeLB需要次。虽然FreeLB在效率上并没有特别大的优势，但是其效果十分不错
另外，论文中指出对抗训练和dropout不能同时使用，加上dropout相当于改变了网络的结果，影响扰动的计算。如果一定要加入dropout操作，需要在K步中都使用同一个mask
SMART的主要想法是强制模型在neighboring data points上作出相似的预测，加入正则项后的目标函数如下所示：
是具体任务的损失函数，是generated neighbors of training points，在分类任务中使用对称的KL散度，即；在回归任务中使用平方损失，此时可以看到对抗发生在正则化项上，对抗的目标是最大扰动前后的输出
一、猫咪有声小说配音兼职的流程 猫咪有声小说配音兼职是一项有趣又具有挑战性的工作。如果你对猫咪和演艺行业都有浓厚兴...
青岛的夜晚便如同一个风情万种的女子，用她的美丽和神秘，引诱着人们一步步走进她的怀抱。 在这美丽的旅程中，你不仅可以...
在淘宝上有一些用户开通EBET易博真人了88vip会员，因为开通这个会员是非常划算的，它的权益比较多，比如有饿了么的会员，网易云的...
《重生之枭雄崛起化身商业大亨》陈耀东全文免费阅读最全章节 主角：陈耀东 简介：重活一世，他决心不再鲁莽行事。凭借上...
一、晚上副业赚钱的路子有哪些 晚上是很多人寻找副业赚钱的时间段。在晚上进行副业可以充分利用闲暇时间，增加收入来源。...
莆田鞋公认的十大良心微商推荐，每一个都是言而有信的有名微商在浩瀚的星空下，莆田，一个因鞋业而起家的城市，与微商结下...
在现代社会中，APP已经成为人们移动生活的重要组成部分。但是，光有好的APP并不足以让你取得成功。正确的推广方法让...
网购你是直接下单吗？还是说用别人的口令和链接下单？千万不要这么做了，网购是可以领取隐藏优惠券和高额返佣的，如果你直...
天猫接单赚佣金的平台有很多，以下是一些比较靠谱的推荐： 1.领购物大额优惠券、赚返利佣金用氧惠~ 氧惠APP（带货...
在当今的电商市场中，优惠券app已经成为了很多人的必备工具。这些app可以帮助用户找到各种类型的优惠券，让用户在购...
Procedural Noise Adversarial Examples for Black...
Procedural Noise Adversarial Examples for Black-Box Attac...
[论文解读]Parametric Noise Injection: Trainable Ran...
论文题目：Parametric Noise Injection: Trainable Randomness to ...
原创：郑佳伟 在NLP任务中，会有很多为了提升模型效果而提出的优化，为了方便记忆，所以就把这些方法都整理出来，也有...
Obfuscated Gradients Give a False Sense of Secu...
1. 介绍 作为基于迭代优化攻击的基准测试已经成为评估防御的标准实践，新的防御出现了，似乎对这些强大的基于优化的攻...