呜啦啦啦啦啦啦啦大家好，拖更的AIScholar Weekly栏目又和大家见面啦！

　　AI ScholarWeekly是AI领域的学术专栏，致力于为你带来最新潮、最全面、最深度的AI学术概览，一网打尽每周AI学术的前沿资讯。

　　谷歌和Jigsaw在这周初共同开源Deepfake检测数据集，Jigsaw使用这项技术旨在对抗威胁全球安全的各类问题，包括阻止网上审查、保护人们免受网上骚扰、减缓数字攻击等等。同样的，谷歌的目的是为了更好地发展AI技术并减少AI带来的伤害和滥用。

　　为了获取数据，研究人员使用付费或者自愿的方式，与演员合作录制了数百个视频，并通过使用公开可获取的Deepfake技术，生成了数千个假视频用于之后的检测研究。

　　这项研究发展迅速并持续取得惊人的进展，这将是机器学习史上的一个重要时刻。

　　这个开源的数据集将激励有志之士发展相关的视频和音频打假算法。研究人员计划在未来将持续更新这个数据集，他们坚信通过给蓬勃发展的研究社区提供支持，该项技术可以减轻合成媒体滥用的潜在危害。

　　密歇根大学和微软合作研发了一套统一的视觉语言预训练模型，该模型可以针对视觉语言的产生和理解进行微调。

　　与许多现有方法不同，该模型使用共享的多层变压器网络进行编码和解码，而现有方法需要使用单独的模型来运行编码器和解码器。通过对大量的图像和文本进行预训练，研究人员使用无监督学习完成了双向序列和序列到序列（seq2seq）掩盖的视觉语言预测。

　　在COCO Captions、Flickr30k Captions和VQA 2.0三个具有挑战性的基准数据集上，VLP是第一个被可以同时实现视觉语言生成和理解任务并达到最优结果的模型。

　　对图像描述和VQA任务的评估表明，大规模的无监督预训练可以显着加快对下游任务的学习，并提高模型的准确性。

　　在本文中，研究人员介绍了INFaaS，这是一种无模型的推理即服务系统。INFaaS提供了一个简单的界面，该界面可以生成不同模型变量、资源占用量、成本、延迟和准确性的模型，并据此完成决策。

　　基于模型变量的特征，INFaaS会引导用户自动指定决策空间以满足用户指定的目标。它可以选择模型，硬件体系结构和编译器等等。此外，它还可以进行扩展和资源分配决策。相比于Clipper和TensorFlow Serving，通过在不同用户之间共享模型以及跨模型共享硬件资源等策略，INFaaS最多可节省150倍的成本，提高1.5倍的吞吐量，并且将违反延迟目标的频率降低1.5倍。

　　通过提供一个简单的界面，INFaaS允许用户指定其推理任务，性能和准确性要求，从而提高了易用性。同时，用户还可以使用任何语言发出gRPC请求来与INFaaS进行交互。

　　总之，在模型选择，资源管理和资源共享方面，与现有的模型服务系统相比，INFaaS的策略可降低成本，提高吞吐量，提升可扩展性并减少违反SLO的行为。而现有的系统（例如SageMaker，CloudML和Clipper）则需要用户明确决定变量，硬件和扩展策略等等限制条件。因此，INFaaS在简化服务系统上具有巨大的潜力。

　　研究人员最近实现了GAN-TTS，这是一种在文本条件下进行高保真语音合成的生成对抗网络。GAN-TTS的前馈发生器是一个卷积神经网络，结合了多个分类器，这些分类器会基于多频随机窗口评估真实音频和生成的音频。

　　特别地，一些分类器会考虑语言条件，而另一些分类器则会忽略该条件，从而只能评估音频的大体真实感。对于TTS-GAN的定性、定量评估证明了其有效性。其最佳性能模型在MOS值上达到了4.2，可以与最新的WaveNet相媲美（MOS值为4.4）。这一数据证明，GANs的确是高效TTS的可行选择。

　　GAN-TTS实现了高效的音频生成，这对于实际应用至关重要。尽管强大的标准WaveNet和并行WaveNet可以达到非常相似的结果，但是由于数据集差异，我们无法直接比较这些结果。值得一提的是，WaveNet和并行WaveNet训练数据经过了65个小时，它们使用的数据比用于训练GAN-TTS的数据要多。

　　最重要的是，研究人员还为生成的语音模型提出了一系列量化指标：（有条件的）Frechet DeepSpeech距离和（有条件的）Kernel DeepSpeech距离，并通过实验证明了这些指标对模型的排名与通过人工进行排名基本一致。这项工作基于公开可用的DeeEBET易博pSpeech识别模型，因此对于机器学习社区产生了良好的贡献。

　　在这项工作中，研究人员研究了仇恨言论在受到保护的环境中是如何演变的。他们通过将样本数据划分为多个切片，为每个切片分配一个仇恨得分，并跟踪每个用户的仇恨得分变化，从而对在线社交媒体中的仇恨言论进行了时间维度的分析。

　　他们的研究重点是社交媒体网站Gab（，该网站于2016年8月成立，并号称自己是“冠军”，成立以来并不禁止用户发布任何仇恨言论，因此吸引了多种类型的用户，也为研究者提供了一个丰富的平台。该站点上有314K用户的2100万个帖子组成的数据集可供使用。

　　研究人员观察到，仇恨用户占据了Gab的核心，与非仇恨用户相比，他们到达核心的速度要快得多。用户的仇恨语言似乎遍及整个网络，甚至使一些中立的用户在不知不觉中也开始发表仇恨语论。

　　这项工作帮助我们理解了仇恨言论在受保护环境中的演变过程，并促使我们去思考如何改变我们的HCI设计策略来减少仇恨言论。

　　但同时，研究人员也告诫读者不要将自己的工作视为全面审查内容的一种手段。他们的研究仅仅是为了结束仇恨言论的“自由流通”。这项研究对于平台设计者在早期发现仇恨用户并引入适当的措施来改变其立场有关键作用。

　　日益严峻的Deepfake环境下，Deepfake的算法概述以及新方法的发展总结：

　　Christopher Dossman是Wonder Technologies的首席数据科学家，在北京生活5年。他是深度学习系统部署方面的专家，在开发新的AI产品方面拥有丰富的经验。除了卓越的工程经验，他还教授了1000名学生了解深度学习基础。