【新智元导读】谷歌团队认为，模型泛化能力无处不在，只要摸清条件，模型就不是随机鹦鹉。
在特定情况下，人工智能模型会超越训练数据进行泛化。在人工智能研究中，这种现象被称为「顿悟」，而谷歌现在正在提供对最近发现的深入了解。
在训练过程中，人工智能模型有时似乎会突然「理解」一个问题，尽管它们只是记住了训练数据。在人工智能研究中，这种现象被称为「顿悟」，这是美国作家Robert A. Heinlein创造的一个新词，主要在计算机文化中用来描述一种深刻的理解。
当人工智能模型发生顿悟时，模型会突然从简单地复制训练数据转变为发现可推广的解决方案——因此，你可能会得到一个实际上构建问题模型以进行预测的人工智能系统，而不仅仅是一个随机的模仿者。
「顿悟」在希望更好地理解神经网络学习方式的人工智能研究人员中引起了很大的兴趣。这是因为「顿悟」表明模型在记忆和泛化时可能具有不同的学习动态，了解这些动态可能为神经网络学习提供重要见解。
尽管最初是在单个任务上训练的小型模型中观察到，但谷歌的最新研究表明，顿悟也可以发生在较大的模型中，并且在某些情况下可以被可靠地预测。然而，在大型模型中检测这种顿悟动态仍然是一个挑战。
在这篇文章中，谷歌研究人员提供了有关这一现象和当前研究的视觉展示。该团队对超过1000个不同训练参数的小型模型进行了算法任务的训练，展示了「有条件的现象——如果模型大小、权重衰减、数据大小和其他超参数不合适，这种现象会消失。」
根据该团队的说法，仍然有许多未解之谜，例如哪些模型限制会可靠地引起「顿悟」，为什么模型最初更喜欢记住训练数据，以及研究中用于研究小型模型中这一现象的方法在大型模型中是否适用。
对「顿悟」的理解进步可能会为未来大型AI模型的设计提供信息，使它们能够可靠且快速地超越训练数据。
在2021年，研究人员在对一系列微型模型进行玩具任务训练时发现:一组模型，在经过更长时间的训练后，突然从仅仅「记住」之前的训练数据，转变为在未见过的输入上表现出正确的泛化能力。
大型语言模型看起来似乎具有很强的对外部世界的理解能力，但可能模型只是在重复记忆训练过的海量文本数据的片段，而没有真正理解其内容。
在这篇文章中，研究人员将研究一个微型模型的训练动态过程，并对其找到的解决方案进行逆向工程——在此过程中，研究人员将阐述这个令人振奋的新兴机制中那些能被研究人员理解的部分。
虽然如何将这些技术应用于当今最大的模型，现在还没有头绪。但从小模型入手可以更容易地培养直觉，随着研究人员的逐步努力，关于大型语言模型的这些关键问题也将最终获得解答。
（模加法指的是两个数据相加，如果合大于某一个值，结果就自动回归某一个值。以12小时计时为例，时间相加超过12点之后就会自动归零，就是一个典型的模加法。）
突然的泛化往往发生在在对于训练数据的记忆之后，模型一开始的输出与训练数据吻合，但随着训练不断持续，和测试数据的吻合度不断提高，出现了泛化。这个过程就叫做「顿悟」
上图来自于一个被训练来进行预测a+b mod67（即a+b的合超过67之后就会归零的模加法）的模型。
在训练过程中，训练数据被用来调整模型，让模型输出正确答案，而测试数据仅用于检查模型是否已经学会了一个通用的解决方案。
一个具有24个神经元的单层MLP。模型的所有权重如下面的热图所示;通过将鼠标悬停在上面的线性图上，可以看到它们在训练过程中如何变化。
，然后将它们相加以创建一个包含24个独立数字的向量来进行预测。接下来，它将向量中的所有负数设置为0，最后输出与更新向量最接近的
模型的权重最初非常嘈杂，但随着测试数据上的准确性提高和模型逐渐开始泛化，它们开始展现出周期性的模式。
在训练结束时，每个神经元，也就是热图的每一行在输入数字从0增加到66时会多次在高值和低值之间循环。
如果研究人员根据神经元在训练结束时的循环频率将其分组，并将每个神经元分别绘制成一条单独的线，会更容易看出产生的变化。
这些周期性的模式表明模型正在学习某种数学结构;当模型开始计算测试样本时出现这种现象，意味着模型开始出现泛化了。
同时解决这两个问题确实很困难。研究人员可以设计一个更简单的任务，其中研究人员知道泛化解决方案应该是什么样的，然后尝试理解模型最终是如何学习它的。
研究人员又设计了一个方案，他们先随机生成30个由0和1组成的数字组成一个数列，然后训练一个模型去预测数列中前三个数字中是否有奇数个1，如果有奇数个1，输出就为1，否则输出为0。
而如果一个模型产生了泛化能力，应该就只关注序列的前三位数字进行输出;如果模型是在记忆训练数据，它就会使用到后边的干扰数字。
研究人员的模型仍然是一个单层MLP，使用固定的1，200个序列进行训练。
下面的权重图标显示，在记忆训练数据时，模型看起来密集而嘈杂，有许多数值很大的权重（显示为深红色和蓝色方块）分布在数列靠后的位置，表明模型正在使用所有的数字进行预测。
随着模型泛化后获得了完美的测试数据准确性，研究人员看到，与干扰数字相关的所有权重都变为灰色，值非常低，模型权重全部集中在前三位数字上了。
其实在训练过程中，研究人员的要求是模型要同时完成两个目标，一个是尽量高概率地输出正确的数字（称为最小化损失），另一个是使用尽量小的全权重来完成输出(称为权重衰减)。
在模型泛化之前，训练损失略微增加（输出准确略微降低），因为它在减小与输出正确标签相关的损失的同时，也在降低权重，从而获得尽可能小的权重。
而测试数据损失的急剧下降，让模型看起来像是似乎突然开始了泛化，但其实不是，这个过程在之前就已经在进行了。
但是，如果观察记录模型在训练过程中的权重，大部分权重是平均分布在这两个目标之间的。
当与干扰数字相关的最后一组权重被权重衰减这个目标「修剪」掉时，泛化马上就发生了。
值得注意的是，「顿悟」是一种偶然现象——如果模型大小、权重衰减、数据大小以及其他超参数不合适，它就不会出现。
增加更多的权重衰减会推动模型在记忆后进行泛化。进一步增加权重衰减会导致测试数据和训练数据的不准确率提高;模型直接进入泛化阶段。
在下面的内容中，研究人员使用不同的超参数在「1和0」任务上训练了一千多个模型。
可以看到，这个「1和0」任务模拟出了模型的记忆和泛化，但为什么这种情况会发生在模加法中呢?
首先，让我们更多地了解一层MLP如何通过构建一个可解释的泛化解决方案来解决模加法。
研究人员训练了一个更简单的模型，利用cos和sin构建一个嵌入矩阵，将a和b放在一个圆上。
然后还是回到a+b mod67的问题上，研究人员从头训练模型，没有内置周期，这个模型有很多频率。
然后研究人员使用离散傅里叶变换分离出频率，会分离出输入数据中的周期性模式。
而结果就和之前在数列中数1的任务一样，随着模型的泛化，权重会迅速衰减到很低。
虽然研究人员现在对用单层MLP解决模加法的机制以及它们在训练过程中出现的原因有了深入的了解，但仍然存在许多关于记忆和泛化的有趣的悬而未决的问题。
其他有助于避免过度拟合的技术包括 dropout、较小的模型，甚至数值不稳定的优化算法 。
这些方法以复杂、非线性的方式相互作用，使得很难预先预测最终什么原因和方式会导致泛化。
有研究表明泛化与结构良好的表示相关。然而，这不是必要条件;一些没有对称输入的 MLP 变体在求解模加法时学习的「循环」表示较少 。
比如这个小模型（没有权重衰减的情况下训练）开始泛化，然后切换到使用周期性嵌入进行记忆。
首先，之前的研究证实了小型Transformer和MLP算法任务中的顿悟现象。
而且本文中这种机制化的可解释性方法可能有助于识别模式，从而使神经网络所学算法的研究变得容易，甚至有自动化的潜力。
腾讯云618狂欢节特惠来袭！现在购买3年轻量云服务器，配置2核2G4M，只需396元！超值优惠，性能稳定，让您的云端之旅更加畅享。快来腾讯云选购吧！
航旅纵横发布了首个民航领域垂直大模型——千穰大模型。该大模型基于Transformer架构，构建了10亿、100亿、300亿等多种参数模型，融合了视觉大模型、语言大模型、多模态大模型和计算大模型，通过强大的人工智能技术，为民航产业的数智化建设和旅客的智慧出行提供支持。千穰还可以用于旅客满意度分析、行业智能客服和多模态点评感知等服务。
8月21日，视觉中国在披露的投资者关系活动记录表中表示，丰富的数字内容版权交易场景也是公司的优势之一，公司会基于开源的大模型，结合公司的核心数据、业务场景，打造公司自己的垂直模型。公司版权保护收入占营业收入比重很小，公司将对版权保护工作进行重新审视与规划，把版权保护工作定位在“公益”属性，为创作者、使用方、服务机构提供版权保护、版权查询、正版服务推荐、法律援助等服务。视觉中国发布公告称，上半年实现营业收入3.71亿元，同比增长5.75%;净利润9087.17万元，同比增长65.72%;基本每股收益0.13元。
华为HarmonyOS接入大模型，智慧助手可以这么玩了吗?只需一句中文指令，华为小艺就写出一封英文邮件:可以把自己的照片用AI做成不同风格:还能说一长串指令，让它自己创建复杂场景，大白话就能听得懂:这就是华为HarmonyOS4中的全新小艺。它是在华为盘古L0基座大模型的基础上，融入大量场景数据，对模型进行精调，最后炼成的一个L1层对话模型。华为已公布小艺测试计划:全新
百川智能今天发布了公司旗下第三款大模型产品——Baichuan-53B。Baichuan-53B定位闭源大模型，目前在写作、文本创作能力方面，已经达到行业最好的水平。王小川提到，搜索公司干了20年，团队对语言数据有深入的理解，知道取得高质量语料的渠道，模型迭代速度很快，「国内开源模型的能力目前已经可以达到LLaMa」。
8月8日，广汽正式推出AI大模型技术的最新研发成果——广汽AI大模型平台，将在近期搭载于高端智能轿跑昊铂GT亮相。广汽AI大模型平台聚合了多种AI大模型，并与广汽智能网联底层能力深度融合，不仅能调用通用大模型的能力能基于智能汽车的应用场景构建专用模型，实现全场景智能体验的跃迁。广汽AI大模型平台在不断测试与迭代中，已表现出相当高的“智商”和“情商”。
容联云赤兔大模型在大模型评测榜单C-Eval刚刚更新的大模型评测中，成绩突出，位居前六，与清华&智谱Al、OpenAl、商汤科技等位居前列。其中70亿参数的容联云赤兔大模型成绩表现超过了几乎所有同等规模的模型，以轻量级模型跻身GPT4等千亿模型为主的top梯队。在赤兔大模型加持下，沟通智能2.0将在AI基础能力、会话分析洞察、对话能力、人机协同四个方面有大幅提升，重构智
大模型“跑”进手机，AI的战火已经从“云端”烧至“移动终端”。“进入AI时代，华为盘古大模型将会来助力鸿蒙生态。”荣耀终端CEO赵明判断，当前智能手机行业就处在一个AI、5G开启的新一轮创新周期中。
知乎持股大模型公司北京面壁智能科技有限责任公司申请注册多枚商标，包括“面壁大模型”“破壁大模型”“ChatCPM”“面壁·AI”“破壁·AI”等，当前商标状态均为申请中。北京面壁智能科技有限责任公司成立于2022年8月，今年3月，知乎旗下知南行易科技有限公司入股该公司。今年4月，知乎与面壁智能宣布联合研发中文大模型“知海图AI”。
大模型应用卷到了什么地步?几天前，我们看到的还是写文章、画图、回答数学问题，现在已经有人这么用了:如果把一长段对话转发到别的群聊里，AI可以自动生成总结。拿到数据后，直接进行有理有据还配图的分析。百度在这个过程中，已经走在了前面。
大模型创投市场，来到了“无公司可投”的新阶段。创业者想要钱，但新轮次大额融资越来越难;投资人难以寻求合适的标的，看得中的投不上、投得起的看不上。大火热炒半年，大模型身下燃烧的大火开始转向小火模式，在年初“宣布入局”和年底“模型/产品问世”之间的这段空隙，种种迹象表明，大模型创投界渐渐迎来了第一波冷静期。
核心频率不同，CPU型号不同天玑9200+和天玑 9000 都是联发科的5G旗舰级芯片，天玑9200+和天玑9000都是采用台积电4nm工艺制程。天玑9200+的CPU最高主频为3.3GHz，而天玑 9000 的CPU最高主频为3.2GHz。两款芯片都支持双模5G、WiFi 6E和蓝牙5. 2 等技术。
天玑9200+主频是3.0GHz，与骁龙 8Gen 2 相同，跑分要比骁龙 8Gen 2高一点点天玑 9200+ 处理器与天玑 9200 同架构，但所有核心频率增加，主频来到了 3.0GHz，与骁龙 8Gen 2 相同。跑分数据，天玑 9200+ 在 Geekbench v6 平台单核得分 2121 分，多核得分 5655 分。作为对比，骁龙 8Gen 2 的单核跑分成绩在大约 2000，多核成绩大约 5400。天玑9200+的安兔兔跑分大约为 136 万分，骁龙8Gen2 安兔兔跑分大约是128万分。
在 Geekbench v6 平台单核得分 2121 分，多核得分 5655 分联发科已经正式官宣，天玑9200+将于 5 月 10 日发布，这款处理器的 Geekbench v6 跑分已经出现。天玑 9200+ 处理器与天玑 9200 同架构，但所有核心频率增加，主频来到了 3.0GHz，与骁龙 8Gen 2 相同。 根据爆料的跑分数据，天玑9200+在 Geekbench v6 平台单核得分 2121 分，多核得分 5655 分。 作为对比，骁龙 8Gen 2 的单核跑分成绩在大约 2000，多核成绩大约 5400。
7天以上小米手环 8 搭载蓝牙 5.1，内置直流 3.87V 聚合物锂离子电池，型号为 M2239B1。上一代的小米手环 7 续航大约有9-15天左右。 小米手环 7 内置180mAh 电池。预计小米手环8的续航会比小米手环7续航略微提升一点。
2K+ 分辨率魅族 20 Pro 采用6.81英寸直屏，2K+ 分辨率、100% P3 广色域、120Hz LTPO 高刷、最高 1200 nit 全屏亮度、最低 2 nit 全屏亮度，同时支持防蓝光、DC 调光等功能一应俱全；魅族 20 Pro采用旗舰级性能配置，包括顶级处理器第二代骁龙 8、12GB 起步的 LPPDR5X 大内存、至高 512GB UFS4.0 极速闪存以及 36424 平方毫米的立体散热堆叠。
第二代骁龙 8，LPPDR5X+UFS4.0，2K三星E6 材质Super AMOLED屏幕魅族 20 Pro，内置第二代骁龙 8，LPPDR5X+UFS4.0，搭载了2K三星E6 材质Super AMOLED屏幕，屏幕尺寸6. 81 英寸，支持120Hz自适应屏幕刷新率和1500Hz瞬时触控采样率，峰值亮度可达1800nit，屏幕还通过了SGS抗蓝光、抗频闪护眼认证；破晓灰、曙光银、朝阳金三种配色，整机厚7. 8 毫米，重 209 克；镜头模组由 5000 万像素人像镜头、 5000 万像素广角镜头、 5000 万像素超广角镜头组成，支持全像素对焦技术搭配dTOF辅助对焦，官方称将使对焦速度提升33%。魅族20 系列的主摄均支持SMA防抖，最高8K视频录制和夜景录像功能；5000mAh电池配80W快充，支持50W无线GB三种存储组合，售价 3999 起。
后置三摄，主摄 5000万像素，屏幕分辨率2496*2224华为Mate X3有「羽砂玻璃版:羽砂白、羽砂黑、羽砂紫」、「素皮版:晨曦金、青山黛」五款配色可选;覆盖昆仑玻璃;超轻薄折叠四曲设计，机身重量仅239g，厚度仅5.3mm， IPX8级抗水。屏幕拥有2496*2224超高分辨率和426ppi 超高像素密度。同样支持最高120Hz 自适应刷新率以及1440Hz PWM 调光。影像方面:搭载5000万像素超感知主摄，1300万像素超广角镜头，1200万像素潜望式长焦镜头。并配备10通道多谱传感器和激光对焦传感器，支持100倍变焦和5倍光学变焦。续航方面:配备4800mAh 大电池，支持50W 无线W 有线W 无线反向快充。性能方面:与华为 P60系列一样搭载了骁龙8+ 处理器，配备了超冷跨轴石墨烯散热系统，导热面积提升了20%。价格:华为Mate X3:256GB:12999、512GB:13999;华为 Mate X3典藏版:1TB:15999
6. 67 英寸的OLED屏幕， 4800 万像素长焦镜头华为P60 系列在背部采用了矩阵型模组，官方称之为“凝光设计”，引入了“凝光贝母”工艺；华为P60 全系搭载了6. 67 英寸的OLED屏幕，拥有2700* 1220 刷新率，显示效果十分细腻，支持10. 7 亿色、1440Hz PWM调光。 同时支持全局色彩管理，支持莱茵专业色准双重认证；屏幕还支持LTPO动态高刷新率，支持1~120Hz自适应刷新率，还配备了昆仑玻璃面板，IPEBET易博官方网站68 防尘抗水；相机方面，华为P60 Pro则进一步升级长焦镜头，配备了 4800 万像素RYYB的超聚光夜视长焦镜头，支持3. 5 倍光学变焦、OIS，拥有F2. 1 超大光圈；支持双向北斗卫星通信；5100 毫安时大电池+88W快充；首发搭载了全新的鸿蒙3.1，新增了AOD息屏显示功能。
6.67英寸的OLED屏幕，支持1~120Hz的LTPO刷新率华为P60 系列的屏幕搭载了骁龙8+ 4G处理器，6. 67 英寸的OLED屏幕，支持1~120Hz的LTPO刷新率，支持1440Hz PWM调光，拥有10. 7 亿色、全局P3 色域、HDR-P3HDR Vivid显示效果；覆盖四曲昆仑玻璃，支持IP68 防水，是全球首款德国莱茵专业色准双重认证的手机；相机方面，华为P60 支持F1.4-4. 0 十档可变光圈，搭载大光圈高透光镜群和RYYB超感光传感器，支持了华为XD Fusion Pro质感引擎；支持双向北斗卫星消息；首发搭载鸿蒙3.1，支持AOD息屏显示；价格，华为P60 的128GB版 4488 元，256GB版本是 4988 元，512GB版本是 5988 元。
天玑9000芯片，LPDDR5+UFS3.1，11.61英寸LCD屏幕，支持144Hz刷新率OPPO Pad2主要配置包括:11.61英寸7:5比例LCD显示屏，拥有2800×2200分辨率和500尼特亮度，支持144Hz五档刷新率智能调节，2048级亮度自适应智能调光并支持手写笔。OPPO Pad2基于联发科技天玑9000，辅以LPDDR5内存和UFS3.1存储，内置9510毫安时电池、67W有线万像素前置摄像头和蓝牙5.3。软件方面，ColorOS13.1支持5G通信共享。可以自动共享手机的5G通信，从而直接上网、接打电话、同步手机验证码、拍照流转和应用接力。
5G双待双通（DSDS）、WiFi 6/6E、蓝牙5.3等骁龙7+ Gen2 采用了骁龙X62 5G调制解调器，在全球范围内支持多种频段和模式的5G网络连接。它还是首款在骁龙 7 系中实现了5G双待双通（DSDS）功能，在两张SIM卡都插入时可以同时使用两个不同运营商或不同网络制式（例如SA和NSA）的5G网络服务。除此之外，它还支持WiFi 6/6E和蓝牙5. 3 等无线技术。