EBET易博官网2023科学智能峰会:算力不是瓶颈大模型和AI for Science发展要靠“四两拨千斤”|最前线

  新闻资讯     |      2023-08-13 09:20

  今年,GPT-4在多类专业考试中的出色表现,又掀起了LLM能否驱动科研、赋能工业应用的激烈讨论。但是,LLM不仅存在幻觉问题,在回答科学问题方面更是“力有不逮”。加之,近期Meta已解散AI蛋白质研究团队的消息传开,似乎又为AI forScience的前途蒙上了一层神秘的面纱——在确定的高投入和不确定产出的情况下,人们现阶段就对AI helpScience寄予厚望是否有些为时尚早?

  四位专家学者均认为,AI forscience的长期愿景是发现新科学规律,而当前,AI技术在科研领域的应用还停留在解决现有科学问题的阶段,尚不能做到发现科学问题。同时,根据发言,36氪发现,四位专家学者在算力等基础设施不应成为大模型和AI forScience发展的瓶颈这一观点上也达成了共识,但是围绕LLM能否助力Science的探讨中,持不同意见。

  鄂维南院士指出,AI for Science产生的背景正是解决当前科研范式下面临的诸多难题,包括:利用基本原理解决实际问题的能力有限,实验手段效率和提供的信息有限,分析和利用数据的能力有限。而AI技术为解决这些困难提供了有效手段,例如深度学习提供了解决维数灾难的有效方法,同时大模型和AI数据库的发展为整合知识和数据提供了有力工具。

  但同时,他也表示,AI更像engineering,不像Scinece,因为没有principles。以大模型为例,鄂维南院士认为,其能力“涌现”尚未得到解释,未来神经网络需要找到sequenceprinciple来指导其未来发展。而放眼当前,他指出,推动大模型以及AI for Science发展的关键在于组织好现有人才、数据等资源,将其用到该用的地方。

  对此,北京智源人工智能研究院院长黄铁军认为,数据、算力、算法等资源的组织需要多方合作。而除此之外,是否有必要投入大量资源也是应该思考的问题。OpenAI“大力出奇迹”的模式已经被证明见效。然而,黄铁军指出,码算力、堆数据是一种显性的思维方式,任何时候都存在颠覆性新方法路线,因此找到“四两拨千斤”的创新想法才是更有价值的事情。而要迈出这一步,需要培养创新氛围,走出“不敢这么干”的心理瓶颈。

  王坚院士也赞同缺算力不能成为阻碍创新和AI forScience发展的瓶颈这一观点。但是,在有关LLM助力Science的探讨中,他持不同意见:ChatGPT的核心是Chat,并不能轻易与科学发现混同在一起,其目的也不是用于回答科学问题。王坚院士认为LLM是否具有intelligence的问题还未达到解答,现阶段谈利用其发现新科学规律还为时尚早。

  那么,LLM的出现对AI for Science而言,有何意义?汤超院士认为,通过研究LLM,得到关于“涌现”能力的深刻理解,是反哺更高层次AI技术发展的途径。具体而言,他指出,“涌现”在物理领域里,可以理解为看起来简单的元件之间相互作用,达到一定数量级后就会产生复杂现象。以此类比,汤超院士表示,尽管目前人类还不清楚在什么情况下,例如到底需要多少神经元、多少参数,大模型能力会“涌现”,但相互作用已然出现,这是一个值得研究的科学问题。

  据悉,本届峰会由中关村论坛办公室作为指导单位,由北京科学智能研究院主办,北京大学北京国际数学研究中心、北京大学国际机器学习研究中心、北京材料基因工程高精尖创新中心、DeepModeling 开源社区、嘉庚创新实验室人工智能应用电化学联合实验室(AI4EC Lab)、宁波东方理工大学(暂名)、上海交通大学药学院、深势科技、苏州实验室、之江实验室、中国科学院计算机网络信息中心、中国科学院宁波材料所联合承办(按拼音首字母排序)。

  张林峰(北京科学智能研究院副院长,深势科技创始人兼首席科学家):汤老师从2018年最早探讨AI for Science到去年峰会分享AI for Science的三层含义,再到今年见证AI进一步系统的突破,以及AI for Science走向流行,作为科学家、作为交叉学科领军人物,您觉得这个过程中有什么变与不变?

  汤超:最大的不变就是说一直在变,就是总是有新东西出来,每次都有惊喜,这个让人非常振奋,总觉得这个领域在一个非常好的势头,下面会有很多东西出来。我从开始也是开始一直flow,现在觉得flow越来越吃力,现在新东西出来太多而且太快,总觉得是一个好事,而且我看到在座很多年轻人在这,我觉得这是一个领域的很好的现象。

  张林峰:接下来其实我准备很久的一个问题,提给王坚院士,因为您其实也一直是我们很多同学的偶像,无论科学计算还是AI计算,或者今天共同关注的AI for Science,计算基础设施一直是基础中的基础,从2008年作为阿里云的创始人,到近期履行之江实验室主任,您在云上基础设施前沿深耕15年,而且近期其实我们关注到您的很多分享其实几度哽咽,然后我看到相关报道您是拿自己的命在做这个计算基础设施。可以想象像云计算这个方向,也其实经历了一个从愿景走向流行再到面临不断变化的新局面这样的过程,过程中也势必充满曲折艰辛,也注定对AI for Science这样正在从愿景走向流行的方向,有很多启示,在这个背景下您最想对大家说一些什么?

  王坚:其实还是一个很值得说的话题,特别是因为今天鄂院士也讲到关于要建基础设施的事情,其实我觉得这个大家对于基础设施的理解,今天有点被大到的泛化,infrastructure还是有特定含义,我今天理解是被大到泛化,我想表达两个观点。一个观点没有真正意义上的基础设施,也是可以做很多创新的,第二个观点是我们今天大家可能想打造的基础设施,还称不上基础设施。

  第一我先说一下为什么没有基础设施,也是可以做很多创新,其实我还是很感动的。从做AI领域过来,我经常讲的一个背景就是,当年,事实上就是两个多伦多大学学生,用两块GPU卡,而且是很普通的GPU卡,就赢得了当年的ImageNet冠军,而这个冠军还是有非常深远的意义,它的意义在于就是后来这个图形卡作为AI最标准的标配,而那个时候GPU也引进了工业界。这是我想表达一个事情,两块GPU卡改变了这个世界,没有基础设施也可以做很多创新。

  第二个观点,事实上大家今天讲的基础设施不是基础设施,为什么呢?因为大家都知道GPU有多贵,大家知道这个东西都卖不到可能大家需要买到的卡,我想说作为基础设施有两个最基本的特点,一个特点就是非常容易得到,第二个特点就是便宜。如果不满足这两个条件的东西,是不能称之为基础设施,所以回到当年做云计算的时候,其实它的目标也非常简单,就是您在世界任何地方可以享受这个东西,同时你可以卖不起计算机,但是你可以用得起云计算,这是最基本的逻辑,我想今天如果标AI标题的话,我想这也是满足这两个要求的。

  王坚:我觉得AI基础设施如果做好的话,那就是普通的学生向最好的教授拿一个大项目教授一样,可以获取的基础设施,这是自己的理解。第二个理解,就是你今天想要用一张卡做研究,你今天就用一张卡,你明天想用1万张做,那就明天1万张卡,而不是今天用1000卡做事情肯定要准备一年,才可以做这样的是,我觉得这个时候就满足了这个基础设施了。如果今天这个角度我想我们在今天情况的话,更有点像明明就是去趟八达岭,结果你自己还要修一条高速才可以去,当然我们今天处在这么一个状态。

  张林峰:接下来的问题是给黄铁军老师,铁军老师在过去几年一方面见证了AI方向全方面的进展,也是在AI推动大模型推动等方面推动了很多工作和布局,领域在飞速的变化,关于AI与大模型,您有哪些最新的判断和认识,可否介绍这些年您的思考和实践。

  黄铁军:大模型这个词,线月份第一次提出来这么一个概念,但是现在很普遍了,大模型可能大家很容易理解“大”,但是实际上大模型最深刻肯定不是大,大是一个基本条件,更深刻是具备今天涌现或者产生预料之外能力的这样一种特性,这种特性使得它是划时代的,AI我们做了这么多年,大模型之前的AI研究都是人作为设计者,我们是完全可控的,你设计一个什么样的算法,你用什么样的数据,设计什么样的规则,你是确定的,这个系统能干什么,除了出错你可能无法把握,只要不出错,那这件事情是确定的,都是完全可控的。但是大模型之后的出现了你根本都没有想到产生新能力,这是AI一次大革命。

  像我们说科技创新,创新就是完全别人没有想到的一个新发现,新的发明新的idea,在你的脑子里冒出来了,这叫真正的创新。其他的也是很多科技工作,但不叫真正的创新,所以大模型有了创新能力,但这个创新和人的创新肯定还是有很大差别,也还有很多不足,但是有和无这件事情特别重要,不管ChatGPT,只是ChatGPT让大众大家一下子熟悉了AI到底能干什么,实际上大家从2017、2018年到现在,过去五年大模型一个分水岭形成了。

  大模型在AI for Science这样的语境下能发挥什么样的作用,大家桌子上都有一本报告,去年的报告我认为写的特别好,今天写的更好,其中1.3节就是大语言模型可能对AI for Science这样一些作用,我觉得那里面很多观点我都完全认同。唯一结论那个地方讲的,当然一般写文章都这么写,它有很多优势,但是也有不少缺点这么说。我对缺点不是太认可,实际上都是临时,不是长期的。为什么这么说呢?大家可能都试过,大家去试语言对话模型都能发现经常还会出现幻觉,大家通常说的一本正经胡说八道现象是存在的,而且也是不断改进的。如果问科学问题,那更不靠谱,说出来的大家觉得有点太不靠谱了,别说伪科学,连伪科学都谈不上的回答。

  这是今天我们看到的对线月份和ChatGPT同时发布的一个模型Galactic,只上线两天就下线篇论文训练的一个大模型,它能回答科学问题,好了,这一下把科学家逗起来了,一帮科学家上去问科学问题,发现大多数都是伪科学的回答,然后就讽刺说这个东西不能,这都是完全是一个,比如产生假论文帮学生写作业之后,这种事干了之后是对科学的伤害。然后没办法两天就下线了,当然Meta也很失望,这个科学家你现在不能把它当成真的科学家在用,它是刚刚具备一定科学能力的一个雏形,你非常拿科学家的严格考验它这是不对的,好,你们就这么讽刺我们也不敢提供了,下线了,happy高兴了吧。

  这个一定是尽管它下线,我认为它一定是将来的发展趋势,4800篇论文全世界其实有上10亿篇论文,很粗的估计,这些东西被训练之后,通过大模型产生预料之外的这种能力,可以产生一些新的假说,新的假设,新的insight,尽管创新能力和人比还有很多方面不具备,但是掌握海量谁有能力,比如说读上10亿篇,你读多少论文,我们一辈子能读多少论文,读多少书?读不了多少,读书读不了一万本,读论文就是读几万篇,一天读好一篇,我才活三万多天,也不可能读三万多篇论文,所以根本不可能掌握那么多这个数据的情况下,他比你掌握高好几个量级,它把它融会贯通起来形成一些新的假设,insade可能性,我觉得这是完全可以做到的。

  还有一个我说的可能乐观了一点,我觉得可能对搞科技的人,大概我说的乐观一点,两三年之内用科技论文和科学数据训练的大模型,证明信的数学定理,人类可能证了好多年,它能证出来,这种事情以及做物理学的一些发现,都是有可能的。而且我相信那个东西一出来,一定是全世界,比ChatGPT更受瞩目,因为第一次非人类系统作出真正科学数据的证明或者科学的发现,两三年以内,这个公开场合这么说,谁也不敢确定,但是我觉得这种可能性还是不小。

  因此我的观点就是我们怎么去用好这种最新的技术平台工具,去做真正的科技创新是我们应该做的,而不是仅仅挑它的毛病,任何新工艺出来肯定是有毛病,你光看毛病这个事就是从悲观角度来说什么事都做不成,从乐观的角度来说我们不可能说AI大模型把所有的回答都严丝合缝,一点逻辑错误都没有,幻觉都没有,那是不可能,我们要看它的这种可能的新突破的地方,我们每个人也一样。一个科学家一辈子能做一个真正的科学创新就不容易了,哪能做的所有事都是对的,不出毛病,不可能的事情,有很多次错误,很多次尝试这一辈子能做出一个重大发现已经不得了,为什么我们这么苛求AI呢?当然 说这么多话没用,还是拿结果说事,当然某一天AI大模型真的做了,结果的时候,我觉得大家的观点一定会发生重大变化。

  其实您让我们迫不及待走向今天的主题,而在主题之前也是响应汤超老师所介绍,我其实想更深入挖掘一下背后的故事。其实2018年探讨AI for Science,其实到目前又过去了五年,在那个时候AI作为新的技术可能性,似乎对science有一个系统性的提供新方案的机会,而在眼下其他这样的一个机会在鄂老师报告里面,一方面从宏观角度来说奠定了四梁N柱的思考,另一方面从新的技术要素来讲,我们AI新浪潮又来了,是大语言模型。

  在我们讨论2023年之前,我想其实无论2008年云计算还是2018年的AI for Science早期,那些在更早的时候,所产生的原创性的认识,可能是更加弥足珍贵,也或许站在现在的时间点能给大家更多的启发,所以刚才鄂老师介绍了更为宏观的引导,可能也作为给您一个补充问题,想邀请您分享一下,您和汤老师在2018年的时候怎样的机缘巧合怎样的认识之下提出了这样一个概念。

  从我角度来说我是做计算科学出身,计算科学里面我从计算数学、力学、材料科学,计算化学真的是很多很多领域我都走了一遍遍,其实我并不是想每个领域都尝试一遍,而是说一直在想,就是说能不能用计算方法解决真正真实的问题,应该说都不是很成功。我也推动所谓模型多尺度算法,这也是我国际上最早推动这个领域的人之一。后来我把书写完。另一方面我肯定说一下,2004年就在国内推大数据,那是尤其2009年花了半年在国内走了很多地方推动大数据,推动半天以后也没有人做,我自己后来也是汤超给的任务。

  2014年的时候汤超管研究生院,研究生院给了我一个任务,因为2014年的时候北大出现了一个情况,很多院系都要搞大数据了,要叫我出来牵头帮北大搞大数据,那时候只能下决心自己搞。我搞大数据以后马上碰到学机器学习,学了机器学习我发现,机器学习正好可以解决我原来的那些计算科学里面碰到困难的领域,比如说工具,这就是维数灾难的问题,所以这是我怎么走上这条路的。后来当然更重要我有一批非常好的学生,他们一起就把这个事情推动起来了。

  你刚才问我变与不变,我本来还想说一个,后来就没说。还有一个不变从4年前、多年前我们提出这个东西到现在,到上次我说AI for Science有三个意思,其中一个就是说一个应用场景,各方面的应用,这方面成功是非常非常大。还有一个用AI来找刚才铁军说了来找新的科学规律,最后一个是说AI它为什么能这么成功,它里面的Scinece是什么,它跟我们的大脑有什么关系,能不能最后来理解我们的大脑,也许超过我们的大脑。

  我觉得第一个进步非常非常大,这个现在还是这样的,铁军很乐观,他说两年以后可能就会找到新的科学规律。我要说到现在为止AI没有找到一个新的科学规律,我想激励大家去往这个方向去想,我个人是相信AI能找到新的科学规律的,也许要有不同做法,但现在确实是没有找到。大语言模型出来我特别兴奋,大语言模型给我们提供了一个新的机会,但是你仔细想大语言模型为什么这么成功?它是一个语言模型,语言首先就把很多人类的知识消化在语言的框架下面,它有自己的逻辑结构,有自己的表征,然后大模型把这些东西学会了,它本质上还是一个统计模型。

  科学可能跟这个有点不一样,科学也许有它自己内在的一些思维方式,有些东西是不能用语言表征的。因为我们也一直在想怎么用大语言模型来做一些具体的科学问题,也想做,但是总觉得很多地方都不成熟,它现在AI就是在你已经知道的科学技术方面,比如你已经知道量子力学,你用量子力学来计算化学、材料、能源可以越做越好,越来越好,我点不怀疑这方面有巨大的应用前景。但是你说AI能不能发现一个新的量子力学,这是我期待的,我相信可能在很久的将来也能做到,用现在大模型的架构能不能做到我不知道,要怎么学习我也不清楚,仅仅读论文是不是就够了,这个我也不是很清楚。

  谢谢汤老师,也谢谢各位老师的分享和发言。确实,刚才一系列的分享已经让我们逐渐的进入今天的主题,下一个问题其实也是这样的一个主题进一步的凝练。我们今天主题模型与AI for Science,接下来也希望跟各位老师一起探讨两者就目前的技术路线目前对infrastructure的需求,目前的应用影响等等而言,有什么样的异同?各自的优势又是什么?是否有一些大模型无法解决的问题或者需求?我想经过刚才的分享,我想还是先请王坚老师做一些分享,您也见证了科学计算、AI等各方面的计算的infrastructure整体的情况,很多的东西其实这方面是带着镣铐在跳舞。

  王坚:没有。我还是讲两个观点。第一个观点,特别是汤老师跟鄂院士关于在一号园要搞AI for Science的事情。创新还是有它很大的偶然性,有时候太想总结成有规律的其实没有什么好处。甚至谈到infrastructure,大家讲到GPU的时候谈到英伟达,谈到Jason黄,会讲他很有远见。的确,但我也要和大家分享一个有趣的事情,实际上2010、2011年左右,Jason黄主要精力不是在做GPU,而是想把他的技术用到手机上,所以他做了一个芯片。这件事情它有很大的偶然性,太有规律的事情很难讲有创新。

  另外,ChatGPT的发明就是让你胡说八道的,不是来回答科学问题的。我经常讲ChatGPT的核心不是GPT,ChatGPT的核心是Chat,你再去看人工智能在2000年的时候,2000年往回溯几年,你会发现事实上在这个领域的进步都是GPT的进步,没有别的方法能出来,只不过到了去年年底的时候Chat这件事情出来以后使大家突然发现这个东西还是很有能力的。

  所以我为什么说它的核心是Chat,是这些人理解了这样的一个技术可以跟Chat放在一起,让大家觉得了不起,它没有说要把它跟科学发现混在一起,我觉得这一点大家还是要意识到这个问题。

  所以为什么我说事实上今天不是AI for Science,现在事实上是Scinece for AI,科学家解决问题的时候让AI有一次巨大的进步,这是我对今天这个理解,也是我的期待,所以我觉得事实上是Scinece for AI,哪一个时代它解决了Chat我觉得已经是很了不起的了了,你不要想着这样的一个框架,怎么小修修补补就一定能解决很了不起的问题,所以我更期待的是Scinece for AI。正好汤老师在自然科学基金会,我觉得这个逻辑更加对一点,确实能够推动AI这个学科的发展,这是我自己的理解。

  汤超:我觉得这个讲法也挺好的,现在AI的发展确实得益于Scinece,从整个IT领域到芯片他们底层的Scinece其实很早以前就经过很多很多年的这种积累才发现的,麦克斯韦方程,量子力学、半导体等等,到后来又是计算机科学。现在我们希望AI发展到一个阶段来help Scinece,我也相信可以做很多事儿。

  张林峰:鄂老师,我想顺着王坚老师的观点其实也更加有针对性的问您接下来的问题,无论是AI for Science还是Scinece for AI,接下来我们从解决问题的角度其实是怎么的东西会能更加解决问题,这个过程中从Scinece for AI的角度可能是AI现在已经到了大语言模型stage,我们加上Scinece会有啥,然后会让这个AI变得更怎么样。而从AI for Science的角度可能过去从GPT恰好也不见得只是属于AI的,它是Transformer是一个模型架构,P是代表预训练方式,G代表的是generative,其实我们在Scinece里面恰好有一系列符合大模型需求的架构以及一系列预训练的可能性和生成型的一个可能性,所以Scinece的GPT或许会是怎样的?我们会是一个统一的大模型还是有一个Scinece的大模型?这点或许也想看看您现在是怎么想的?

  鄂维南:这是两个不同问题,首先是Scinece for AI,的确AI现在看上去怎么看怎么是像engineering,不像Scinece,没有principles。我在有些场合试图给一个报告,这个报告本人还不是太满意,我这个报告基本的想法就是希望把至少是神经网络发展过程能够给它一个principles。什么才叫达到这个目的呢?以后出来的这些新的网络架构我们不会觉得特别Surpise,现在比如说ChatGPT让我们感觉就好像totallysurprise,一点都没有预料到,如果我们要想Develop Scinece for AI,至少我们要达到这样的目标。

  的确我们以前也有一些先例,比方说我经常举的例子就是计算流体力学、计算空间动力学,我们的确后来真的能够formulate一个secrets possibles(音)这样来做我们的发展,我们希望神经网络也能做到这一点。我个人觉得这个是有希望的,我觉得比较困难的,这个是汤超的问题,所谓的涌现,涌现这个不是数学的事情,是物理的事情。最后这个涌现究竟是个怎么去理解它,物理里面他们这个领域里面有一个很有名的说法,叫more is different,那么这个涌现就感觉有那个味道。

  然后再回答第二个问题这个对Scinece的GPT大概应该长什么样子,这里面其实有三个不同的概念。一个是预训练模型,第二个就是大模型,第三个就是通用模型,我们在讲GPT4或者ChatGPT的时候我们给它赋予通用模型的概念了,在科学领域里面我个人觉得通用模型不是一天两天就能建成的,前面两个概念预训练模型,预训练模型这个概念其实我还是从铁军那儿学到的,在办公室他突然给了我一个关于预训练的tutorial。

  汤超:我觉得这是一个非常有意思的话题,铁军刚才也提到大模型想象不到的涌现,涌现这个东西确实在物理里面也是一个前沿,就是大家都在想怎么就会,本来没有的东西怎么忽然会出来,简单的例子就水分子这个水在那儿好好的,你把它给降到0度以下,它就形成很漂亮的雪花,冰、雪花什么的,冰比较简单,雪花是比较复杂的,这种东西怎么出来的,在物理里面一直在研究有怎么样的一些看上去很简单元件的相互作用,因为它多了以后就会产生很复杂现象,简单来讲这叫“涌现”。简单的元件所没有的,我们神经元也是,每一个神经元我们其实可以理解它的,放电嘛,它接收input,放电output送出去,没了,就这些。那这么多神经元连在一起,我们就能站在这儿聊天,这是不是很神奇现象。

  所以我觉得大模型出来以后,这是一个很有意思的现象,这个涌现是怎么出来的,而且也正因为大模型出来了我希望,因为这毕竟还是人类创造的东西,不像神经元我们不能把它一个个打开看,计算机虽然参数多,但是不是希望看一下,我一直希望通过对这种AI的研究,现在大模型出来,通过对大模型研究能不能让我们更深刻的来理解“涌现”这个东西,再反过来肯定也还会再促进更高层次的AI也许是,智能也是涌现的问题。

  我们现在不明白什么情况下“涌现”会出现,到底要多少神经元,多少参数,这些问题我们多没有明白。

  汤超:理解力涌现有,像雪花怎么形成的,像相变,像水100度变成气,降到0度突然变成冰了,这是看一个水分子想不到的现象,但这些东西是比较简单的现象。像超导也是涌现现象,半导体其实也是涌现现象。相变都是涌现现象,这些涌现现象的,它是物理自然里面的,我们研究原子、分子相互作用出现的涌现现象,所以是一些比如用量子力学就可以研究清楚,用牛顿力学可以研究清楚。

  黄铁军:刚才两位真正的科学家、数学家、物理学家,听他们讲话那个思维方式很清楚,上来就要principles,上来就要原理,为什么,这就是科学家,科学家就是遇见一个事物特别一个复杂现象,像涌现现象他要知道为什么,他要找背后的原理,他要问这个问题,当然涌现在物理学里边复杂性科学也只有几十年的历史,应该是物理学最前沿的,诺贝尔奖得了一次,其他量子力学都是上百年的学科,这叫科学。科学是要研究现象或者事物背后的规律的这叫科学。AI不是,您千万别觉得AI是技术工程好像贬低,我们一点没这个意思,我们就是技术和工程,我说没有贬低的意思是AI也好,还是包括计算机也好,其实它是要做一个东西出来,比如说涌现,我们很兴奋的是我们做出来一个有涌现这种现象和功能系统出来了,至于弄清楚为什么是科学家的事,这一点事情是做一个东西,这个东西不做出来除了研究自然界的涌现怎么研究人工系统的涌现,所以这就是工程或者技术的追求。

  我经常举指南针的例子,中国四大发明都是这样的,中国人一千多年之前发明指南针的时候,谁知道背后的科学原理,它的伟大就在于你不知道电磁学,那时候电磁学还没出现,还不知道地球是圆的,南极北极不知道的时候,中国人发明稳定指南的东西,它的伟大就在于这个地方,所以AI所谓伟大也是,这种能力出现了,而且它确实还在现实中发挥作用了,这就是我们要不断的去追求的,所以我刚才说AI某一天真的把数据定理给证明了,我也真的可能不知道它怎么证明的,但它证明了你可以验证了,这个定理证明了,整个步骤写出来是不是对的,是对的就说明它做到了,怎么做到了那就回到你们的问题了。所以两面要抢的就是。

  王坚:我也是想这里插一句关于大模型,第一我不搞这个东西。我个人是这么理解的,可能是一个人创造力的问题,可能是一个人insight的问题,跟智力没有关系,所以可能数学、物理学很多东西都是一个人灵感的问题,它跟智力没有关系。

  咱们社会上有这种看法,包括经常说基础研究,科学是研究,这种思维方式太习以为常了,其实是错误的。刚才说的从0-1的发明,和从0-1的发现都是伟大的,刚才为什么这个四大发明伟大,是没有科学原理它才能发明它才能伟大,你科学原理都有了,那只不过照做,那不伟大,所以AI不简单,真正做这个东西不简单,不仅仅是说从0-1,完全没有想到的东西能做出来,你不知道它怎么想到做这么一个网络结构,作出这么一个功能,那就是尝试很多种可能性,终于做到了这一点,所以我一点没有贬低AI的意思,只是大家太把科学摆在神的位置,所以总觉得一说工程技术就是似乎是一个应用,那是错误的,真正的技术线的发明同样都是发明发现,都是伟大的。

  第二,王老师我真是认为现在的AI是有创新能力,但是这个创新您看怎么定义它,比如说计算机,人会计算,后来我们设计一个机器,这个机器会计算,您会觉得不神奇,这有什么?计算我也会,计算机也会,但是计算机也会,但是计算机算的快,所以它靠它快,解决很多问题。现在AI创造能力当然和人的创造能力还有很大的差别,但是能把很多看似无关的东西,联系在一起,刚才说的融会贯通。这个能力也是人的创造中很重要的一部分,我们很多时候你说灵感,这个灵感也分不同,爱因斯坦想出相对论的灵感,和我们通常读了很书,读书破万卷,下笔如有神那个灵感肯定有差别,但是后面灵感也是灵感,我们申请连在一起,形成一个新方案,数学定理证明有这样的,有的证明确实要靠直觉,没有直觉真的做不出来。有的就是你要把很多,这都看到了把它联系在一起,串在一起很长的证明就出来了,这种能力我认为现在大模型技术是有可能做出来的。出的结果我们肯定要承认是一个真正的创新,只是说不像人的灵光一闪那么巧妙,EBET易博真人平台但是也是。我认为现在的这代AI是能做到的,但是我们还会创的更复杂的AI系统,我自己梦想2045年作出真正像人脑创造力,而且比人速度更快,但是那个还要很多的技术上的突破。而且我认为那也是有可能,但是即便如此回到今天,我们仍然要对今天已经实现的大模型要去欢呼,因为它真的是从来AI没有做到的,我认为是创新的这种能力。

  谢谢铁军老师,刚才的对话可能体现了我们这次峰会主题,就是碰撞中凝聚共识,刚才是碰撞比较激烈的一段环节,也让我凝聚共识的主题感觉会充分挑战。可能接下来一个问题,也是我们最后一个主题,我想是我在座同事们和朋友们,一起想的一种凝聚共识方式,这个方式是什么呢?我想第一个共识,大家应该是有的,大模型与AI for Science会大有可为,会有机会有光明的未来,这个可能是大家都有的共识。给定这样的共识从另外角度来看,这个过程中核心的瓶颈是什么?

  从大模型发展过程当中,其实尽管是工程能力,但是在很长一段时间里面可能为一个非常大的瓶颈。所以从这个意义上对瓶颈认识或许我们从另外角度要去看我们面临的机会与挑战。那么接下来,我想瓶颈体现在方方面面,算力瓶颈领域数据可能是瓶颈,人才培养各个领域研究具体问题深度,可能是瓶颈。我想接下来请四位老师,来分享您认为这个过程中,最大的瓶颈会是什么,以及又该突破瓶颈如何破局。

  其实我最不应该第一个说的,我觉得还是一个认识上的问题,就是说包括刚才鄂院士在领导发言的时候,他讲AI for Science我们会讲到很多过去不同东西,其中一个大家经常会讲到数据驱动这么一个事情,因为我自己对数据比较感兴趣,我一直在问自己,数据驱动以前那到底是什么驱动?就AI for Science语境的话,要我自己的理解可能有一个东西是第一步走的,今天大家讲AI for Science的逻辑,基本上以数据解决至少是我们已经知道的,或者我们已经产生的假设,这是我对这个理解。如果真的要做到汤超老师这样讲的话,我个人觉得数据驱动是针对所有的研究都是假设驱动的,从这个角度,现在的问题很简单的问题就是说,我们通过数据能不能形成新的假设,我觉得这件事情是一个蛮挑战的问题。

  所以我经常对我来讲数据驱动对应不是别的东西,对应过去假设驱动的研究,研究范式。所以我经常会讲,数据最重要的作用不是帮你解决问题,数据最重要的作用是帮你形成问题,这个东西如果没有这个东西的话,我觉得可能真正意义上的创新,特别是讲AI for Science我觉得还是有很长的距离要走,这个觉得瓶颈所在的地方。

  我很同意王老师讲的,data driven ,你不能只停留在data给你提供了什么,然后你就可以做些什么,要真正往下做的话,还是要你自己去提供很好的假设。我们对data没有感觉的时候,有很多data连假设都没有,我们都不知道怎么回事,根本不知道怎么想,data给我们很多这个惊喜,我们去有好的方法看它的话。

  刚才说什么是最大的瓶颈,我觉得从长远来说人才肯定是最大的瓶颈,这是没有问题,我一直很担心我们国家现在看上去好像科技进步蛮快的,跟得挺紧的,如果在教育方面科研方面如果不长期投入的话,不形成很好氛围的话,就会没有后劲,你不能总是跟,chatGPT又在别的地方,下一个是不是能在中国出现,这个时候什么时候到来?这个肯定是长远的瓶颈。如果用大模型来做科学的话,具体来说我们想过怎么样解决一些科学上的问题,能不能做一个大模型的细胞,比如说说是,有很多很多的data放进去,然后我大模型可以告诉细胞,你让它生长的话,应该怎么怎么样,会不会变成癌症,变成癌症我又应该怎么样,这也是一个很理想的状况。你发现一想这些问题,数据本身也不够,数据也是瓶颈,而且什么样的数据有用我们都不知道,因为我们现在对生命科学、细胞、蛋白了解还是基于以前知识,我们都提不出一些假设。

  Alpha Fold是一个从科学上是一个已经解决的问题,但是技术上没有解决,我们都知道就是一个一维一个编码,一个三维结构这个我们在课上已经知道了,一维编码怎么到三维结构太复杂了,但是我们知道是说可以的,量子力学就够了地把所有水分子放进去就可以了。所以Alpha Fold就做到了,但是这一步对于很多事情,在科学上都做不到,细胞整个基因组都编码了,基因组很大,哪些信息怎么提取出来,我说这个例子就是说用大模型来做科学是一个非常非常好的前景,但是还是有很大的挑战。数据本身哪些数据有用,怎么样采集都是很大的挑战。

  我们在基金委特别特别希望我们国家数据能够公开,能够共享,大家数据能够分享,现在在生命这个医学领域几乎所有的研究,科学家全部都是用国外的数据,为什么呢?因为他们经过很多年的积累,整个数据库建的非常好,也很规范,而且可以共享,我们国家情况完全不一样,每一个医生都有自己的数据,每个医院有自己的数据共享非常困难。这个数据的问题不解决,那大模型根本没法做,这个情况也是一个很大问题。

  从这个角度来说,我个人觉得眼下短时间内最大瓶颈是组织能力,是把资源用好,用到该用的地方,也包括刚才汤超说的这些数据也是组织能力的问题。从长远角度来说,一个当然是人才问题,第二个就是从我角度来说,获得资源可能并不难,但现在我们就是要有效组织起来,把基础设施建起来,就像电子显微镜这样新一代基础设施建起来,这个可能是主要的问题。

  我觉得几位老师讲的很好,其实大模型也好、AI for Science也好,包括其他领域也好,当然我讲我们中国当下语境来讲,我觉得两个瓶颈,一个瓶颈就是刚才老师们提到就是合作协作,我们是什么东西热,很多人做很多团队做,但是都是分别各自做,各自的以最快速度发一篇论文,发布一个什么东西,这种是做不了大事的,增量的,是发了东西,所以我们国家每年发40多万篇论文,美国发35万篇,别的大概10万篇,但实际上很多都是刚才说这事已经很清楚了,往上加一点发一篇论文,但是真要做大问题,肯定得有多方合作,数据组织刚才比如说大模型数据组织、算力组织、算法组织都要去做。

  这个时候不合作为什么用国外数据,为什么中国很多论文是别人准备好的数据,别人有了框架算法,加1,然后就做。因为那就是短平快,而不是我们合作起来,真的干的三年五年十年,我们要解决大问题,这时候必须有合作精神,我觉得这是咱们的一种文化意义上的瓶颈,这个必须突破。经常说集中力量办大事,我觉得我们很难做到,我觉得鄂老师刚才讲的很好,但是能做到这一点投入一方面,大家有没有合作性,真的建那么几个平台,把几个大问题解决掉,我觉得这是一个问题。

  另外一个也和刚才的文化有点像,其实就是真正的创新,这个文化是缺乏的,别看今天花这么多数据,英伟达那么贵,现在几十亿美元去做一个算力,那是一种解决问题的办法,因为这个路子已经清楚了,你要真的投入这么多资源,它就能见效这是一种显性的思维方式。但是任何时候都存在一种颠覆性新方法路线的出现,出现之后这个东西全推翻了,不用那么多钱,我不用那么多钱我就能做到同样效果,存不存在?存在,我也不知道,比如说你让我告诉你,我不会告诉,我要知道的话,我马上去做了,但是这种可能性一定存在的,我们真的期望有这样的天才式的创新想法出来。那样带来的影响会更大,就刚刚说全世界这么多公司,投了这么多钱这么多干的事,被一个四两拨千斤的方法给推翻了,它的效果更好。

  一百年、两百年一个很固化的东西,不是完美的,这里面是一个办法,技术从来都是和科学不一样,科学找到原理就那么一个原理,不会第二个原理,第二个原理也是比第一个原理更深入的原理,技术路线从来都是多种多样的,从来都是多种可能性。今天问题解决了,用这种方法不等于说是唯一的方法,这一块我觉得咱们讲AI for Science,我希望咱们的科学包括广义的科技工程,能够有这样的东西出来,那我们就更欢欣鼓舞了。