预训练模型创业渐入佳境EBET易博真人

  新闻资讯     |      2023-05-02 17:23

  EBET易博真人近日,创新工场在京宣布,北京澜舟科技有限公司(简称澜舟科技)已完成近亿元Pre-A轮融资。此次融资由联想创投、斯道资本共同领投,创新工场跟投。对于本轮融资,澜舟科技将主要用于自然语言处理(NLP)核心产品的开发和前瞻性研究。

  此次融资也是时下围绕人工智能(AI)预训练大模型创新创业渐入佳境的体现。在澜舟科技创始人兼首席执行官周明看来,当前,无论从预训练模型的重大技术突破,还是国家创新创业的鼓励政策来看,硬科技创业都展现出蓬勃发展的势头,可谓“创业正当时”。“从感知智能到认知智能,都蕴藏着巨大商机。”周明说。

  预训练模型是前人为了解决问题所创造出来的模型。后人在解决类似问题时,无需再从零开始训练一个新模型,而是可以利用此前模型解决现有问题。

  例如,你想开发自动驾驶汽车的图像识别功能,可以从零开始构建一个性能优良的图像识别算法模型,但这往往需要花费数年时间。而预训练模型则能极大缩短这样的研发周期,开发者利用谷歌公司在ImageNet数据集上训练得到的类似模型,通过调参、完善后就可以实现汽车的图像识别功能。

  预训练模型的极大应用潜力,也在国内外掀起“大练模型”和“练大模型”的热潮。

  2020年,OpenAI发布了拥有1750亿参数的预训练模型GPT-3。它不仅能写文章、答题、翻译,还具备多轮对话、数学计算等能力。

  2021年,麻省理工学院与哥伦比亚大学、哈佛大学、滑铁卢大学的联合研究团队提出一个可以大规模自动解决、评分和生成大学阶段数学问题的模型,推动AI和高等教育结合。

  百度发布了产业级知识增强大模型“文心”,并基于此模型形成了产业全景图。其中的跨模态生成模型ERNIE-ViLG,首次将图像生成和文本生成统一建模,显著提升图文生成效果。

  由北京智源人工智能研究院牵头,汇聚清华、北大、人大、中科院等共同研发的超大规模预训练模型“悟道”也于去年亮相。该模型从基础性能、有效使用到预训练模型扩展等,提出了一系列创新解决方法,获得多项技术突破。此外,华为联合鹏程实验室等机构也发布了“盘古”大模型,阿里巴巴达摩院发布了中文语言模型 PLUG。

  “超大规模预训练模型的出现,很可能改变信息产业格局。”清华大学计算机系教授、北京智源人工智能研究院副院长唐杰表示,“继基于数据的互联网时代、基于算力的云计算时代之后,接下来可能将进入基于模型的 AI 时代。”

  周明是自然语言处理研究领域的代表性人物。作为澜舟科技创始人,周明带领团队研发出名为“孟子”的轻量化中文预训练模型。

  周明介绍,预训练模型是利用大规模语料库、通过无监督方式训练出的一个大规模语言模型,根据上下文定义每个词的语义表达,并基于模型做下游的任务,比如机器翻译、文本生成、问答搜索等。

  过去几年,预训练模型在自然语言领域得到广泛重视,各大公司、研究院所都开展了预训练模型的研究,出现了模型越大越好的趋势。

  “模型越大,训练成本越高,要求机器设备的能力就越强,并产生环保和节能的问题。中小企业可能还会因为硬件制约无法使用。”周明表示,澜舟科技研发的“孟子”模型,实现了用更小的模型规模(10亿参数量)比肩超大模型的性能,并且具备灵活的领域和场景适应能力,有利于快速、低成本地落地现实业务场景。

  “很多大公司依赖自身强大的运算能力和大数据能力,不停地推出大模型。澜舟科技作为初创公司,算力比不过人家,那我们就去比智慧、比算法、比知识。”周明表示。

  目前,“孟子”模型已在多个领域成功落地实践,衍生出多项行业领先的产品,涵盖机器翻译、文本生成、行业搜索等领域。

  此外,据澜舟科技合伙人李京梅介绍,澜舟科技已与传神公司合作,发布了第一个基于孟子预训练模型的“任度”翻译引擎。 截至目前,澜舟科技已完成各行业垂直领域的20余个翻译模型的开发,覆盖新闻、金融、汽车等领域。

  在从科学家到创业者的转变中,周明希望自己能“带领澜舟科技团队,致力于打造以自然语言处理为核心技术的新一代认知智能平台,帮助从业人员大幅度提高信息获取、搜索、翻译、分析研判、业务预测、报告生成和决策辅助能力”。

  作为一家基于预训练模型创业的认知智能公司,澜舟科技自成立以来,已经接连获得了3轮融资。

  “在过去两年,我们进行了世界范围内的技术研究,看到了自监督学习新技术正在崛起。这项技术将把自然语言理解带到下一阶段并超越人类的水平,这对于近40年前就投身于自然语言理解领域的我而言意义非凡。”创新工场董事长兼首席执行官李开复对《中国科学报》表示。

  “创新工场前沿科技基金目标是成为科技创业者的首轮投资人和长期朋友,成立至今已完成多个突破性技术创新项目的布局,未来将持续围绕AI、生命科学、新能源等多个领域,探索深度科技的全球市场。”创新工场执行董事兼前沿科技基金总经理任博冰表示。

  李京梅告诉《中国科学报》,此次澜舟科技获得的Pre-A轮融资,主要用于产品研发和NLP前瞻研究工作。“一方面澜舟科技致力于打造基于NLP技术在领域应用、产业发展方面的落地产品,另一方面也会持续NLP的前瞻研究,如提升模型的可解释性、小样本学习能力、复杂推理能力,真正做到从感知智能到认知智能的突破。”

  “近年来,语音识别等感知智能技术已相对成熟。得益于预训练模型技术的突破,自然语言理解的能力实现了大幅提升,我们相信认知智能将跃上一个新的台阶。”澜舟科技Pre-A轮的领投方之一、斯道资本投资合伙人赵峰说。