EBET易博明略科技开源TensorBoardcpp助力大模型预训练

  新闻资讯     |      2023-08-12 19:00

  【TechWeb】8月11日消息,近日,明略科技集团实现了机器学习可视化工具——TensorBoard的C++接口,进一步丰富了基于C++的大模型项目工具集,使得大模型预训练过程监控更加便捷、高效,加速营销领域大模型预训练进程。该工具已在Github开源。

  TensorBoard是Google开发的一款机器学习可视化工具,常用于监测机器学习过程的各项指标。

  明略科技高级技术总监赵亮介绍:“在大模型训练过程中,数据监测是一个重要维度,而TensorBoard通过可视化模型中的各种参数和结果,例如记录大模型训练过程的Loss变化、验证集的PPL变化、学习率变化、Token消耗量、单步参数更新时延等指标,帮助分析训练状态,发现训练过程中出现的问题并及时采取干预措施,提升大模型训练进程和效果。”

  此前,TensorBoard仅支持Python语言接口。此次明略科技通过C++实现TensorBoard,将进一步丰富基于C++实现的大模型项目工具集,大幅提升模型训练监测效率,加速模型训练进程,改写接口后的工具将通过多维度的数据模式展示训练指标,包括标量、直方图、图像、图像合集、音频、文本等数据模式。该工具包通过github项目Tensorboard.cpp分享,助力更多研究者和开发者参与并加速大模型的研发进程,推动人工智能多领域的应用探索。

  明略科技集团CTO郝杰表示:“我们要在更高效、更低成本的要求下做出营销领域的大模型,通过自适应技术提升大模型的能力。好的行业大模型需要具备通用大模型的逻辑性、语言顺畅度,同时还需要实现通用大模型所不具备的,在某个行业内或具体的领域中的真实性、专业性。我们以明略科技凭借17年来积累的海量行业数据为基础,从客户实际需求出发,借助庞大的数据和知识库进行增强训练,满足客户多样化的任务和场景需求。在训练监测可视化工具的加持下,我们将提升训练速度,及时发现问题,为客户打造一个更加可靠、效果更好的行业大模型。”

  每日头条、业界资讯、热点资讯、八卦爆料,全天跟踪微博播报。各种爆料、内幕、花边、资讯一网打尽。百万互联网粉丝互动参与,TechWeb官方微博期待您的关注。

  阿里大变革后首份财报:淘宝盈利超预期 本地生活亏最多 员工减少6541人

  EBET易博真人

  比科奇PC802系统级芯片被Contela选为其分布式单元和射频单元的核心组件

  集邦咨询:今年Micro LED芯片产值将达到2700万美元 同比增长92%

  集邦咨询:搭载microLED显示屏的Apple Watch将被推到2026年推出

  青云QingCloud EHPC 打造即买即用的全流程SaaS化超算服务

  蚂蚁链发布BTN:可将区块链网络吞吐量提升186% 带宽成本降低80%

  蚂蚁自研数据库OceanBase宣布开源 300万行核心代码向社区开放