首页 - 股票 - 研报 - 行业研究 - 正文

计算机:微软开源Deep Speed Chat,坚定看好算力设施

来源:华西证券 作者:刘泽晶 2023-04-13 21:16:00
关注证券之星官方微博:
(以下内容从华西证券《计算机:微软开源Deep Speed Chat,坚定看好算力设施》研报附件原文摘录)
事件概述:
2023年4月12日,微软宣布开源了DeepSpeedChat,帮助用户轻松训练类ChatGPT等大语言模型,使得人人都能拥有自己的ChatGPT。
核心观点:
微软开源DeepSpeedChat,人人拥有ChatGPT时代已来临:ChatGPT模型的训练是基于InstructGPT论文中的RLHF方式,这使得现有深度学习系统在训练类ChatGPT模型时存在种种局限。现在,通过DeepSpeedChat可以突破这些训练瓶颈,达到最佳效果。DeepSpeedChat拥有强化推理、RLHF模块、RLHF系统三大核心功能。强化推理方面,可实现简化ChatGPT类型模型的训练和强化推理;DeepSpeed-RLHF模块方面,复刻了InstructGPT论文中的训练模式,并确保包括监督微调(SFT)、奖励模型微调和基于人类反馈的强化学习在内的三个步骤。DeepSpeed-HE能够在RLHF中无缝地在推理和训练模式之间切换,使其能够利用来自DeepSpeedInference的各种优化。此外,DeepSpeedChat在成本、效率、扩展性等方面非常优秀,效率方面,此模型高效且节省成本,只在Azure云上只需9小时即可训练一个OPT-13B模型,只需18小时即可训练一个OPT-30B模型。这两种训练分别花费不到300美元和600美元。
DeepSpeedChat高效赋能AI行业,显著提升效率并降低成本,我们认为AIGC百花齐放的时代已经到来。我们认为微软此次开源DeepSpeedChat就像当年的互联网,为了提升发展速率降低了台式机的价格,使得普通用户也能拥有自己的电脑。效率方面,根据华尔街见闻消息,可将训练速度提升15倍以上,成本却大幅度降低。例如,一个130亿参数的类ChatGPT模型,只需1.25小时就能完成训练。我们认为通过DeepSpeedChat解决资源、算法等难题,轻松、高效的训练数千亿参数的最先进的类ChatGPT模型。我们认为AIGC百花齐放的时代已经到来,原因是DeepSpeedChat显著降低训练门槛,中小厂商有望以更低的成本加速实现类ChatGPT的开发,并显著降低成本,AIGC百花齐放的时代正式来临,我们认为金融、办公、医疗、智能助理、XR、智能助手、智慧音响等领域有望率先赋能。
再此重申强调ChatGPT的竞争本质即大模型储备竞赛,算力是打造大模型生态的必备基础,算力在大模型的背景下势必迎来大爆发。算力是训练大模型的底层动力源泉,一个优秀的算力底座在大模型(AI算法)的训练和推理具备效率优势,其中包括AI服务器、AI芯片等为核心产品。大模型参数呈现指数规模,引爆海量算力需求。根据财联社和OpenAI数据,ChatGPT浪潮下算力缺口巨大,根据OpenAI数据,模型计算量增长速度远超人工智能硬件算力增长速度,存在万倍差距。运算规模的增长,带动了对AI训练芯片单点算力提升的需求,并对数据传输速度提出了更高的要求。根据智东西数据,过去五年,大模型发展呈现指数级别,部分大模型已达万亿级别,因此对算力需求也随之攀升。
投资建议:
我们认为ChatGPT等大模型的出现,势必引爆算力需求。受益标的为:首都在线、寒武纪、海光信息、浪潮信息、中科曙光、景嘉微、龙芯中科、神州数码、拓维信息、广电运通、云赛智联、青云科技、优刻得、光环新网、新炬网络、工业富联等。
风险提示
政策推进不及预期的风险、宏观经济下滑风险、核心技术研发不及预期的风险、中美贸易摩擦升级的风险。





相关附件

微信
扫描二维码
关注
证券之星微信
APP下载
好投资评级:
好价格评级:
证券之星估值分析提示神州数码盈利能力一般,未来营收成长性良好。综合基本面各维度看,股价偏高。 更多>>
下载证券之星
郑重声明:以上内容与证券之星立场无关。证券之星发布此内容的目的在于传播更多信息,证券之星对其观点、判断保持中立,不保证该内容(包括但不限于文字、数据及图表)全部或者部分内容的准确性、真实性、完整性、有效性、及时性、原创性等。相关内容不对各位读者构成任何投资建议,据此操作,风险自担。股市有风险,投资需谨慎。如对该内容存在异议,或发现违法及不良信息,请发送邮件至jubao@stockstar.com,我们将安排核实处理。如该文标记为算法生成,算法公示请见 网信算备310104345710301240019号。
网站导航 | 公司简介 | 法律声明 | 诚聘英才 | 征稿启事 | 联系我们 | 广告服务 | 举报专区
欢迎访问证券之星!请点此与我们联系 版权所有: Copyright © 1996-