证券之星消息,根据天眼查APP数据显示科大讯飞(002230)新获得一项发明专利授权,专利名为“一种语言模型训练方法及相关装置”,专利申请号为CN202410623693.3,授权日为2024年8月23日。
专利摘要:本申请公开了一种语言模型训练方法及相关装置,涉及模型训练技术领域,训练方法包括:将语言模型部署于多个计算设备上,每个计算设备上部署语言模型的一个或多个层;获取训练样本集,训练样本集包括从训练序列集中获取的A个长度为S的训练序列;对训练样本集进行划分,得到多个训练样本子集,每个训练样本子集包括B个长度为S的训练序列,B小于A;对多个训练样本子集分别在序列维度进行切分,得到多个训练样本子集分别对应的子序列块集;利用多个训练样本子集分别对应的子序列块集中的各子序列块,采用流水并行的训练方式,控制多个计算设备进行模型训练。本申请公开的语言模型训练方法具有较低的内存需求和较低的流水空泡率。
今年以来科大讯飞新获得专利授权575个,较去年同期增加了10.58%。结合公司2024年中报财务数据,今年上半年公司在研发方面投入了19.33亿元,同比增27.4%。
数据来源:天眼查APP
以上内容为证券之星据公开信息整理,由智能算法生成,不构成投资建议。