证券之星消息,根据企查查数据显示中信建投(601066)新获得一项发明专利授权,专利名为“一种模型训练方法、装置、电子设备以及存储介质”,专利申请号为CN202311538306.8,授权日为2024年6月21日。
专利摘要:本发明实施例提供了一种模型训练方法、装置、电子设备以及存储介质,涉及大模型技术领域。具体实现方案为:获取训练数据集;利用待训练的大语言模型中的词嵌入层,对各条训练语料进行编码得到每一训练语料对应的编码矩阵;针对每一训练语料的编码矩阵,利用预测网络按照预设时间步预测该训练语料的对应的训练样本的、关于各个预定类别的初始概率分布,基于初始概率分布中概率最大的类别,执行第一处理方式或第二处理方式,得到预测结果;基于每一训练样本对应的预测结果以及所具有的指定标签,计算模型损失值;基于模型损失值调整大语言模型的参数。可见,通过本方案,可以在满足大语言模型的词向量表达需求的基础上,兼顾模型的训练效率。
今年以来中信建投新获得专利授权9个,较去年同期减少了70.97%。
数据来源:企查查
以上内容由证券之星根据公开信息整理,由算法生成(网信算备310104345710301240019号),与本站立场无关,如数据存在问题请联系我们。本文为数据整理,不对您构成任何投资建议,投资有风险,请谨慎决策。