证券之星消息,根据天眼查APP数据显示中信建投(601066)新获得一项发明专利授权,专利名为“一种针对大模型推理请求的资源调度方法及装置”,专利申请号为CN202411837054.3,授权日为2025年3月28日。
专利摘要:本发明实施例提供了一种针对大模型推理请求的资源调度方法及装置,涉及计算机技术领域,该方法应用于服务器集群中的调度服务器,服务器集群还包括多个目标服务器,每一目标服务器均部署有多个大模型,该方法包括:确定各个目标推理请求以及每一目标推理请求的计算资源需求量;将每一目标推理请求的计算资源需求量、每一目标服务器当前的剩余资源量和每一目标服务器的服务器性能排序,代入目标函数,以确定每一目标推理请求的分配结果;针对每一目标推理请求,将该请求分配至分配结果表征的目标服务器,以使得该目标服务器按照对应计算资源需求量进行资源调度并处理,以实现优化服务器集群中服务器的计算资源的使用情况的目的。
今年以来中信建投新获得专利授权5个,较去年同期减少了28.57%。
数据来源:天眼查APP
以上内容为证券之星据公开信息整理,由智能算法生成(网信算备310104345710301240019号),不构成投资建议。