近期根据彭博社最新发布的报告显示,其构建迄今为止最大的特定领域数据集,并训练了专门用于金融领域的LLM,开发了拥有500亿参数的语言模型——BloombergGPT。
受到消息影响,金证股份午后涨停,同花顺涨超16%,顶点软件直线拉升触及涨停,古鳌科技、东方财富、财富趋势均涨超10%。
这款金融大模型的应用将实现哪些惊人的功能?相关金融业公司是否将受益于大模型的应用而实现降本增效?产业链机遇有哪些?本文将详细解析。
金融大模型开发与应用难度均不大
据《BloombergGPT: A Large Language Model for Finance》一文中所述, BloombergGPT和 OpenAI GPT模式一样,也是基于 Transformer架构的,采用的是只有译码器的技术路线。通过比较, BloombergGPT模型参数为500亿,在GPT-2 (1.5亿)和GPT-3 (1750亿)之间。
不同之处在于,为了加强 LLM对金融垂直领域的专业理解, Bloomberg构建了目前规模最大的金融数据集 FINPILE,通过对通用文本+金融知识的混合训练,使得 BloombergGPT在执行金融任务方面的表现超过了现有的通用 LLM模型,而在通用场景方面的表现则与现有的通用 LLM模型基本持平。
GPT-3和GPT-4等大型语言模型都是由专业的人工智能团队开发出来的,而且模型的训练对计算能力的要求很高。BloombergGPT的成功验证了“开放源代码模型+优质垂直数据”的思路,为基于垂直数据构建大语言模型提供了可能。
大量的、高质量的垂直领域知识可以弥补模型在规模上的不足。通过对 BloombergGPT和GPT-3的对比,虽然 BloombergGPT的模型参数相对于GPT-3来说是比较小的,但是由于 BloombergGPT的预训练数据增加了大量的高质量的金融数据,并且对预训练数据进行了一系列的清洗和标注,所以 BloombergGPT在通用性和GPT-3基本持平的前提下,实现了对金融垂直能力的大幅提升。
算法方面,作者也有计划披露他们训练BloombergGPT的细节方法;算力方面,约使用512块40GB的A100 GPU,在训练过程中备份了4个模型,每个模型分了128块GPU。从这个角度出发来看,无论是数据、算法、还是算力,国内头部金融科技公司都是可复制、可追赶的。
金融GPT投资机遇或蓄势待发
在 BloombergGPT的成功案例中,训练数据是影响大规模语言模型性能的一个重要因素。
其原因主要有三点:第一,在金融垂直领域的数据输入中, BloombergGPT成功地形成了对金融知识的理解,变得更加专业;二是 BloombergGPT模型的参数虽然有所缩减,但其通用性和垂直性依然很强,这说明当参数尺度一定时,高质量的数据才是决定模型性能的关键因素;三是 Bloomberg在文章中明确表示,为了避免数据泄露, Bloomberg GPT将采用和 OpenAI一样的封闭源码,这也从侧面证明了 Bloomberg GPT所拥有的原始源码是各大模型争夺的关键。
作为一家不以人工智能为核心的金融垂直领域企业,Bloomberg为金融 GPT的发展提供了一个可借鉴的范例。金融 IT厂商拥有丰富的金融垂直知识和现有的人工智能产品布局,以高质量的金融数据和开源的大语言模型为基础,同样有机会打造出一个专属于金融场景的大语言模型,从而实现大语言模型在金融场景中的有效赋能,让大语言模型成为底层的人工智能操作系统。
在应用中,金融GPT落地场景有:
1)新闻的情绪倾向性分析和内容创造。它能帮助金融机构判断市场对某一事件的看法,并帮助他们进行量化策略、投资决策;
2)财务类知识问答和股票代码配对。能够辅助金融机构进行信用评估,辅助投资人筛选新闻相关概念股,辅助分析师进行领域知识学习,提升资料阅读效率等。
3)财务报表分析和会计稽核的帮助.能够辅助金融机构生成基础的财务分析报告和招股书,辅助投研人员报表配平,辅助会计和审计方面的工作。
很多中国的金融科技公司已经在落地大模型的应用。
同花顺在2015年前后便推出人工智能应用,在2019年更是选择“All in AI”,公司目前的AI技术涵盖自然语言处理技术、知识图谱技术和虚拟人等六大技术。
恒生电子在公开平台上表示将充分挖掘对话式语言模型技术在金融业务场景中的应用潜力,通过集成“文心一言”的技术能力,在投研、投顾、营销、客服、运营、风控等金融各类业务场景开展人工智能大模型技术应用,为金融机构提供全场景人工智能解决方案及服务,持续提升国内金融机构数智化发展水平。
国金证券建议关注同花顺、恒生电子、财富趋势、顶点软件和凌志软件等有金融大模型基础的公司。