首页 - 股票 - 研报 - 行业研究 - 正文

计算机行业研究:文心一言、GPT3.5及GPT-4的应用测评对比

来源:国金证券 作者:王倩雯,孟灿 2023-03-20 17:16:00
关注证券之星官方微博:
(以下内容从国金证券《计算机行业研究:文心一言、GPT3.5及GPT-4的应用测评对比》研报附件原文摘录)
投资逻辑
OpenAI于2023年3月14日发布最新版本多模态大模型GPT-4及其API;国内百度于3月16日发布生成式大模型“文心一言”并开放邀请测试。为对比国内外大模型在各领域的性能差异,我们对文心一言、GPT-3.5(ChatGPT的原模型)和GPT-4的问答表现分别进行了测评。测评涉及常识和创作(文学/图片)、归纳和推理(演绎推理/情感推理/逻辑推理/主体信息抽取)、数学和代码、应用(AI助手/客服/办公协同/推荐/诗词理解)等方面。
在常识和创作类问题中,三大模型均能正确回答客观常识类问题;进行文学创作结果均能体现正面价值观,但文心一言的分词功能有待提升;目前GPT-4尚未开放图像生成外部测试,文心一言的图像生成能力较为出色。
在归纳和推理类问题中,文心一言在演绎推理、逻辑推理等领域表现略逊于GPT系列模型,但在归纳总结类任务中表现较好;三大模型在情感推理类问题中仍有提升空间。
在数学和代码类问题中,GPT-3.5有更好的数学能力表现;GPT-3.5及GPT-4模型均完成了本文提出的代码生成问题,但并非最优解,文心一言代码问题识别能力有待加强。
在应用场景测试中,三大模型均能较好地完成AI生活助手、售后客服、产品推荐、办公场景文本生成等任务,但在文言文和古诗词理解运用方面表现不佳。
我们认为随百度文心及OpenAI合作生态伙伴数量快速增长、训练数据量和模型训练能力持续提升,各模型性能都有望实现进一步优化完善。
投资建议
文心一言、GPT-3.5、GPT-4三大模型在常识问答、文字生成等领域均有出色表现,其中,文心一言虽然在逻辑推理等任务中表现不及GPT-3.5、GPT-4,但已能够基本满足AI助手、售后客服、产品推荐等诸多场景需求。百度文心的开放应用将极大加速国内生成式AI模型的落地应用节奏,有望帮助生态伙伴实现用户体验提升和生产降本增效。我们建议关注在AI领域进行持续布局且拥有成熟应用场景的公司,如万兴科技、汉得信息、凌志软件、同花顺、金山办公。
风险提示
海外基础软硬件使用受限;应用落地不及预期;行业竞争加剧风险;测评问题有限导致结果或有偏差。





相关附件

微信
扫描二维码
关注
证券之星微信
APP下载
下载证券之星
郑重声明:以上内容与证券之星立场无关。证券之星发布此内容的目的在于传播更多信息,证券之星对其观点、判断保持中立,不保证该内容(包括但不限于文字、数据及图表)全部或者部分内容的准确性、真实性、完整性、有效性、及时性、原创性等。相关内容不对各位读者构成任何投资建议,据此操作,风险自担。股市有风险,投资需谨慎。如对该内容存在异议,或发现违法及不良信息,请发送邮件至jubao@stockstar.com,我们将安排核实处理。
网站导航 | 公司简介 | 法律声明 | 诚聘英才 | 征稿启事 | 联系我们 | 广告服务 | 举报专区
欢迎访问证券之星!请点此与我们联系 版权所有: Copyright © 1996-