ChatGPT到底需要多少算力？

2月15日，ChatGPT概念再度大涨，其中算力方向关注度最高，神州数码、浪潮信息、华胜天成等多个服务器产业链公司涨停。

据中信建投研报数据，此前用于AI训练的算力增长符合摩尔定律，大约每20个月翻一番；深度学习的出现加速了性能的扩展，用于AI训练的算力大约每6个月翻一番；而目前大规模模型出现，其训练算力是原来的10到100倍。

财通证券分析称，算力的瓶颈其实并不体现在算力的绝对大小，而在于实现该算力的成本，那Chatgpt到底需要花多少钱？

Chatgpt成本主要可以拆分成训练和推理两个阶段。

据海通证券研报，训练阶段成本方面，援引Open AI测算，自2012年起，全球头部AI模型训练算力需求每3-4个月翻一番，每年头部训练模型所需算力增长幅度高达10倍。

而ChatGPT训练阶段总算力消耗约为3640 PF-days（即1PetaFLOP/s效率跑3640天）。据普超资本微信公众号，GPT-3训练成本预计在500万美元/次。

国信证券测算称，训练阶段每个Token的训练成本约为6N（推理成本为2N）。

由于每年训练成本都在快速下降，此处引用OneFlow的测算结果，在公有云中训练OPEN AI的GPT-3模型需花费训练成本约140万美元，Google的PaLM模型需花费训练成本约1120万美元。

推理成本方面，国信证券称为满足当前用户访问产生的推理成本，自建IDC初始投入约在4亿美元，租用云服务每日成本约28万美元。

根据Similarweb的数据，23年1月份当前ChatGPT日活约1300万人，每人平均1000字左右的问题，因此合计产生约130亿字（173.3亿个token）。

假设24小时平均分配任务，需要的A100 GPU数量为173.3亿*2*3000亿/（20%*24小时*3600秒）=601.75 PetaFLOP/S。

由于访问流量存在峰值，假定访问峰值是一天均值的5倍，因此共需要602台DGX A100服务器能够满足当前的访问量。

运营阶段，海通证券预计ChatGPT年GPU/CPU需求空间分别在7000万美元及778万美元。

根据CCTV4微信公众号，截至23年1月，ChatGPT积累了1亿月活跃用户。假设后续稳定运营时期，总访问量维持在2000万次左右，咨询量以8个问题计算，总咨询量在1.6亿次。

单个字大约在A100 GPU上消耗350ms，因此总GPU运行小时约为466667小时。因此，对GPU/CPU单日同时运转的耗用量分别为19444/4861个。

对应现有价格及替换周期假设，我们预计运营阶段，ChatGPT年GPU/CPU需求空间分别在7000万美元及778万美元。

国信证券称，当前ChatGPT模型无法访问外部知识，仅依靠模型参数进行计算；如果将ChatGPT与搜索功能结合，如Bing等搜索引擎，其对算力资源的消耗将成数倍增长。

业内人士“小熊跑的快”最新文章测算称，对于未来GPT-4的预测，主要基于两个情景的预测：

1）参数百倍增长的需求——1个是GPT-4，参数的100倍增长。

假设到GPT-4，100w亿个参数，在不使用H100或者优化架构的假设下，那单日访问算力要求就是6万台A100，多少钱呢？仅给英伟达的算力投入就是120亿美金。

如果用H100，援引黄仁勋“在AI任务上，H100的FP8精度算力是A100上FP16的六倍”；单价假设是A100服务器的1.7倍（单片H100，4W美金，单片A1002.4万美金），即33.8w美金，为了维持GPT-4的运行，单日也需要1万台H100服务器，一次投入成本33.8亿美金。

2）访问量的百倍增长需求。

现在一切的假设都是基于1300万日活，一个人1000字的问题（10个问题，一个100字）进行假设，按照它的线性曲线，突破到日活1亿，如果应用终端好，突破到10亿也很快，它同样面临百倍算力提升的需求。

太平样证券指出，ChatGPT用户数快速增长，从应用到算力，将点燃基础设施需求。

民生证券指出，ChatGPT引领AI发展大潮，背后需要算力的快速提升，算力行业的发展已经是大势所趋，AI服务器、AI芯片等领域将迎来重要的发展机遇。

据太平洋证券研报，AI服务器方面，根据IDC最新发布的《中国加速计算市场（2021年下半年）跟踪报告》，2021年全年中国AI服务器市场规模达350.3亿元，同比增长68.6%。

市场格局方面，浪潮信息、宁畅、新华三、华为、安擎位居前五，占据了82.6%的市场份额。其中浪潮AI服务器市场占有率达52.4%，连续5年(2017–2021年）市场份额超过50%。

此外，招商证券称ChatGPT未来3年或将拉动千亿级ICT硬件投资需求。

其根据商汤科技官网，2022年1月24日商汤AIDC启动运营，该项目占地面积约5.8万平方米，总投资约56亿元，项目全部建成后AI计算峰值速度将达到3740Pflops。

以商汤AIDC为计算参考，每新建1Eflops算力需要投资15亿元，其中ICT硬件投资占比72%。则活跃人数每增加1亿人需要新增投资203亿元，其中ICT硬件投资146亿元。

假设未来有6家科技巨头能够在未来3年内各自拥有一款活跃人数2亿的ChatGPT类应用，则未来3年ICT硬件投资将新增需求1755亿元。若考虑到AIGC技术向音频、视频等方向蔓延，算力需求提升幅度将更为显著。