(原标题:H200问世,芯片战争告一段落?)
昨晚,英伟达宣布推出 NVIDIA HGX™ H200,为全球领先的 AI 计算平台灌输强大动力。
该平台基于 NVIDIA Hopper™ 架构,配备H200 Tensor Core GPU和先进的显存,因此可以为生成式AI和高性能计算工作负载处理海量数据。
此次在计算核心上的升级力度虽小,但显存带宽速率的增长,帮助H200实现了更快的数据传输,减少复杂任务的处理瓶颈,其中HBM3e内存芯片起到了关键作用。
作为H100 GPU的继任者,也是该公司首款使用 HBM3e 内存的芯片,拥有高达141GB的显存。借助HBM3e,与A100相比,H200的容量几乎翻了一番,带宽也增加了2.4倍。
与H100相比,H200的带宽则从3.35TB/s增加到了4.8TB/s,带来了进一步的性能飞跃,用跑模型来反映其进步,让Llama2 70B在两款芯片上运作,H200的推理速度比前任提升了一倍。
并且两款芯片在使用上是互相兼容,这意味着建立在H100上训练的大语言模型可以无缝衔接地切换到H200上加速。用H200与英伟达Grace CPU搭配使用组成了性能更加强劲的GH200 Grace Hopper超级芯片——专为大型HPC和AI应用而设计的计算模块。
(标题:英伟达H200、H100和A100性能对比;来源:Anadtech)
此外,H200的推理能耗相比前代直接腰斩,能大幅降低用户的使用成本,可谓买得多省得多。软件升级预留了更大的空间,未来预计还会为H200带来额外的性能提升。
英伟达H200芯片将于2024年第二季度开始向全球系统制造商和云服务提供商供货。
在英伟达官方公布的产品路线图当中,在明后年会分别推出B100和X200两款芯片,把过去数据中心两年一更新的节奏打破。
性能更是举目望不到尽头。以推理1750亿参数的GPT-3为例,今年刚刚发布的H100是前代A100性能的11倍,H200比H100有着60%的提升。
目前除了主导大模型界的Open AI与算力领先的英伟达芯片有着深度绑定,科技大厂亚马逊的AWS、微软Azure,谷歌云无疑都将继续拥抱H200。
尽管高昂的价格已经让他们着手加速芯片自研,占尽先发优势的英伟达再次堵住了后来居上的路。
在凭借超高算力加速效果成熟的开发生态绑定后,对手很难简单靠时间追上这家芯片巨头,或者等你终于开发出一款训练模型的芯片时,大模型可能都迭代好几代了,这些巨头可等不起。
AI芯片竞赛中AMD、英特尔也不遑多让,今年6月AMD发布的Instinct MI300X将配备182GB的HBM3和5.2TB/S的显存带宽,容量和带宽相比H200都不逊色。英特尔明年推出的第三代Gaudi AI芯片也将从上一代的96GB HBM2e增加到144GB。
H200能卖什么价?
据美国金融机构Raymond James透露,H100芯片的成本仅为3320美元,但英伟达对其客户的批量价格却高达2.5万至4万美元,利润率高达10倍。
GPT-4大概需要在10000-25000块A100上训练,按照马斯克的说法GPT-5可能需要30000-50000块H100。
有可能成为首个通用人工智能雏形的GPT-5啥时候问世还不知道,但老黄已经准备好了铲子。
Sam Altman又回归了科技圈顶流,风头盖过了马斯克盖茨等人。先是以一场发布会扼杀了众多尚在襁褓里的AI创业项目,Open AI投资的科技硬件初创公司Humane继而发布了一款内嵌GPT的AI硬件——AI Pin。
这款AI Pin最早曾在巴黎时装周的T台上展示,外形小巧美观,可以通过磁吸的方式适合佩戴在身上。
除了内置GPT,从外观上可以发现这款硬件并没有屏幕,如果需要阅读信息,可以通过激光投影系统,拿手作屏幕,利用手势交互识别来实现天气、时间以及日期的切换。
这款AI硬件的特别之处,在于为我们和智能硬件的交互形式提供了新的思路,生成式AI对多模态环境的识别使其能够融入到我们周围的环境中,好比一个能听从指令和实时反馈的“助手”陪伴在我们身边。
以前智能手机作为人体的延伸存在着,我们大部分时间都离不开手机,也逐渐被束缚在六七寸的小盒子里,而且我们并未完全开放所有的输入渠道,获取信息的方式主要还是以阅读为主,听力为辅。
值得一提的是,开发团队大部分来自苹果前员工,创始人Chaudhri更是初代iPhone的设计团队成员。
不难解释,整体外形看上去充满了苹果的味道,可以说是Apple Watch的“胸针版”,由计算机核心和电池两部分组成,前半部分机身有一块触摸板,可以通过单指、双指点击来激活设备。顶部还有一个“信任灯”,当信任灯闪烁时会告诉我们正在收集数据。
官方特意强调,AI Pin的定位并非一款可穿戴配件,不依赖与智能手机形成配对的形式来辅助使用,它配置了独立的操作系统Cosmos,更像是ChatGPT的插件系统,按需来调用各种AI。
当然这背后离不开Open AI的加持,如今Sam Altman计划带领公司更进一步。
Altman 在接受《金融时报》采访时表示,“我们的愿景是打造AGI,确保其安全并从中受益。”
为实现这一终极目标,OpenAI 计划从微软那里获得进一步的资金支持,公司 CEO Sam Altman 正积极推进创建与人类一样智能的计算机软件 —— 通用人工智能(AGI)的愿景。
据知情人士透露,作为两家公司长期协议的一部分,微软今年早些时候宣布再向OpenAI投资100亿美元。
被问及微软是否会进一步投资的时候,Altman回答道“我希望如此。从这里到AGI之间还有很长的路要走,需要构建大量的算力,培训费用也非常庞大。”
Altman还表示,公司正在开发下一代 AI 模型GPT-5,不过他没有承诺发布时间表。GPT-5 将比其上一代更加复杂,但从技术上很难准确预测该模型可能具有哪些新功能和技能。