关注我们
QRcode 邮件联系 新浪微博
首页 > 资讯 » 正文

马斯克:下一代大模型Grok 3将需要10万块英伟达H100

 小尚

特斯拉首席执行官埃隆·马斯克最近在接受采访时,做出了关于通用人工智能(AGI)发展的大胆预言。

他认为:

AGI有可能在未来2年实现超越人类智能的突破,但这一进程需要大量的GPU以及电力消耗。

据马斯克透露,旗下的人工智能公司xAI目前正在对第二代大语言模型Grok 2进行训练,预计将在5月完成下一训练阶段。Grok 2的训练已经耗费了约2万块英伟达H100 GPU。未来进阶版本Grok 3的开发可能需要高达10万块英伟达H100 GPU。

马斯克指出:

当前AI技术的发展面临两大难题:一是高端GPU,如英伟达H100的供应短缺,要快速获得10万块GPU并非易事;二是巨大的电力需求。一台英伟达H100 GPU在全负荷工作时约消耗700瓦电力,因此10万块这样的GPU将消耗高达70兆瓦的电力。若考虑到服务器和冷却系统的需求,一个配备有10万块英伟达H100处理器的数据中心的电力消耗大概会达到100兆瓦,相当于一个小城市的用电量。

这两大限制因素凸显了扩展AI技术以满足不断增长的计算需求所面临的挑战。

尽管如此,计算和存储技术的进步将使得未来几年能够训练更为庞大的大型语言模型成为可能。英伟达在科技盛会GTC 2024上展示的Blackwell B200 GPU平台,旨在支持可扩展至数万亿参数的大语言模型,预示着AGI发展的关键一步。

马斯克预计:

一种比最聪明的人类还智能的人工智能,在未来一至两年内就会诞生。如果将AGI定义为智能超过最聪明的人类,我认为它很可能在明年,或两年内实现。

本文标签:马斯克
马云内部发声:AI时代刚刚到来,我们正当其时
EIA:2024年全球石油需求增长,供应紧张加剧
埃隆·马斯克刚刚给Nvidia投资者10万个欢呼理由埃隆·马斯克刚刚给Nvidia投资者10万个欢呼马斯克在特斯拉第一季度财报电话会议上提了人形机器人马斯克在特斯拉第一季度财报电话会议上提了美众议院通过涉TikTok新法案 马斯克公开表态:反对!美众议院通过涉TikTok新法案 马斯克公开表雷军:特斯拉是划时代的伟大公司 马斯克非常了不起雷军:特斯拉是划时代的伟大公司 马斯克非常