昨日清晨4点20,马斯克发推文声称,自己刚刚启动了世界上最强的AI练习集群。
这个超算中心坐落美国田纳西州,孟菲斯,运用了100,000个(不必数了!是10万个!)英伟达H100液冷GPU,经过单一RDMA网络连接 。
RDMA(Remote Direct Memory Access)即长途直接内存拜访,它能够把数据直接从一台计算机传输到另一台计算机,无需两边操作体系的介入。单一RDMA打造了高吞吐、低推迟的网络通信,特别适合在大规划并行计算机集群中运用。
H100是英伟达专为处理大型言语模型数据而开发的芯片,每块芯片价格大概在3万美元左右,也便是说xAI这次建的超算中心仅是芯片的价值就高达30亿美元。
此前,马斯克的xAI一向不温不火,xAI推出的人工智能Grok也经常被咱们吐槽不好用,但以现在的情况来看,大模型练习便是一场算力游戏,再往下深究是动力游戏,而马斯克不愿意再等了,直接把料堆满。
他表明,改善后的大模型(不出意外的线)会在本年年底完结,到时它将会是世界上最强壮的AI。
2014年的马斯克:咱们正在呼唤AI恶魔;2024年的马斯克:我要自己呼唤AI恶魔!!|X@JoshWhiton
其实,英伟达现已推出了新一代的H200芯片和根据Blackwell新架构的B100和B200 GPU,可是更先进的芯片要在本年年底才干出货,并且也不能一下变出几万张来,或许是为了抢在ChatGPT5之前变成全球最强,马斯克这次比平常愈加大干快上。
据福布斯称,本年3月马斯克才在孟菲斯敲定这项协议,之后这座超算基地简直当即开工。为了加快速度,马斯克从甲骨文借了2.4万块H100。
但是如前文所说,现在的大模型练习归根到底是动力游戏,而美国的电网体系适当陈腐,现已有几十年没有见证过大规划增加,特别是AI练习的用电结构和民用商用电很不相同,经常会遽然呈现超高的用电波峰,极大地应战电网的最大负荷。在这种情况下能挤出电力水力资源支撑超算中心的当地所剩无几。
据孟菲斯电力、天然气和水务公司的首席执行官估量,xAI孟菲斯超算集群每小时运用的电力最高会到达150兆瓦,适当于10万户家庭的用电量。
现在孟菲斯工厂有3.2万块GPU在线,估计本年第四季度供电制作将会完结,工厂将会全速运转。
也难怪会有人质疑马斯克在说谎,由于这个电力要求和这个制作速度实在是太难以想象了。
后来质疑马斯克的人抱歉了,他发现马斯克真的办到了|DylanPatel@X
除了用电之外,xAI超算集群估计每天至少需求100万加仑(约379万升)的水来散热。
据福布斯报导,孟菲斯市议会议员Pearl Walker上星期表明:“民众很惧怕。他们忧虑水资源或许呈现一些显着的反常问题,也忧虑动力供应呈现问题。”她说,现在数据中心估计每天需求从孟菲斯的地下蓄水层,也便是该市的首要水源中抽取492万升(该市每天一共耗费大约5.68亿升水)。尽管他们说这仅仅暂时的,但新的灰水工厂的制作方案还没定,孟菲斯的公用事业部分也证明,在处理厂建成运转之前,马斯克的超级计算机将被答应运用地下蓄水层的水。
除了马斯克,OpenAI和微软也在布置更大规划的超算,这台名叫“星际之门”的超算芯片数量会到达百万级,本钱估计高达1150亿美元,方案在2028年推出。
本年四月,OpenAI把微软电网搞溃散了,据微软工程师说,他们其时正在为GPT-6布置10万个H100练习集群,不知道马斯克会不会成为第一个让10万个H100一同作业的人呢?
居民收入跨越式增加,脱贫攻坚获得历史性成果 数说“三农”•75载开展成果
我国村庄文明复兴艺术行走进吉林白山 同期举行第二届我国村庄书画大赛、村庄开展品牌推介活动
在迈向我国式现代化的道路上 我国大众都在干着什么?样都有新变化 家家户户都小康
农视网是我国农业电影电视中心新媒体渠道,三农信息及时传达,农影智造,专业有用
中心农办秘书局 农业乡村部新闻办公室辅导、新闻宣扬官方渠道(威望 及时 聚集)发布信息资讯、报导新闻要务 解读方针行动、回应热门关心 联播各地动态、宣扬经历做法
中心农办秘书局 农业乡村部新闻办公室辅导、新闻宣扬官方渠道(威望 及时 聚集)发布信息资讯、报导新闻要务 解读方针行动、回应热门关心 联播各地动态、宣扬经历做法
中心农办秘书局 农业乡村部新闻办公室辅导、新闻宣扬官方渠道(威望 及时 聚集)发布信息资讯、报导新闻要务 解读方针行动、回应热门关心 联播各地动态、宣扬经历做法