马斯克曝Grok-2即将上线，将改进数据训练中的人体蜈蚣效应！
any
发布于 2024-7-5 14:40:36
阅读 327
查看全部
7月1日，X平台博主Beff-e /acc发帖表示，“当下的模型在彼此的数据上进行训练，如同人体蜈蚣效应一样”。很快，马斯克回复其称，“很遗憾，事实的确如此，从互联网训练数据中除去大语言模型需要大量的工作”。
在回帖中，马斯克直接爆料xAI的大语言模型Grok 2将于8月推出。并且在数据训练方面将有大跨步：
“会大幅改进现阶段普遍存在的「人体蜈蚣效应」问题，减少LLM训练数据的重叠、对数据进行更多的整理。”
若Grok-2真的能够打破这一模式，这对于AI来说是一个巨大的进步。
马克思还透露Grok-3会在今年年底启动，将投入40亿美元购买10万个H100 GPU进行训练，表明在计算资源上的重大投资。
“经过10万个（Nvidia H100芯片）训练的Grok 3年底应该会非常特别。”马斯克发帖说，暗示AI能力的飞跃，可能会重新定义聊天机器人的格局。
H100 GPU作为AI的关键组件、硅谷的热门商品，据估计每块成本在3万到4万美元之间，按照市场价格进行估算Grok 3正在价值50亿美元左右的人工智能芯片上接受训练。当然，不排除马克思的十位数订单会拿到团购价。
不过目前还不清楚这些芯片是否是xAI直接购买的，从云服务提供商那里租用GPU计算也是可能的。毕竟GPU租赁是一个非常具有性价比的选择。
算力云（算力X）励志做“最具性价比”的算力租用平台，为用户提供了灵活的租期选择，短期用户可选择按分钟计费的模式，用多少扣多少，也为长期有算力需求的用户推出了非常划算的「包月套餐」，在原有的低价基础上再进行折扣。
目前平台可提供GPU云主机，CPU云主机等算力产品的租赁服务，RTX3090、RTX4090等热门显卡均已上架，可用于AI训练推理、AI绘画、深度学习及游戏等。
The Information在5月份报道称，马斯克的xAI初创公司正在与甲骨文公司洽谈，准备斥资100亿美元租用云服务器。而且近几年xAI确实也购入了大量的H100 GPU。
可想而知，基于10万个GPU训练的Grok 3将比Grok 2更上一层楼。
不过，10万个GPU对于科技巨头们来说，并不是最高的。Mark Zuckerber今年1月表示，到2024年底，Meta将购买约35万个英伟达H100 GPU。加上已拥有的其他GPU，Meta已拥有约60万个芯片。这么一算，需要花费约180亿美元打造AI芯片。
科技巨头们的相继发力也证明了：AI的核心是掌握算力，要想掌握数据，就得掌握运行数据芯片。
以上是算力租赁平台-算力云本期的全部内容，欢迎评论区留言。
|
|
|
|
|
|
|
|
|
