乐竟体育官网入口奥特曼首揭GPT-45内幕一个bug搞崩10万GPU！5人即可重训T-4

2025-04-23 13:39:27

　　乐竟体育官网入口【新智元导读】GPT-4.5比GPT-4聪明10倍！其背后的研发故事却鲜为人知。奥特曼携OpenAI团队首次敞开心扉，分享了幕后细节。从海量算力引发的「基础设施危机」，到「torch.sum bug」带来的意外突破，团队讲述了在挑战中实现智能飞跃。

　　今天凌晨，奥特曼与三位核心研究员在线开启播客对谈，首次揭开了GPT-4.5从愿景到现实的史诗级突破。

　　早在两年前，OpenAI团队定下了一个大胆的目标，打造一款比GPT-4聪明10倍的模型。

　　如今，OpenAI在2月底正式交卷，GPT-4.5情商堪称所有模型最强的，并再次Scaling无监督学习的边界。

　　这款「超级模型」究竟如何创造智能奇迹，全部浓缩在了这45分钟的圆桌对谈中。

　　GPT-4.5比GPT-4聪明10倍，研发用时2年，拥有上一代不具备的微妙「魔力」

　　训练GPT-4.5为OpenAI提供了宝贵的技术经验；现只需要大约5名员工，就可以从头开始训练GPT-4

　　奥特曼开篇说，通常他们开这种会都是为了发布新产品，不过这次打算换个玩法，聊聊GPT-4.5开发背后的故事。

　　GPT-4.5推出后，用户对它的兴趣特别大，这大大超出了研发团队的预期。

　　「一大堆人、一大把时间，还有海量的计算资源。」主要负责预训练数据的Alex回答说。

　　Alex表示，他们光是准备阶段就花了很多心思，至于正式的训练，「本身就是个超级大的工程」。

　　在实际训练中，研究团队经常得做选择：是推迟发布，等更多问题解决；还是早点上线，边跑边解决问题。

　　他们谦虚地认为，对于效率更高的算法及以如何更好地利用现有数据，他们还只是「略知皮毛」。

　　在不久之前，我们还在受限于算力。但从GPT-4.5开始，我们更多地是处在一个受限于数据的环境里了。

　　现在，他们觉得自己达到了这个目标——至少在投入的有效算力下，GPT-4.5实现了比GPT-4聪明10倍的效果。

　　最容易出问题的就是算力基础设施，由于他们的数据量实在是太大了，有些问题连硬件制造商都没遇见过。

　　网络架构、单个加速器，这些都会出问题。「我们的工作就是尽量把这些变量的波动降到最低。」

　　在训练GPT-4.5时，OpenAI投入了几百人的努力，耗费了大量的时间，几乎是all in。

　　但如果他们现在重新训练一个GPT-4水平的模型，大概只需要5到10个人就可以搞定。

　　专注于数据效率和算法的Dan说，「我觉得做任何新东西都难。但是当你知道别人已经做成过某件事，难度就会大大降低」。

　　「因为最难的部分是下定决心去做一件事。知道某件事是可行的，简直就像开了挂，瞬间就容易多了。」

　　Dan接着表示，如果想要将训练规模再扩大10倍甚至是100倍，数据就会成为瓶颈，这时候就需要一些算法上的创新，让模型能用更多的算力从同样的数据里学到更多东西。

　　那一刻，整个团队的能量都不一样了，大家都特别兴奋，动力满满，要把最后阶段冲刺完成。

　　在训练过程中遇到bug是常事，通常是找一下到底是硬件故障、数据损坏，还是机器学习相关的Bug。

　　大家没办法就在一起讨论研究这些问题到底是由不同的Bug引起的，还是同一个Bug导致的。

　　就是个简单的「torch.sum」Bug，来自上游的PyTorch库，大家都觉得太不可思议了。

　　为了庆祝，他们还把Slack频道从「多Bug理论」改成了「单Bug理论」，那场面可热闹了乐竟体育官网入口。

　　这个Bug的触发频率特别低，可能每100步、1000步才出一次问题，特别容易被忽略。

　　几十年来乐竟体育官网入口，深度学习的核心一直是提升算力效率。而且，每一次小的改进，都能带来显著的叠加效应。

　　世界上各地不同的人发现一个提升10%效率的技巧，另一个提出提升20%的优化，这些看似微小的进步累积起来，就能彻底改变模型的表现。

　　过去，因算力受限，数据效率的研究显得并不划算。但如今乐竟体育官网入口，数据效率每一次突破都将可能成为AI发展的临界点。

　　他们还认为更好的预训练和无监督学习能全面提升模型的智能，帮助模型更好地泛化，这一点跟现在模型的推理能力很是互补乐竟体育官网入口。

　　预训练本质上是在压缩数据。压缩数据意味着发现不同事物之间的联系、类比和抽象。而推理则针对某个具体问题，需要一种谨慎思考的技巧。

　　这种谨慎思考能解锁很多不同领域的问题，但预训练在跨领域压缩数据时，学到的是一种更抽象的东西。

　　可以说，理想的智能形态就是所谓的「所罗门诺夫归纳」（Solomonov induction）。

　　简单来说，模型更倾向于简洁的解释。与此同时，它严格遵循贝叶斯原理，把所有可能性都记住，随时根据新信息更新自己的回答。

　　而他们现在做的预训练——或者说理解预训练的一个视角——就是在做这种「压缩」。

　　试图找到一个最短的程序（或者模型），来解释所有的数据，以此作为对理想智能的一种近似乐竟体育官网入口。

　　在播客的最后，奥特曼表示，训练GPT-4.5的整个过程，花了无数的人力、时间和金钱，其实可以看成是一场实验。

　　结果他们发现，Scaling Law不仅有效，而且还可能会持续很长时间。

　　奥特曼说他接受Scaling Law就像接受量子力学一样，还不明白为什么Scaling Law会是一种宇宙的规律。

　　对此Dan试着解释说，模型数据压缩得越多，智能就越高，这个有很强的哲学依据。

　　他自己比较喜欢的一个解释是，世界上数据的「关键概念」是稀疏的，符合幂律分布（power law）。

　　所以现实是，如果你想抓到「尾巴」里下一个重要的东西，可能得把算力和数据量翻个十倍。

　　原标题：《奥特曼首揭GPT-4.5内幕，一个bug搞崩10万GPU！5人即可重训GPT-4》

　　本文为澎湃号作者或机构在澎湃新闻上传并发布，仅代表该作者或机构观点，不代表澎湃新闻的观点或立场，澎湃新闻仅提供信息发布平台。申请澎湃号请用电脑访问。