OpenAI附议Ilya预锻真金不怕火闭幕！“但Scaling Law还没死”

在Ilya探讨完「预锻真金不怕火行将闭幕」之后，对于Scaling Law的盘问再次激励热议。

在最新研讨会上，OpenAI大神，o1中枢成员Noam Brown暗意，o1代表的是一种全新的，以推理筹谋为代表的Scaling。

网友们暗意：好好好，Scaling Law还莫得死！Scaling Law还在继续。

演讲实录：Is Scaling is All you Need？

Noam Brown，OpenAI大神一枚，客岁7月从Meta下野，曾开垦首个在策略游戏中达到东说念主类水平的AI，此前在游戏AI领域谋划研究后果曾登上Science封面。

如今在OpenAI英敢于多步推理、自我博弈以及多智能体AI谋划的研究。

此前在o1发布的直播时候露过面。

据网友@swyx共享，Noam Brown领先谈到Scaling Law的昔时演进。

AI从2019年到咫尺，GPT-2演进到GPT-4，这难以置信的成立王人来自于数据和算力规模的扩大。

但大谈话模子仍然无法科罚像井字棋这么的简便问题，

那么随之而来的一个问题是，Is Scaling is All you Need？咱们真的还需要再消费更高的资底本锻真金不怕火更好的AI吗？

这当中被低估的其实是推理的资本，它在昔时的推广（Scaling）要少得多。o1带来了Scaling的新的维度。

随后，他追忆了昔时模子展现出来的访佛法例。

比如在2012年-2015年间扑克模子的推广。模子规模每年推广5倍，但生效不大。但依照「东说念主类需要更长技术想考更难问题」这一视力，加多了模子20 秒的搜索技术，效果约莫极度于将模子规模扩大了100000倍。

还有在棋牌中推广推理的历史，backgammon- 外洋象棋 - 围棋。AlphaGo Zero在原始NN基础上达成了从3000到5200 Elo增长，王人是因为test-time search（推理技术搜索）。

此外，他还援用了Andy L.Jones对于Scaling Laws of games的图表——不错用10倍的预锻真金不怕火筹谋量调换15倍的测试技术筹谋量。

如若游戏限定推广到 LLMs，是不是也会是如斯？

那么对于o1接下来，会有更高的推理筹谋才智。在昔时 5 年里，LLM主张等于聊天机器东说念主。那么他们不错作念得更好”

终末他还打了个小告白，咫尺他的多智能体团队还在招东说念主ing。

网友批驳

如若再聚积昨天Ilya谈到「预锻真金不怕火时期行将闭幕」。那么对于阛阓来说，这一波可不是利好英伟达了（Doge）。

不外也有从业者站出来反对他的看法：推理技术筹谋（Inference Time Computation）并不崭新，底本还想把它去掉，但出于需要又让它精采了。

他还阅兵说，内部对于诸多游戏技术设施是造作的，许多游戏（包括外洋象棋和围棋）一初始王人只专注于推理技术筹谋。但其后大家王人倾向于离线学习策略，这么省去了无数的在线筹谋技术。

因此，减少面向用户的推理技术筹谋是一个三想尔后行的袭取，致使导致该领域初始改动对筹谋复杂性有计划的式样。

这一趋势在 LLMs 中也取得了延续——统共的要点王人放在预锻真金不怕火上，因此推理技术的筹谋量不错忽略不计。这么对末端用户来说资本极低，致使不错在土产货的边际缔造上完成。

Ilya在谈到畴昔超等智能的畅想时，也说起了刻下推理的不可斟酌性：

推理越多，系统变得越不可斟酌，这少量在一些复杂任务中涌现得尤为卓著。

他还提到：

咫尺的AI系统还不可竟然相识和推理，诚然它们能模拟东说念主类的直观，但畴昔的AI将会在推理和决议方面展现出愈加不可斟酌的才智。

不外大模子到底会朝着哪些才智上推广，这个还得看这些科学家们捏续探索。

One More Thing

底本啊，从现场repo来看，这底本是个对于数学AI的研讨会，硬生生地被他弄成了盘问大模子推理Scaling Law。

现场亦然东说念主许多，外传门口王人还有20多个东说念主在列队恭候。天然也有部分原因是房间太小了。

著述起头：量子位，原文标题：《OpenAI附议Ilya预锻真金不怕火闭幕！“但Scaling Law还没死”》

风险领导及免责条件 阛阓有风险，投资需严慎。本文不组成个东说念主投资提议，也未有计划到个别用户至极的投资狡计、财务景色或需要。用户应试虑本文中的任何意见、不雅点或论断是否相宜其特定景色。据此投资，职守自诩。