Scaling Law递减，堆砌数据、算力拼AI模子已行欠亨？大厂正在找长进

作家：赵雨荷

开始：硬AI

迈向超等智能系统的AI施行室正壮健到，可能需要转换谈路。分析指出，比较传统的堆砌打算智力和数据的磨砺形状，被称为“测试时打算”（Test-time Compute）的新形状更有助于提高AI模子的推断智力。

据TechCrunch报谈，多位AI投资者、独创东谈主和CEO高傲，频年来AI施行室用于普及模子智力的“AI推广定律”（AI scaling laws）正高傲出旯旮收益递减的迹象。他们的不雅点与近期的叙述一致，这些叙述标明顶尖AI施行室中的模子普及速率已不如以往。

当今，果然统共东谈主齐运转承认，仅通过加多打算智力和数据量来预磨砺大型说话模子，并指望其造成某种全知万能模子的谈路，是行欠亨的。这也许听起来了然于目，但推广定律曾是修复ChatGPT、普及其性能的关键要素，也可能影响了好多CEO勇猛推断通用东谈主工智能（AGI）将在几年内到来的信心。

OpenAI和Safe Super Intelligence的长入独创东谈主Ilya Sutskever上周对媒体暗示，“统共东谈主齐在寻找推广AI模子的新神色”。本月早些时候，Andreessen Horowitz长入独创东谈主Marc Andreessen在一档播客中提到，刻下AI模子似乎齐趋向于智力的上限。

不外，有AI领域的CEO、扣问东谈主员和投资者依然运转声称，行业正进入推广定律的新纪元：“测试时打算”（Test-time Compute）被以为是一项额外有远景的新形状，大约让AI模子在恢复问题前，有更多时辰和打算资源进行“想考”。

“咱们正看到一种新推广定律的出现，”微软CEO纳德拉（Satya Nadella）周二在微软Ignite大会上说，他指的是相沿OpenAI o1模子的测试时打算扣问。

此外，Andreessen Horowitz合鞭策谈主、Mistral的董事会成员、曾是Anthropic天神投资东谈主的Anjney Midha在领受媒体采访时暗示，“咱们当今正处于推广定律的第二纪元，也就是测试时推广。”

AI推广定律失效？

自2020年以来，OpenAI、谷歌、Meta和Anthropic等公司取得的AI模子快速跨越，主要归功于一个关键判断：在AI模子的预磨砺阶段使用更多的打算资源和数据。

在这一阶段，AI通过分析多数数据聚拢的模式来识别和存储信息。当扣问东谈主员为机器学习系统提供弥散的资源时，模子频频在推断下一个词或短语方面发扬更好。

第一代AI推广定律让工程师通过加多GPU的数目和数据量来普及模子性能。尽管这种形状可能依然达到瓶颈，但它依然改变了通盘行业的邦畿。果然每家大型科技公司齐押注AI，而为这些公司提供GPU的英伟达如今已成为宇宙市值最高的上市公司。

但是，这些投资是基于推宽敞约握续发展的预期而作念出的。毕竟，推广定律并不是当然、物理、数学或政府制定的法律，它并未被任何东谈主或事物保证会以交流的速率不绝下去。即等于驰名的摩尔定律，也在运行了较永劫辰后镇定失效。

Anyscale长入独创东谈主、前CEO Robert Nishihara在对媒体暗示，

“如若你只干与更多的打算资源和数据，模子越作念越大，讲述会镇定递减，要督察推广定律的运行并保握跨越的速率，咱们需要新想路。”

“当你依然阅读了100万条Yelp驳倒，再读更多驳倒可能不会带来太大增益，但那是预磨砺。对于后磨砺的形状还相对不锻练，还有很大的修订空间。”

尽管如斯，AI模子修复者可能仍会不绝追求更大的打算集群和更大的数据集进行预磨砺，而这些形状可能仍有一定的普及空间。举例，马斯克最近完成了一台领有10万GPU的超等打算机Colossus，用于磨砺xAI的下一代模子。

但趋势标明，仅通过现存计策使用更多GPU无法杀青指数级增长，因此新的形状运转得回更多慈祥。

测试时打算：AI行业的下一大赌注

当OpenAI发布其o1模子的预览版时，就晓喻这属于孤独于GPT的新系列模子。

OpenAI主要通过传统的推广定律（即在预磨砺阶段使用更多数据和更多打算智力）修订了其GPT模子。但据称，这种形状当今的增益已不再权臣。o1模子框架依赖于一个新见解——测试时打算（test-time compute），之是以这么定名，是因为打算资源是在继承到指示后（而不是之前）才使用的。分析以为，这种本事在神经汇集配景下的探索还未几，但依然发扬出后劲。

一些东谈主依然将测试时打算视为推广AI系统的下一种形状。

Andreessen Horowitz的Midha暗示，

好多施行标明，即使“预磨砺”的推广定律可能正在放缓，“测试时”推广定律——即在推理经由中为模子提供更多打算资源——仍然不错权臣普及性能。

驰名AI扣问员Yoshua Bengio则暗示，

“OpenAI的新‘o系列’进一步推动了[连贯想维]，需要更多打算资源，也因此需要更多动力，咱们因此看到了一种新的打算推广体式：不单是是更多的磨砺数据和更大的模子，还包括破耗更多时辰‘想考’谜底。”

举例，在10到30秒的时辰里，OpenAI的o1模子会屡次再行指示我方，将一个复杂的问题领悟为一系列更小的问题。现厚爱OpenAI o1职责的Noam Brown尝试修复不错打败东谈主类的扑克AI系统，在最近的一次演讲中，Brown暗示，他留意到东谈主类扑克玩家在出牌前会花时辰谈判不同的情景。2017年，他引入了一种形状，让模子在出牌前“想考”30秒。在此时期，AI会模拟不同的子游戏，推演不同场景可能的着力以信服最好步履。最终，这种AI的推断发扬比他过去的形状普及了7倍。

需要留意的是，Brown在2017年的扣问并未使用神经汇集，因为其时它们尚未普及。但是，上周麻省理工学院的扣问东谈主员发表了一篇论文，标明测试时打算权臣提高了AI模子在推理任务上的发扬。

面前尚不了了测试时打算若何大限制实施。这可能意味着AI系统在料理贫窭时需要额外长的“想考”时辰，可能是数小时致使数天。另一种形状可能是让AI模子同期在好多芯片上“想考”问题。

Midha暗示，如若测试时打算成为推广AI系统的下一步，对专注于高速推理的AI芯片的需求可能会大幅加多，这对Groq或Cerebras等专注于快速AI推理芯片的初创公司来说是好音问。如若找到谜底与磨砺模子不异需要多数打算资源，那么AI领域的“挖掘器具”提供商将再次受益。

不论AI扣问的前沿情况若何，用户可能在一段时辰内感受不到这些变化的影响。不外，AI通达商将不遗余力地不绝快速推出更大、更智能、更快的模子，这意味着多家率先的科技公司可能会调换其推动AI规模的形状。

本文来自微信公众号“硬AI”，慈祥更多AI前沿资讯请移步这里

风险指示及免责条目 商场有风险，投资需严慎。本文不组成个东谈主投资提议，也未谈判到个别用户罕见的投资目的、财务情景或需要。用户应试虑本文中的任何意见、不雅点或论断是否稳健其特定情景。据此投资，包袱自得。