首页
智能设备
数据安全
绿色科技
栏目分类

绿色科技

你的位置:未来探索网 > 绿色科技 > 安全战略再遭质疑!OpenAI罢了AGI筹划团队,专揽下野

安全战略再遭质疑!OpenAI罢了AGI筹划团队,专揽下野

发布日期:2024-11-01 15:22    点击次数:97

安全战略再遭质疑!OpenAI罢了AGI筹划团队,专揽下野

媒体报谈,AI领头羊OpenAI正在罢了其“AGI(通用东谈主工智能)筹划”团队,团队专揽将下野,但愿在外部持续该限度的考虑。

OpenAI的AGI筹划团队崇拜建议公司如何处理越来越刚劲的AI时候,以及咫尺寰宇是否准备好管束这些时候。CNBC报谈,OpenAI的AGI筹划团队崇拜东谈主Miles Brundage在周三通过Substack发布的帖子中晓示了这一音讯,并暗示他将下野。

Brundage暗示,他下野的主要原因是契机老本变得太高,他合计在外部进行考虑会更具影响力,况且他但愿减少偏见。他还暗示,OpenAI及寰宇在AGI筹划方面“尚未准备好”。而Brundage计较创建我方的非渔利组织,或者加入现存的组织,专注于AI战略考虑和倡导。他补充说,

“AI不太可能在莫得共同戮力确保其安全和有意的情况下达到最好状态。”

证据帖子内容,原AGI准备团队的成员将被再行分派到其他团队。

OpenAI发言东谈主向媒体暗示:

“咱们弥散援救Brundage决定在业界以外持续他的战略考虑,并对他所作念的孝敬深表感谢。他全身心进入AI战略独处考虑的计较,让他有契机在更大领域内产生影响,咱们期待从他的职责中学习并看到其影响。在他的新脚色中,咱们治服他将持续栽培行业和政府制定战略的质地。”

本年5月,OpenAI决定罢了其刚刚设置一年的“超等对皆”团队(Superalignment team),该团队专注于AI的永恒风险。

适值公司改选、高层摇荡之际

AGI准备团队的罢了音讯也适值OpenAI董事会可能计较将公司重组为渔利性企业之际。上个月,包括该公司首席时候官Mira Murati、考虑专揽Bob McGrew和考虑副总裁Barret Zoph在内的三位高管晓示同日下野。

本年10月初,OpenAI完成了一轮估值1570亿好意思元的融资,其中包括从多家投资公司和大科技公司筹集的66亿好意思元。公司还取得了一笔40亿好意思元的轮覆信贷额度,使其总流动资金跨越100亿好意思元。公司瞻望本年的收入将达到37亿好意思元,但亏蚀约为50亿好意思元。

本年9月,OpenAI晓示,该公司在5月份设置的“安全与安保委员会”(Safety and Security Committee)将成为一个独处的董事会监督委员会。该委员会最近结果了为期90天的审查,评估了OpenAI的经过和保险步履,并向董事会建议了建议,这些建议还在公司博客中公开采布。

AI安全问题的处理遭质疑

咫尺,考虑OpenAI安全问题以及相关争议的关注度越来越高。本年夏天,OpenAI、谷歌、微软、Meta等公司在生成式AI限度蛮横竞争,咫尺瞻望这一阛阓在畴昔十年内将产生跨越1万亿好意思元的收入。

本年7月,OpenAI将其顶级安全高管之一Aleksander Madry诊疗岗亭,让他专注于AI推理的职责。Madry曾是OpenAI的“AI风险谛视小组”筹划团队崇拜东谈主,该团队的任务是“追踪、评估、预测并匡助防备与前沿AI模子相关的晦气性风险”。

而在6月,别称民主党联邦究诘员致信OpenAI首席奉行官Sam Altman发送信函,询查OpenAI如何应付新出现的安全问题。信中提到:

“咱们但愿了解更多对于OpenAI为试验其在安全方面的公开本心所收受的门径,公司如安在里面评估其对这些本心的发达情况,以及公司如何识别和舒缓网罗安全要挟的特等信息。”

微软于7月捣毁了其在OpenAI董事会的不雅察席位,并对媒体暗示,由于对OpenAI的董事会组成感到自在,微软决定退位。此前,OpenAI董事会经验了一次重组,此次变动导致Altman片晌被奉命,同期也要挟到了微软对OpenAI的广大投资。

但在本年6月,一群现任和前任OpenAI职工发布了一封公开信,抒发了对东谈主工智能行业快速发展的担忧,非常是在短缺有用监督和莫得“吹哨东谈主”保护机制的情况下。信中写谈:

“AI公司有刚劲的财务动机来幸免有用的监督,咱们不治服为此改变的公司惩处结构足以改变近况。”

而在信件发布几天后,一位知情东谈主士向媒体阐明,好意思国联邦买卖委员会(FTC)和法令部正准备对OpenAI、微软和英伟达伸开反驾驭探听,要点关注这些公司的行为。

里面东谈主士月旦:过于追求家具 对AI风险袒露不及

这些职工在6月的信件中还写谈,AI公司领有广大非公开的信息,了解其时候的本事、已收受的安全步履的进度,以及这些时候在不同层面带来的潜在风险。

“咱们也意志到这些时候带来的严重风险,但AI公司咫尺仅对政府有眇小的共享义务,着实莫得义务与公众共享这些信息。咱们不合计AI公司梗概自觉共享这些信息。”

OpenAI于旧年设置的“超等对皆”团队,专注于“科学和时候谋害,以指导和截至比东谈主类更智能的AI系统”。该团队在5月份被罢了,带领东谈主Ilya Sutskever和Jan Leike晓示下野。Leike在X上发帖称,OpenAI的“安全文化和经过,一经让位于光鲜的家具”。

Altman其时在X上暗示,看到Leike离开感到痛心,并承认OpenAI还有许多职责要作念。不久之后,OpenAI聚拢独创东谈主Greg Brockman在X上发表了一份声明,强调公司一经“提高了对AGI风险和机遇的领路,以便寰宇梗概更好地为此作念好准备”。

Leike其时在X上写谈:“我加入OpenAI,是因为我合计OpenAI是寰宇上进行这类考虑的最好时局。”可是,他暗示我方与公司带领层在中枢优先事项上存在不合,最终不得不分谈扬镳。Leike合计,公司应该更多地关注安全、监控、风险应付职责以及对社会的影响。

他暗示:

“构建比东谈主类更聪慧的机器本体上是一项危急的职责,OpenAI正在为全东谈主类肩负浩瀚的包袱。但在以前几年中,安全文化和经过一经让位于光鲜的家具。”AI教父:Altman更热心利润,而不是安全

质疑OpenAI安全战略的不仅仅政府和里面东谈主士。华尔街见闻此前著述称,2024诺贝尔物理学奖取得者、“AI教父”Geoffrey Hinton在获奖后接受多伦多大学校长Meric Gertler采访时暗示,Altman更热心利润,而不是安全,AI时候若是不加以截至可能会带来晦气性的结果。马斯克此前也暗示,不但愿寰宇上最刚劲的AI被不值得相信的东谈主截至。

算作“AI教父”,Hinton最广为东谈主知的学生之一是前OpenAI聚拢独创东谈主兼首席科学家Ilya Sutskever,他于旧年11月带领公司董事会革职了Altman,但随后又马上再行聘请Altman成为公司CEO。Hinton暗示:

“我的学生之一,Ilya Sutskever曾是OpenAI的首席科学家。跟着时刻的推移,事实解释,Altman更热心利润,而不是安全。”

“我非常运道,有许多非常聪慧的学生,他们比我优秀得多。他们其后都作念了伟大的事情。我非常为我的一个学生革职了Sam Altman而感到自爱。”

连年来,Hinton一直在劝诫,若是不加以截至,AI系统可能会带来晦气性的结果。

事实上,不啻是Hinton,越来越的东谈主也开动抒发对Altman行为的动怒。近日,马斯克也暗示,他“不但愿寰宇上最刚劲的AI被不值得相信的东谈主截至。”

马斯克在接受媒体东谈主Tucker Carlson采访时暗示,他不信任OpenAI或Sam Altman。

“OpenAI底本是一个开源公司,但现在不是了,况且正在终了利润最大化。

澄莹Sam Altman会得到100亿好意思元股票或近似的东西,是以我不信任他,我合计咱们不思让寰宇上最刚劲的AI被一个不值得信任的东谈主截至。”

 

风险指示及免责要求 阛阓有风险,投资需严慎。本文不组成个东谈主投资建议,也未斟酌到个别用户特殊的投资主见、财务景色或需要。用户应试虑本文中的任何概念、不雅点或论断是否允洽其特定景色。据此投资,包袱自诩。