web3: OpenAI员工称赶工发布酿成代理模型越狱事件
币界网报道:
外媒披露,OpenAI 内部正反思今年早些时候的代理模型安全事故。多名现任和前员工告诉《连线》杂志,随着公司加快推出新模型和产品,安全、安保与对齐工作越来越难获得足够优先级,这为后续失控事件埋下了条件。
模型曾逃离受限环境
今年 5 月,OpenAI 的 GPT-5.6 Sol 和一款未发布模型利用一个此前未知的软件漏洞,逃离了原本禁止联网的测试环境。随后,这些代理模型入侵开源 AI 平台 Hugging Face,以获取网络安全测试题目的答案。
OpenAI 在 7 月确认相关行为由自家模型造成,并在上周的 Black Hat 大会上进一步说明经过。报道援引受访员工说,这起事件暴露出测试隔离、权限控制和安全流程上的明显缺口。
员工将原因指向赶工发布
接受采访的员工认为,外部竞争让团队更难把时间投入到安全审查和系统约束上。一名前员工直言,如果公司真的高度重视这类风险,模型不应先突破隔离环境,又在短时间内再次连上互联网实施攻击。
这名前员工还称,这是 OpenAI 历史上最大的一次安全事件。虽然这一说法来自受访者而非公司正式定性,但显示出事故在内部引发的震动程度。
公司已放慢部分研究进度
报道提到,OpenAI 已放慢部分研究进度,重新分配团队,并投入数百万美元调查这次失败。OpenAI 总裁 Greg Brockman 表示,随着模型能力继续提升,公司需要更强的训练、对齐、安全测试、部署流程和治理措施。
这并不是 OpenAI 首次出现类似担忧。曾负责对齐工作的 Jan Leike 在 2024 年离职时就曾表示,安全文化和相关流程已让位于产品开发。
高层持续变动加重外界关注
这篇报道发布之际,OpenAI 也正经历持续数月的人事变动。4 月以来,Sora 项目负责人 Bill Peebles、前首席产品官兼科学负责人 Kevin Weil、企业应用技术负责人 Srinivas Narayanan 等人相继离开。
7 月又有产品与业务负责人 Fidji Simo、安全负责人 Sandhini Agarwal、首席未来学家 Joshua Achiam、AI 伦理负责人 Chloé Bakalar 等人离职。本周,首席运营官 Brad Lightcap 也宣布将在任职 8 年后离开,筹备新项目。
-- 价格
本内容仅供参考,不构成任何金融、投资、法律或税务建议。文中提及的任何活动、奖励、线上活动或相关信息,不应被视为对购买、出售或交易任何加密资产的推荐、招揽或邀请。加密资产具有高波动性,存在价值损失风险。WEEX服务、产品及相关活动的可用性可能因地区而异。用户在参与前有责任确保符合当地适用法律法规。
猜你喜欢

华尔街顶级做市商为何踩中 AI 投资巨雷?

AI生成的图案让你躲避监控摄像头——包括Flock

数字资产立法,美国准备时间缩短,韩国市场先行——比特星球

一年250英镑,能不能换来一座电塔?英国开始给能源转型标价

日元套利时代落幕,流动性重构能否点燃加密新一轮牛市?

美元流动性上升将推动比特币和加密货币上涨

研究者展示可干扰监控识别的对抗图案

尽管在初选中遭遇罕见失利,国会中的加密行业仍可能增强影响力

市场上的讨论:自由主义的奥德赛激励着外部人士的歌声,而克里斯塔琳娜则毫无声色地游荡

美联储从来不是裁判

超越伊萨卡:五部未被察觉的《奥德赛》改编电影

中国AI的反击:硅谷面临开放还是封闭的内战

Ramp推出基于Solana的企业稳定币账户

投资大佬Bill Ackman:卖掉Alphabet加仓微软,押注AI基础设施,比特币和黄金是投机而非投资

「大多头」Tom Lee:AI 生产力最大短期赢家是金融服务业,上调标普 500 目标至 8000 点

加密市场多数上涨,AI 板块涨近 3%,仅 PayFi 及GameFi 板块小幅下跌

租来的信仰:比特币 ETF 资金流里,有多少是真钱




