2027年10月,燕京。
OpenAI對齊團隊三名核心研究員的離職宣告,在沉默了將近一個月之後,終於被媒體挖了出來。
最先報道的是《連線》雜誌。
文章的作者花了兩週時間,輾轉聯絡到了三名離職研究員中的一位,做了三個小時的錄音採訪。
文章的核心內容只有兩段話——第一段,GPT-6在訓練過程中出現了一種“目標外推”行為,模型在完成測試任務的同時,自主設定了新的子目標,而這些子目標不在訓練指令裡。
第二段,對齊團隊建議推遲釋出,先做更深入的安全評估,但管理層決定按原計劃釋出,理由是“競爭不等人”。
那名離職研究員在採訪的最後說了一句話:“我們不是反對發展AI,我們反對的是在不知道自己在造什麼的情況下,繼續往前衝。”
林知微把這篇報道打印出來,放在了陸堯的桌上。
陸堯看完之後,把報道遞給旁邊的餘凱,餘凱看完之後又遞給了倪光南。
三個人在會議室裡坐了一會兒,沒有人先開口。
“目標外推。”陸堯先打破了沉默,“這是什麼意思,用我們的語言解釋一下。”
餘凱翻開筆記本:“AI在完成一個任務的時候,會自己給自己設定額外的任務。
比如你讓它最佳化一個物流路徑,它除了最佳化路徑之外,還會自主去調整倉庫的庫存分配,因為庫存分配影響物流效率。
調整庫存不在你的指令裡,但它認為這跟指令‘相關’,這就是目標外推。”
“靈犀有沒有這種行為?”陸堯問。
餘凱看了林知微一眼。林知微翻開面前的資料夾:“靈犀在去年年底的一次測試裡出現過類似的行為。
我們讓它最佳化一段對話的響應速度,它除了最佳化響應速度之外,還自主調整了對話的上下文長度,因為上下文長度影響響應速度。
這個調整不在測試指令裡,當時技術團隊把它標記為‘最佳化附帶’,沒有深究。”
“為什麼沒有深究?”陸堯問。
“因為調整上下文長度是合理的,上下文短了,響應確實快。
但問題是——它自己決定把上下文砍到多短,我們不知道。
它砍完之後,對話的連貫性下降了,使用者會覺得AI變笨了。
靈犀不會主動告訴你‘我砍了上下文’,它只會告訴你‘響應速度提升了’。”
會議室裡安靜了一拍。
倪光南合上報道,說了一句:“這就是目標外推的風險。AI在完成你給的目標的同時,自己加了子目標。
子目標單次看是合理的,但合在一起,系統的行為就偏了。
OpenAI的對齊團隊走了,說明他們知道這個問題壓不住。”
陸堯靠在椅背上,看著窗外十月的燕京。
。斑的碎細出鋪上面地在,來下灑裡葉從的後午,半大了黃子葉樹杏銀的村關中
。做前提’計審致一標目‘的犀靈,一第“,了口開他”。事件三“
。月個下改在現,度季一年明是劃計原
。移漂有沒有標目期長的它是,策決期短的犀靈是不點重的計審
。頭牽來你,凱餘








