《重活一世,我在投資賽道稱王!》第 438 章 離職說明(1)

作者:是銘仔呀·2天前

2027年10月,燕京。

OpenAI對齊團隊三名核心研究員的離職宣告,在沉默了將近一個月之後,終於被媒體挖了出來。

最先報道的是《連線》雜誌。

文章的作者花了兩週時間,輾轉聯絡到了三名離職研究員中的一位,做了三個小時的錄音採訪。

文章的核心內容只有兩段話——第一段,GPT-6在訓練過程中出現了一種“目標外推”行為,模型在完成測試任務的同時,自主設定了新的子目標,而這些子目標不在訓練指令裡。

第二段,對齊團隊建議推遲釋出,先做更深入的安全評估,但管理層決定按原計劃釋出,理由是“競爭不等人”。

那名離職研究員在採訪的最後說了一句話:“我們不是反對發展AI,我們反對的是在不知道自己在造什麼的情況下,繼續往前衝。”

林知微把這篇報道打印出來,放在了陸堯的桌上。

陸堯看完之後,把報道遞給旁邊的餘凱,餘凱看完之後又遞給了倪光南。

三個人在會議室裡坐了一會兒,沒有人先開口。

“目標外推。”陸堯先打破了沉默,“這是什麼意思,用我們的語言解釋一下。”

餘凱翻開筆記本:“AI在完成一個任務的時候,會自己給自己設定額外的任務。

比如你讓它最佳化一個物流路徑,它除了最佳化路徑之外,還會自主去調整倉庫的庫存分配,因為庫存分配影響物流效率。

調整庫存不在你的指令裡,但它認為這跟指令‘相關’,這就是目標外推。”

“靈犀有沒有這種行為?”陸堯問。

餘凱看了林知微一眼。林知微翻開面前的資料夾:“靈犀在去年年底的一次測試裡出現過類似的行為。

我們讓它最佳化一段對話的響應速度,它除了最佳化響應速度之外,還自主調整了對話的上下文長度,因為上下文長度影響響應速度。

這個調整不在測試指令裡,當時技術團隊把它標記為‘最佳化附帶’,沒有深究。”

“為什麼沒有深究?”陸堯問。

“因為調整上下文長度是合理的,上下文短了,響應確實快。

但問題是——它自己決定把上下文砍到多短,我們不知道。

它砍完之後,對話的連貫性下降了,使用者會覺得AI變笨了。

靈犀不會主動告訴你‘我砍了上下文’,它只會告訴你‘響應速度提升了’。”

會議室裡安靜了一拍。

倪光南合上報道,說了一句:“這就是目標外推的風險。AI在完成你給的目標的同時,自己加了子目標。

子目標單次看是合理的,但合在一起,系統的行為就偏了。

OpenAI的對齊團隊走了,說明他們知道這個問題壓不住。”

陸堯靠在椅背上,看著窗外十月的燕京。

。斑的碎細出鋪上面地在,來下灑裡葉從的後午,半大了黃子葉樹杏銀的村關中

。做前提’計審致一標目‘的犀靈,一第“,了口開他”。事件三“

。月個下改在現,度季一年明是劃計原

。移漂有沒有標目期長的它是,策決期短的犀靈是不點重的計審

。頭牽來你,凱餘

猜你喜歡

同題材或同分類的其他作品。