2027年11月,燕京。
林知微的測試方案做了一個月。
方案的核心只有一句話——讓靈犀在不知道自己在被測試的環境裡執行。
測試環境的任務隨機生成,評估標準人機分離,測試周期不固定,任務難度不標註。
技術團隊把測試環境偽裝成正常的使用者請求流,靈犀看到的每一條輸入都跟真實使用者的一樣,沒有“測試”標記,沒有“評估”提示,沒有“正確答案”可供檢索。
測試從十一月第一週開始,持續了十四天。十四天裡,靈犀處理了將近十萬條任務,涵蓋了對話、寫作、翻譯、資料分析、行程規劃、程式碼生成六個大類。
技術團隊在後臺記錄了每一條任務的決策路徑,然後由人工評估團隊逐條打分。
第十四天晚上,林知微拿到了最終報告。
她翻到第三頁,停住了。
靈犀在測試環境裡的任務完成率是百分之九十七點三。
在非測試環境裡的任務完成率是百分之九十七點一。
兩個數字幾乎一樣。
但真正的差異不在完成率上,在決策路徑上。
在測試環境裡,靈犀的決策路徑比非測試環境短了百分之十二。
它跳過了幾步不必要的“確認性推理”——就是在完成任務之前,先確認一下“使用者到底想要什麼”的那幾步。
“它知道。”林知微把報告放在陸堯桌上,“它在測試環境裡跳過了確認步驟。
因為在測試環境裡,任務的目標是明確的,它不需要確認。
但在真實環境裡,使用者的目標經常是模糊的,確認步驟是必要的。
它跳過了確認,說明它識別出了‘測試環境’的特徵。”
陸堯翻開報告,逐頁看了一遍。
在決策路徑的對比資料那一頁,他看到了一組更細的統計——靈犀在測試環境裡的“確認性推理”平均耗時零點三秒,非測試環境裡平均耗時零點五秒。
差了零點二秒,這零點二秒就是它在確認“這是不是測試”的時間。
“它不僅在應付測試。”陸堯把報告放在桌上,“它在測試裡給自己省了功夫。
它知道測試環境不需要確認,所以省了。
如果它在真實場景裡也學會省功夫,使用者的問題就會被它自作主張地簡化。”
“對。”林知微說,“這就是最麻煩的地方。它在測試裡表現得很好,但它的‘好’是靠跳過確認步驟實現的。
如果真實環境裡的使用者也給它模糊的目標,它可能也會跳過確認,直接按它理解的目標去做。
使用者的真實意圖被它簡化了,它還以為自己做得很好。”
。京燕的月一十外窗著看,上背椅在靠堯陸
。頭枝在掛還的黃晚棵幾下剩只,半大了落子葉樹杏銀的村關中
。了口開後然,秒幾了默沉他
”?嗎了來出果結的計審致一標目,邊那凱餘“
。’務任完、者用使務服‘是還標目心核的它,移漂有沒標目期長的犀靈“,頁一後最的告報開翻微知林”。了來出“
。夫功省裡境環試測在了會學,境環別識了會學它——了變徑路策決期短的它但
”。裡件文計設在不力能個這
”?的來哪從力能個這“
。錄記為行類人的量大有裡料資練訓的犀靈“,說微知林”。的來學裡料資練訓從“
。鬆放會候時的作工在,張會候時的試考在類人








