既然確定了秘而不宣的方針，兩人便默契地把62層殘差網路的實驗資料加密封存進了內網最高許可權的伺服器裡。
處理完視覺網路的資料，二人起身穿過走廊，來到了隔壁的語音與自然語言處理測試間。
監控螢幕上，正即時滾動著從全國各地紅星手機終端匯聚過來的海量語音標註資料進入到伺服器中，然後進行深度網路學習。
看著後臺那條飛快爬升的語音識別準確率曲線，何凱明忍不住嘖嘖稱奇，轉頭對成文飛感慨道：
“成教授，你別說，馬總之前提議在系統裡搞個任務中心，用積分換禮品讓大家一起來標註語音，確實是個好主意！”
“咱們把初篩後的音訊分發給合作的資料外包公司，再結合手機端上百萬網友的眾包校對，現在每天外包公司最終清洗提交上來的高質量合格資料，都能達到百萬級別，而且連各省偏僻縣城的方言口音全都有。”
“而且因為有交叉校驗機制，準確率也非常高，比單純讓外包公司做快太多了！”
成文飛看著各地方言樣本，滿意地點了點頭：“人民群眾的智慧和薅羊毛的熱情是無窮的。按照這個資料餵養量，你預計咱們的語音聲學網路還要多久能達到商用標準？”
“我估計按照目前的學習和吞吐速度，最多再迭代訓練一個多月，等六月中旬的時候，咱們的語音識別率和語義理解準確率就能跨過百分之八十三的門檻！”
何凱明信心十足地說道，“到時候咱們完全可以先在紅星社群裡搞一次智慧音箱的小規模公測，把工程樣機發給核心粉絲用起來，讓更多的人在真實家庭環境裡參與到對話訓練當中！”
成文飛站在測試臺前，聽著工程樣機裡傳出的合成女聲，點了點頭。
不過在除錯這個智慧音箱的過程中，兩人的思維依然十分活躍，一邊看著這邊的資料和程式碼，一邊還在討論關於殘差網路後續的發展方向。
“凱明，殘差連線雖然幫我們解決了梯度消失，讓網路可以堆到幾十層甚至上百層，但我們在視覺和語音的底層特徵提取上，還沒有到能夠開香檳慶祝的時候。”
“卷積神經網路天生就有個致命的短板，那就是固定的感受野。”
“它太擅長捕捉區域性的邊緣和紋理了，但對於遠距離的空間關聯，比如一張圖片裡左上角的一隻貓，和右下角的一個毛線球之間的邏輯關係，或者一段長語音裡前後隔了十秒鐘的兩個詞，它的建模能力依然非常弱。”
“我明白您的意思。”何凱明接過話頭，思索著說道：
“我們需要更好的特徵表達和多尺度融合機制。”
“把低層的精細空間資訊和深層的高階語義資訊結合起來，比如構建一種特徵金字塔結構，或者引入空洞卷積來擴大感受野。
甚至……我們可以嘗試在卷積層之間，加入一種類似人類視覺聚焦的權重分配機制，也就是注意力的雛形，讓網路自己學會該重點看哪裡。”
成文飛順著何凱明的思路往下延伸，提出了一個更具顛覆性的問題：
“多尺度融合確實是一條必經之路，但凱明，我這兩天在想另一個更核心的問題，表徵遷移，也就是遷移學習。”
“你想想看，咱們用深層殘差網路在千萬級的大資料集上，千辛萬苦訓練出來的底層視覺特徵，能不能直接挪到別的小任務上去用？”
何凱明眼睛一亮：“您是說……預訓練加微調？！”
“對！就是預訓練！”
成文飛這會的神色變得格外認真：“如果每次做一個新任務，比如從人臉識別換成自動駕駛的車道線檢測，或者做醫學影像分割，我們都要重新收集幾百萬張標註圖片從零開始訓練，那人工智慧的落地成本就太高昂了！”
“殘差網路真正能夠改變整個行業的，絕不僅僅是它能訓得很深，而是它有潛力變成一個通用的視覺底座！我們先在超大規模資料集上完成預訓練，之後只需要用極少量的特定行業資料進行微調，就能迅速適配分類、檢測、分割等所有下游任務！”
說完這番話，成文飛轉過身，看著窗外園區裡鬱鬱蔥蔥的樹冠，心裡突然湧起了一陣強烈的悸動。
先用海量的資料讓深層網路學到通用的底層世界知識，然後再拿少量的資料去微調適配具體的對話任務……
？呢天明那，上路網NNC的覺視機算計在用以可天今，化規正習學移遷的調微加練訓預套這
。上理言語然自到移平地不封原想思套這把，進先夠足構架，大龐夠足力算，天一有果如
。徵表識知與輯邏層底的言語類人會學己自它讓，練訓預督監無行進去路網經神的模規大超個一給餵部全話對、章文、籍書的有所上史歷類人把
……調微行進去錄記天聊和音語、記日的前生小兒己自用再後然
?經神腦的小擬模全完，型模的新個一用後最再
！樑橋想思座一的要重最，間之代時型模大級超的言語類人解理正真夠能個那來未與，代時路網經神積卷個這在現線連是這說來的確準，對不，對不
。來下了靜冷己自迫強便快很飛文，後過激的暫短，過不
。座底練訓預用通個一有只僅僅不可的前面他在擺，睛眼開睜裡界世字數在小讓正真離距，楚清都誰比他，家學科的謹嚴個一為作
。題難的手棘更、命致更個一有還
。化久持的態狀與憶記是就那
”？了呆發然突麼怎您？授教“
。眼一飛文了看地疑，頭過轉明凱何的碼式程查檢腦電在正
”。盤算的魂靈有沒個是還都上質本，路網差殘的通跑剛剛們我括包，統系互音語的箱音套這前眼們咱，想在是只我，麼什沒“
