成文飛指了指桌上的智慧音箱樣機，輕聲嘆了口氣：“你看，現在我們寫的這所有神經網路，從數學本質上講，全都是無狀態的函式對映。”
“你給它輸入一批資料，它經過前向傳播給你輸出一個預測結果，算完這一步，網路裡所有的啟用值就全部清空了，做完就忘。”
“每一次推理都是完全割裂、彼此獨立的，它根本沒有持久的記憶。”
成文飛走到實驗臺前，手指輕輕撫過這個工程音箱的外殼，動作輕柔的就像是在撫摸一個孩子一般。
像是在對何凱明做技術剖析，又像是在對自己內心深處的執念自言自語道：
“如果我們只是想做一個聽懂‘開啟客廳空調’、‘播放周杰倫的歌’的語音遙控器，那無狀態函式就完全夠用了。”
“但如果我們想要的，是一個能夠跟人持續聊天、擁有連貫穩定的人格、清楚記得你們上個月聊過什麼話題、甚至擁有屬於她自己獨有回憶的人工智慧呢？”
何凱明愣了一下，順著成文飛的思路往下深想，眉頭也漸漸皺了起來：
“殘差結構本身確實完全不自帶記憶功能，要想讓一個深度網路擁有連續的記憶，我們就必須跳出單純的分類網路，去解決序列建模的問題。”
“不僅需要長短期記憶網路那樣的隱狀態傳遞，未來甚至還需要構建獨立的外部記憶庫、全域性狀態管理機制，以及足夠長的上下文視窗和檢索增強系統……”
“是啊，路還長著呢，一步一步來吧。”
成文飛隱藏起自己的情緒，拍了拍手，把話題拉回了眼前的工程現實。
“而且就算我們現在把這些演算法的理論圖紙全都畫出來，光靠咱們機房裡現有的這些輝達計算卡，也根本跑不動！殘差結構讓模型可以無限變深、變大，但更深、引數量更大的模型，單卡視訊記憶體連塞都塞不下，更別提訓練了。”
一提到算力和硬體瓶頸，何凱明也洩氣了，苦著臉吐槽道：
“咱們現在訓這個62層的網路，光是做跨卡的資料同步和梯度彙總，通訊延遲就吃掉了將近四成的計算時間！那幫做遊戲顯示卡的海外廠商，底層驅動根本就沒有為超深層神經網路的平行計算做過專門最佳化。
這些天我每天寫演算法的時間，還沒幫工程組那幫兄弟除錯顯示卡通訊的時間多呢！再這麼折騰下去，我感覺我都成工程組的，而不是演算法組的了。”
“別抱怨了，咱們苦日子馬上就要熬出頭了。”
成文飛笑了笑，壓低聲音透露了一個訊息：“昨天陸遠江陸教授告訴我，他們團隊專門為我們人工智慧實驗室做的第一代高通量張量算力卡，RC-1401已經在臺積電完成流片封裝，最快下個禮拜就能把第一批工程樣卡送回深城！”
“新卡有24 組通用計算簇和12GB GDDR5視訊記憶體，位寬也達到了384bit。”
“FP32可以達到4.1 TFLOPS。”
“等我們拿到第一批工程樣卡進行上機測試，只要驗證沒問題，就可以立刻拉上軟體工程組的人，一起動手解決分散式訓練的框架和叢集排程問題了。”
何凱明聽著這個引數，臉上露出驚喜的表情，不過隨即又有點遺憾的說：“視訊記憶體感覺有點低啊，只有12G，目前來說是夠用了，明年隨著引數的指數級增加，可就不一定夠用了。”
說完這句，何凱明以為成文飛會和自己一樣感覺視訊記憶體低，沒想到的是他竟然露出一個笑容，然後小聲的說道：
“凱明，現在視訊記憶體小點不怕，反正這卡屬於第一代，也是我們陸教授團隊解決從成都到1的卡，未來可就不一定了。”
“哦？”何凱明也來了興趣，追問道：“公司難道有什麼新技術能大規模提高視訊記憶體？”
“陳總給我透露了點，去年咱們無冬大師在矽片上打了一個世界上最光滑，最直的孔，目前化學研發中心，還有半導體工藝團隊，正在全力攻堅這個孔。”
何凱明主要是做演算法的，他對半導體工藝不是特別瞭解，有點路易十六撓頭的繼續問道：“矽片打孔？和咱們要的視訊記憶體有啥關係。”
“哈哈，這你就不懂了吧？”成文飛組織了一下語言，用比較簡單的話解釋道：“有了這個孔，就可以把視訊記憶體裸die像搭積木一樣封裝起來，走線就可以走在內部或者中介層，這樣一顆視訊記憶體顆粒內部，就可以封裝N個裸片，而且因為是內部走線，延遲和漏電會非常低。”
”？多是算算你顆42麼那，呢憶記訊視的BG2去進裝封以可粒顆個一果如，格規的61652粒顆單1041-CR前目照按，題問藝工些一的續後決解能們他果如，算推的授教陸照按“
”。種那的間空址地一統併合以可是且而，憶記訊視G84整整“
）。G21跑能只練訓跑，2*G21是上際實，間空址地一統是不，址地擬虛一統援支只但，G42是說，列系08K如比，哦要重很間空址地一統（
”！服伺個幾好在現們我頂能就卡張一，顆42者或顆21的麼特上焊圍周在圍接直，G8裝封就顆單能可“：說的往嚮點有，手攤了攤飛文”？後往再於至“
。牛真，牛，來起促急得變也吸呼的明凱何
？來未的慧智工人在星紅那，備儲技了有經已也星紅上，破突了有經已授教和己自上法算演
！象想可不直簡
。啊憶記訊視大麼這用的整完能才路網麼什，型模麼什得來未卡的樣這，憶記訊視的G百近有能就卡張一
！了對來是算星紅來己自，之總而言，之言而總正反
。我旺地此，話句一
