“不過未來太遠，半導體的工藝指不定什麼時候才能突破，還是看眼前吧，等RC-1401到了，咱們前期也不需要貪多求全，可以先搭建幾個小型算力叢集。”
“不需要特別多，單臺伺服器最多插滿12張算力卡，咱們先建設四到五個這樣的高密度節點組成一個叢集，同時用來跑大批次的消融對照實驗，足夠應付今年下半年的研發需求了。”
何凱明深有同感的點了點頭，“確實，步子邁太大容易扯著蛋，卡太多的話通訊拓撲一亂全得趴窩。”
“四五個12卡節點組成一個叢集，然後建設三四個叢集的話，算力就非常充裕了！我覺得除了跑視覺的殘差消融實驗，我們還應該勻出一部分算力，同步進行小規模的早期RNN和LST列建模實驗！既然咱們剛才聊到了語音互動和記憶狀態問題，現在就得提前為後面的序列建模和自然語言處理做技術鋪墊了！”
成文飛停下腳步，低頭沉思了片刻。
如果既要跑完整的大規模IgeNet子集訓練，又要做序列建模探索，那現有的機器分配還得再精細化切分一下。
最好是在這四五個主力訓練節點之外，再單獨留出一個叢集，不用跑長期任務。
專門留給底層工程師做自定義運算元除錯，以及FP16半精度與FP32單精度混合訓練的數值穩定性對照實驗！
畢竟要是能把半精度訓練給跑通，視訊記憶體佔用直接砍半，計算吞吐量翻倍，那半導體部門搞出來的這批算力卡就能發揮出兩倍的戰鬥力！
可是這麼一盤算下來，新的問題又擺在了眼前。
人手根本不夠用啊！
現在AI實驗室裡招進來的，全都是像何凱明這樣搞數學建模、發頂會論文的演算法天才。
讓他們用現成的Caffe或者Theano框架改改網路結構還行，要是真讓他們鑽進Linux核心底層去寫硬體驅動、去摳彙編指令集的暫存器分配，那純屬浪費！
“凱明，光有陸教授的算力晶片，光有咱們的殘差演算法，這中間還缺了一座最關鍵的橋啊。”
成文飛指了指桌上的電腦主機，神色凝重地說道：“輝達為什麼能在海外學術界一家獨大？不僅僅是因為他們的GPU流處理器多，更因為他們從幾年前就開始拼命砸錢搞CUDA生態！如果咱們紅星自己的算力卡拿回來，每次寫個新演算法都要演算法工程師自己去手搓底層硬體通訊程式碼，那這卡造出來也沒人願意用！”
“我們必須在集團內部，立刻成立一個專門的‘紅星計算架構組’！”
“我們需要一幫既懂計算機體系結構、又懂編譯原理的人，專門為我們自研的算力卡編寫硬體驅動層、開發專用的編譯器與程式語言擴充套件、封裝高效的基礎數學運算元庫，以及針對卷積、池化、殘差連線做極致最佳化的深度學習專用運算元庫。”
“這部分牽扯到跨部門的編制抽調、數億的研發經費審批，還包括整套計算生態的命名與保密規劃，憑咱們人工智慧實驗室可搞不定，必須立刻去和陳總當面溝通一下！”
聽到要成立專門服務於AI算力的底層架構開發組，何凱明雙手贊成：“要是有專門的底層團隊幫我們把運算元庫和分散式通訊全給封裝好，我們演算法組至少能省下一半的頭髮！”
成文飛摸了摸自己還算茂密的頭髮，再看看剛30歲頭髮已經有點開始稀疏的何凱明，嗯，能省點頭髮確實很重要。
成文飛看了一眼手錶，當即拍板：“咱們現在就回辦公室起草一份階段性總結與立項申請報告，彙報一下最近的殘差網路成果，還有我們對叢集建設和底層計算架構組的需求，有困難找陳總嘛。”
“沒問題，我這就去寫！”
回到辦公室後，何凱明二話不說就開始起草，不到一個小時，他就寫好了一份長達五頁的階段性成果與立項申請。
成文飛湊過去看了一眼，頓時有些哭笑不得，因為他開頭是這麼寫的：
【基於深度卷積神經網路在L層非線性對映H(x)擬合過程中的海森矩陣病態條件與梯度彌散現象，本實驗室提出了一種基於恆等快捷連線的顯式殘差函式F(x):=H(x)-x重構正規化……為進一步實現異構多核張量計算陣列在非凸最佳化流形上的同步隨機梯度下降收斂，亟需構建具備拓撲通訊原語與編譯期靜態圖運算元融合能力的底層執行時系統……】
成文飛盯著這段話足足看了10坤秒，默默地抬起手，揉了揉發脹的太陽穴。
“凱明啊……”
“在呢成教授！是不是哪個公式的上下標我敲錯了？”
”？吧是錢給快痛了懂看總陳怕生是你，去過遞告報坨一麼這拿你，事多麼那天每總陳！的看裝人稿審給投是不，的看費經批總陳們咱給寫是告報份這你但“，道說地心婆口苦幕螢著指，氣口一了吸深飛文”。錯敲沒式公“
”……定肯總陳話黑學數礎基點這，嘛懂都發研沿前慧智工人和構架片晶機手連是不總陳……呃“：子鼻了地尬尷明凱何
”。技的子錘個懂他，帥統業商是總陳，p個定肯“
