十二月二日,燕京。
餘凱的詳細時間表在上午九點準時發到了陸堯的郵箱。
陸堯開啟看了一眼,表格做得很細,從十二月二日到十二月二十日,每一天標註了晶片適配、模型最佳化、端雲聯調、壓力測試的具體節點。
他翻到最後一頁,看到餘凱在備註欄寫了一行字——“每一天的進度都不能拖,任何一天出問題,釋出時間就要往後推。”
陸堯把時間表轉發給了倪光南和楊元慶,附了一句:“按這個表盯進度,每天早晚兩次彙報,我親自聽。”
然後他撥了餘凱的電話。
“征程四代跑五十億引數模型的功耗,現在是多少?”
“四瓦。”餘凱說,“比目標高了零點五瓦,晶片的推理單元在峰值負載下功耗會往上走,需要做動態調頻最佳化。”
“端雲切換的延遲呢?”
“五十五毫秒,比目標多了五毫秒。主要是加密通道的開銷,加密演算法用的是國密標準,端側和雲端之間的握手時間有點長。
技術團隊在最佳化加密協議,目標壓到五十毫秒以內。”
陸堯在筆記本上記了兩筆,功耗和延遲,兩個指標都差一點。
差得不多,但釋出會之前必須壓下來。
他合上筆記本,站起來走到窗前。
十二月的燕京天色灰沉,中關村的銀杏樹落盡了葉子,光禿禿的枝丫在灰藍色的天幕下畫出一排細密的線條。
“餘凱,征程四代的晶片架構裡,有沒有專門為端雲協同預留的硬體單元?”陸堯問。
餘凱在電話那頭沉默了兩秒,然後說了一句:“有,征程四代在設計的時候預留了一個安全加密引擎,專門做端雲之間的資料加密和通道管理。
但這個單元還沒啟用,因為端雲協同的方案是最近才確定的。”
“把它啟用。”陸堯說,“用硬體加密替代軟體加密,延遲能下來多少?”
“理論上能壓到三十毫秒以內。”餘凱說,“但硬體加密引擎的驅動需要重新開發,至少需要一週時間。
而且驅動開發完了之後,還要跟三家雲服務商的加密協議做對接。”
“一週夠了。”陸堯說,“十二月二十日之前,把硬體加密引擎跑通。
五十億引數模型的功耗再壓零點五瓦,端雲切換延遲壓到四十毫秒以內。
這是死命令!”
餘凱在電話那頭記下,然後說了一句:“陸總,驅動開發需要跟地平線的晶片團隊和聯想的AI研究院聯合做。
我讓兩邊的人今天下午碰頭,把介面定義先定下來。”
“可以。”陸堯說,“另外,征程四代的HB存頻寬有沒有最佳化空間?
端側大模型對記憶體頻寬的要求很高,如果頻寬不夠,推理速度上不去。”
。制控憶記的片晶在,BH在不頸瓶的寬頻但“,說凱餘”。代四程征了配適經BH的存儲興長“
。秒每BG百兩是寬頻大最的援支,計設的代一上是制控憶記的代四程征
”。頸瓶為會制控憶記BH代一新最的存儲興長上用果如
”?呢代五程征“
。片流才度季二年明代五程征但“,說凱餘”。倍翻寬頻大最的援支,了計設新重制控憶記的代五程征“
”。秒每BG百兩在制限寬頻,代四程征用能只,驗前提要型模大側端果如








