但訓練週期會比較長,可能需要半年到八個月。
如果要把訓練週期壓到三個月以內,至少要五萬張卡。”
“先訂三萬張。”陸堯說,“訓練週期長一點沒關係,先把算力底座搭起來,後面根據訓練進度再追加。”
財務總監還想說什麼,陸堯抬手壓了一下:“我知道你要說什麼,雲端大模型的投入大、週期長、風險高。
但我要提醒在座各位一件事——端側AI的天花板是看得見的。
靈犀的端側模型跑在征程四代上,五十億引數已經是極限了。
明年征程五代出來,端側模型的引數量可以做到一百億,體驗可以做到ChatGPT的九成。
再往後呢?兩百億?三百億?端側晶片的功耗和散熱是有物理極限的,端側AI的體驗天花板就是ChatGPT的九成了下來。
剩下那一成,必須靠雲端。”
他站起來,走到白板前,畫了一條線。線的左邊寫著“端側AI”,右邊寫著“雲端AI”。
中間畫了一個箭頭,從端側指向雲端。
“聯想的路線,是端雲協同。
他端側負責輕量推理和隱私保護,雲端負責複雜計算和知識更新。
兩條腿走路,才能真正跑起來。
靈犀的端側模型已經跑通了,開源的生態也放出去了,下一步,是把雲端大模型做出來。”
他轉過身,看著會議室裡的所有人:“十億美元採購輝達顯示卡,這個決定我今天拍了。
財務部明天啟動採購流程,餘凱對接輝達的銷售團隊,李曉軍對接伺服器和網路裝置的供應商。
明年一季度,算力叢集要通電。”
會議結束之後,倪光南留走到陸堯旁邊,說了一句:“陸總,十億美元的採購,財務總監那邊壓力很大。”
“我知道。”陸堯說,“但這件事不能等,輝達的晶片產能緊張,訂貨週期已經排到了明年下半年。
如果現在不訂,明年一季度都拿不到貨。
雲端大模型的算力底座,早一天搭起來,訓練就能早一天開始。”
倪光南點了點頭:“雲端大模型的訓練,我建議從千億引數起步。
不要一上來就做萬億引數,先做一個千億引數的模型,把訓練流程跑通,把資料 pipeline 搭好。
千億引數的模型,體驗可以做到ChatGPT的九成以上,夠用了。”
“可以。”陸堯說,“千億引數起步,訓練週期六個月,明年年中,雲端大模型的第一版要出來。”
倪光南記下,轉身走了出去。
陸堯重新坐回辦公桌前,翻開李曉軍提交的輝達晶片採購方案。
。元億九額總,元萬三價單,卡示顯001H張萬三——著寫頁一第的案方
。元億十額總,置裝存儲和路網、服伺的套配上加
。畢完付度季二,批一第付度季一年明,月個六期週貨訂,張能產的達輝——著寫頁二第的案方
。字了籤上案方在,筆起拿他
。廓的糊模片一連中霧薄的後午在群樓的村關中,沉灰天京燕的月二十外窗
。的做要須必是步一這,型模數引億千到購採元億十從,IA端雲到IA側端從
。來未的想聯是IA端雲,在現的想聯是IA側端








