倪光南的團隊在靈犀V3.0推送前一週提交了一份補充報告,標題叫“端側AI規模化部署的算力與電力約束評估”。
報告不長,三十多頁,但陸堯看完之後在辦公室裡坐了很久。
報告的核心結論只有一句話——端側AI的使用者規模越大,雲端算力的需求越超出預期。
靈犀V3.0的端雲協同架構設計時假設端側處理百分之七十的任務,雲端處理百分之三十。
但實際測試下來,使用者對複雜任務的需求比預想的高得多。
端側處理比例降到了百分之五十五,雲端處理比例升到了百分之四十五。
雲端推理叢集的負載比設計值高出了近一倍。
陸堯把報告翻到第二頁,上面列著一組資料。
靈犀V3.0推送之後,預計日活使用者六千萬,每人每天平均呼叫雲端推理十五次,每次推理消耗的token數量在五百到兩千之間。
日均token消耗量在四千五百億到一萬八千億之間,峰值的token消耗量是均值的兩倍多。
他拿起內線電話撥了倪光南的號碼。
“倪院士,報告裡的token消耗資料,確認過了?”
“確認過了。”倪光南的聲音從電話裡傳來,帶著一點沙啞,顯然這幾天沒怎麼睡好,“靈犀V3.0的端側模型引數量翻了一倍,但使用者對複雜任務的需求也上來了。
使用者用靈犀寫長文、做資料分析、生成報告,這些任務端側扛不住,全部轉到雲端。
雲端的token消耗量比設計值高了將近一倍。聯想雲引擎的推理叢集已經在擴容了,但擴容的速度跟不上使用者增長的速度。”
“聯想雲引擎的瓶頸在哪裡?算力還是電力?”
“兩個都有,但電力更棘手。”倪光南翻開檔案的聲音從電話裡傳來,“算力可以加晶片,征程五代的產能爬坡在加速,聯想雲引擎的推理叢集也在擴容。
但電力不是加晶片就能解決的。一個大型推理叢集的功耗在幾十兆瓦級別,相當於一個小型城市的用電量。
聯想雲引擎在張家口的資料中心,電力配額已經用到了百分之八十五,如果再擴容,就要排隊等電網的配額。”
陸堯靠在椅背上,看著窗外六月的燕京。
中家村的銀杏樹葉子綠得發亮,午後的陽光從葉縫裡灑下來,在地面上鋪出細碎的光斑。
他想起2023年跟火山引擎籤端雲協同合同的時候,周衡說過一句話——“端雲協同的瓶頸不在技術,在算力和電力。”
那時候他以為周衡說的是五年後的事,沒想到三年後就是現在。
更沒想到的是,聯想雲引擎提前完成了三年過渡計劃,在2026年年初就獨立承擔了端雲協同的主方案,不再依賴火山引擎。
“倪院士,聯想雲引擎的電力配額,二期擴容申請了多少?”陸堯問。
“一期叢集的電力配額是五十兆瓦,二期擴容申請了八十兆瓦,電網那邊還在排隊。
如果靈犀V3.0推送之後雲端負載繼續往上走,二期的電力配額可能不夠用。”倪光南說,“另外,長興儲存的HB線也在擴產,四期投產之後用電量會再上一個臺階。
江北新區的變電站已經在擴容了,但進度跟不上。”
。”月6年6202——束約力電與力算的署部化模規IA側端“著寫上面封,告報總彙力算和力電的擎引雲想聯份一著拿裡手軍小李。室公辦了到軍小李把堯陸,後之話電了掛
。問堯陸”?樣麼怎況額配力電的擎引雲想聯“
”。覆批的網電等隊排在期二,五十八之分百了到用額配力電期一的心中料資口家張“
。高的想預比本的容擴但,案方容擴的集叢理推了完經已隊團技的擎引雲想聯“,頁二第的告報開翻軍小李
。幣民人億二十出多年每概大來起加,費造改的統系卻冷、費設建站電變、費容增力電
”。話的擎引山火用續繼果如,來下省以可來本錢筆這
。座底力算的己自想聯是擎引雲想聯“,說堯陸”。擎引山火用不“
。半一了就勢優的上IA側端在想聯,商務服雲部外賴依果如案方主的同協雲端
”。來下批快儘額配力電的期二把,接對邊那網電跟隊團讓你,住得扛想聯,本力電的億二十








