《重生2009:我靠投資成首富》第 410 章 靈犀3.0(1)

作者:是銘仔呀·5天前

五月下旬,燕京,聯想總部。

婚禮結束後的第二週,陸堯回到辦公室。

桌上堆著幾份待籤的檔案,最上面的一份是倪光南團隊提交的靈犀端側大模型最新進展報告。

他翻開第一頁,封面上寫著一行字——“靈犀V3.0:端側百億引數模型技術評估報告”。

報告日期是五月十九日,婚禮結束的第二天。

倪光南的團隊在婚禮期間沒有休息。

陸堯把報告逐頁看完。

核心資料如下——靈犀端側模型引數從五十億提升到一百億,在征程五代晶片上的推理速度達到每秒六十個token,功耗控制在五瓦以內。

端雲協同的切換延遲壓到了三十五毫秒,失敗率降到了百分之零點五。

模型架構用了分組查詢注意力和稀疏啟用技術,在不損失精度的前提下把推理成本壓了下來。

多模態能力同步升級,支援影像識別、語音轉寫和影片摘要,全部在端側完成。

他拿起內線電話撥了倪光南的號碼。

“倪院士,靈犀這一版的提升很大,一百億引數,每秒六十個token,五瓦功耗,這個資料是怎麼做到的?”

“兩個原因。”倪光南的聲音從電話裡傳來,帶著一種被長期壓力磨過之後終於鬆開的沉穩。

“第一,征程五代的算力比四代翻了四倍,四代跑五十億引數已經是極限了,五代跑一百億引數還有餘量。

第二,我們把模型的架構重新設計了一遍,用了分組查詢注意力和稀疏啟用的技術,在不損失精度的前提下把推理成本壓下來了。

端雲協同的切換延遲也優化了,三十五毫秒,使用者感覺不到端側和雲端的切換。”

“測試資料可靠嗎?”

“跑了三週的壓力測試。,端側推理的準確率跟上一版持平,推理速度快了將近一倍。

端雲切換的失敗率從百分之零點八降到了百分之零點五。

這些資料都是實測的,不是模擬。測試機型是Take Fold三代和Yoga 2026款的工程樣機,跑了一萬多次對話,覆蓋了中英文、多輪對話、影像識別、語音轉寫這些場景。”

倪光南停了一下,又補了一句,“另外,多模態能力的提升比預想的快,影像識別和語音轉寫的端側準確率都到了百分之九十五以上。

影片摘要稍微慢一點,端側處理一段五分鐘的影片大概需要二十秒,但使用者感覺不到明顯的等待。”

“靈犀的這一版什麼時候能推到使用者端?”

“六月中旬,Take Fold三代、Yoga 2026款的預裝版本已經在測試了。

如果一切順利,六月中下旬開始推送OTA升級,第一批推送一百萬臺裝置,第二批五百萬臺。”

倪光南翻開筆記本的聲音從電話裡傳來,“另外,端雲協同的雲端部分也做了最佳化,引擎的推理叢集擴容了一倍,雲端處理的延遲從十五毫秒壓到了十二毫秒。

端側加雲端的總延遲,從四十二毫秒壓到了三十五毫秒。”

”?了多在現?呢料資者用使的犀靈“。筆一了記上本記筆在堯陸

”。鐘分八十二長時用使均日者用使,萬千六過超者用使活日,億兩破突者用使球全“

。高最率用使者用使的能功個四譯翻地本、作寫地本、話對地本、同協置裝“,說南倪

”。的高最裡能功有所是,五十六之分百了過超率用使的同協置裝

。室公辦了到軍小李把堯陸,後之話電了掛

。”月5年6202——析分用使能功與長增者用使犀靈“著寫上面封,報簡料資者用使的犀靈份一著拿裡手軍小李

。上幕螢到投料資把,頁一第開翻他

”。快的想預我比度速個這,間時年半,在現到出釋月二十年去從犀靈“,上桌在放報簡把堯陸”。者用使億兩“

。犀靈了裝預都臺一每,臺萬百八了破突量貨出球全的代二dloF ekaT“,頁二第的報簡開翻軍小李”。的來起帶量銷的代二dloF ekaT是要主“

。萬千三了過超經已數基置裝的犀靈,板平baT和本記筆agoY上加再

。的用啟上置裝臺多在者用使個一同是分部一當相有,裡者用使億兩

”。用有很播傳場市對字數個這億兩但,右左萬千九在概大者用使立獨際實

”?呢饋反者用使“

。網聯要需不和置裝出不料資是點個兩的認最者用使,多居面正“

。多不差候時的網聯跟驗,網聯不程全,譯翻做、件郵寫犀靈用上機飛在,測實了做主博技科個幾有

。次億五了過超計累,高很量放播的上浪音在片影評測些這

猜你喜歡

同題材或同分類的其他作品。