陸堯想了幾秒：“先用四代。頻寬的限制透過演算法最佳化來彌補。
讓AI研究院的模型團隊把五十億引數模型的量化精度從INT8提到INT4，減少記憶體佔用和頻寬需求。”
餘凱在電話那頭停了一拍，然後說了一句：“INT4量化的話，模型的精度損失會大一些。對話的流暢度和準確率可能會降。”
“降多少？”
“兩到三個百分點。”
“可以接受。”陸堯說，“使用者不會注意到兩三個百分點的差異，但記憶體頻寬的限制如果能解決，推理速度能提上去，體驗反而更好。”
掛了電話之後，陸堯把李小軍叫到了辦公室。
李曉軍已經整理好了三家雲服務商的技術驗證方案。
位元組的火山引擎在端雲協同的延遲上表現最好，實測延遲在四十毫秒左右。
阿里的加密方案最成熟，國密標準全流程支援。
百度的多輪對話準確率最高，在中文語境下的語義理解優於另外兩家。
“三家的技術驗證同時做。”陸堯說，“位元組和阿里對接加密通道，百度對接多輪對話。
三家的介面標準不一樣，AI研究院要出一套統一的API層，讓端側模型可以同時對接三家雲服務。”
“統一API層的工作量不小。”李小軍說，“端側模型跟雲端之間的資料格式、加密協議、超時重試機制都不一樣。
如果每一家都單獨適配，開發週期會拉長。”
“所以要統一。”陸堯說，“API層由AI研究院牽頭開發，三家雲服務商提供技術文件和對接支援。
十二月十五日之前，三家全部跑通。”
李曉軍記下，合上筆記本。他看了一眼陸堯，問了一句：“陸總，如果三家都跑通了，最終選哪家？”
“誰的綜合體驗最好，就用誰做主方案。”陸堯說，“但合同不籤獨家，主方案用一家，備選方案用另一家。
剩下的一家保留技術對接，以防主方案出問題的時候可以快速切換。”
李曉軍站起來往外走。
走到門口的時候，他回頭看了一眼陸堯，說了一句：“陸總，十二月二十日之前，要跑通晶片適配、模型最佳化、端雲聯調、三家雲服務商的對接。
這個節奏比地平線上市的時候還緊。”
“緊是緊。”陸堯說，“但 ChatGPT 已經跑出去了，我們如果等半年再發，市場就不會把我們當第一梯隊。
端側大模型這條路，聯想必須第一個跑通。”
李曉軍推門走了出去。
陸堯重新坐回辦公桌前，翻開餘凱發來的時間表。
他在十二月二十日那一欄畫了一個紅線，旁邊寫了一行字——“靈犀預覽版釋出，倒計時十八天。”
。廓的糊模片一連中霧薄的後午在群樓的村關中，沉灰天月二十京燕的外窗
。影剪的灰深道一剩只下幕天的藍灰在山西的遠
。眼兒會一了閉上背椅在靠，上合表間時把堯陸
。時計倒在都步一每，接對步同的商務服雲家三到化佳最的片晶從，表間時細詳的點九午上到議會急的點兩晨凌從
。天八十
