十二月一日，凌晨兩點。
聯想AI研究院的會議室裡燈還亮著。
倪光南坐在長桌的一端，面前攤著一臺筆記型電腦，螢幕上開著ChatGPT的對話介面。
旁邊坐著AI研究院的兩位核心工程師，一個在做模型架構分析，一個在測試端側部署的可行性。
陸堯推門進來的時候，倪光南抬頭看了他一眼，沒有意外。
他在來之前已經給倪光南發了訊息，說“我過去看看”。
“怎麼樣了？”陸堯在倪光南旁邊坐下。
“GPT-3.5的引數量估計在一千七百五十億左右。”倪光南翻到筆記本的第一頁，“這個規模端側跑不了，至少五年之內跑不了。
但它的對話能力不是靠引數量堆出來的，OpenAI在指令微調和RLHF上做了大量工作。
如果我們把端側模型的引數量控制在五十億以內，但把指令微調做深，對話體驗可以做到ChatGPT的六到七成。”
“六到七成不夠。”陸堯說，“使用者體驗是及格線，要麼不做，要麼做到八成以上。”
倪光南沉默了幾秒，然後說了一句：“如果要把體驗做到八成，端側模型需要端雲協同。
端側跑輕量對話和本地推理，複雜任務轉發雲端。
使用者覺得是本地在回答，實際上是端雲無縫切換。
這個架構我們之前在端側大模型的專案裡評估過，技術上可行，但沒有落地。”
“現在落地。”陸堯說。
倪光南在筆記本上寫了一行字——“端雲協同架構，12月預覽版。”然後抬起頭看著陸堯：“陸總，如果端雲協同的話，雲端用誰家的？”
“三家都談。”陸堯說，“位元組的火山引擎延遲最低，阿里的加密方案最成熟，百度的多輪對話準確率最高。
三家的技術驗證同時做，但合同不籤獨家。
哪家的端雲協同體驗最好，就用哪家做主方案，另一家做備選。”
“這件事讓AI研究院牽頭，跟三家雲服務商的技術團隊做聯合驗證。”
倪光南記下，然後翻到筆記本的第三頁，上面畫著一張端側大模型的架構草圖。
端側部分跑在地平線的征程晶片上，雲端部分跑在三家雲服務商的GPU叢集上，中間用加密通道連線。
使用者在裝置上輸入問題，端側模型先判斷任務複雜度，如果是輕量對話或本地推理，直接在端側回答。
如果是複雜任務或需要外部資料，加密後轉發雲端，雲端處理完再把結果回傳到裝置。
“端側和雲端的切換延遲控制在五十毫秒以內。”倪光南說，“使用者感覺不到切換，只覺得是本地在回答。”
“五十毫秒可以。”陸堯說，“地平線的征程四代跑五十億引數的對話模型，推理速度能到每秒四十個token。
加上端雲協同的五十毫秒延遲，整體體驗接近雲端大模型。”
。點四晨凌到開議會
。策決了做上點節鍵關個幾在，程全了聽邊旁在堯陸，稿初個了定案方技的同協雲端把隊團的南倪
。了住站正真就IA側端的想聯，地落果如案方個這，總陸“：句一了說，口梯電到他送南倪，候時的會散
