算力網(wǎng)中的“高速公路”：互連如何跟上GPU的腳步？

計(jì)算、存儲(chǔ)、互連，是算力網(wǎng)絡(luò)圖譜中的重要基礎(chǔ)設(shè)施。GPU始終是算力聚光燈下的絕對(duì)主角，而數(shù)據(jù)的“流轉(zhuǎn)”則離不開(kāi)互連。以GPU為代表的算力每?jī)赡昃蜁?huì)有上百倍的快速進(jìn)步，但互連帶寬卻遠(yuǎn)遠(yuǎn)落后于算力成長(zhǎng)。互連帶寬跟不上，就會(huì)限制集群的計(jì)算速度。從芯片內(nèi)部的高速互連，到GPU集群間的高速網(wǎng)絡(luò)，國(guó)產(chǎn)方案需實(shí)現(xiàn)多維度突破，構(gòu)建開(kāi)放生態(tài)。

AI基礎(chǔ)設(shè)施里的“交通系統(tǒng)”

在數(shù)據(jù)中心里，服務(wù)器之間需要低功耗、高效存儲(chǔ)訪問(wèn)和高互連密度來(lái)實(shí)現(xiàn)海量數(shù)據(jù)交換。

奇異摩爾聯(lián)合創(chuàng)始人兼產(chǎn)品和解決方案副總裁祝俊東向澎湃科技介紹，AI基礎(chǔ)設(shè)施的發(fā)展就像規(guī)劃一座城市。計(jì)算如同“工廠”，存儲(chǔ)節(jié)點(diǎn)類(lèi)比為“住宅”，計(jì)算規(guī)模較小時(shí)，兩者“點(diǎn)對(duì)點(diǎn)”就近配套建設(shè)。隨著規(guī)模持續(xù)擴(kuò)大，這種零散的布局模式不再合理，于是形成了多個(gè)“工業(yè)區(qū)”和多個(gè)“住宅區(qū)”。在不同工業(yè)區(qū)和住宅區(qū)之間，“交通系統(tǒng)”的價(jià)值開(kāi)始凸顯——大量數(shù)據(jù)依托互連基礎(chǔ)設(shè)施流轉(zhuǎn)，如同城市中人口與物資的流動(dòng)，“交通”的互連是否順暢直接影響整體效率。

大模型推動(dòng)計(jì)算需求快速增長(zhǎng)，GPU集群從萬(wàn)卡發(fā)展到十萬(wàn)卡。祝俊東表示，在AI基礎(chǔ)設(shè)施中，互連基礎(chǔ)設(shè)施便成為“木桶原理”中的關(guān)鍵短板，它直接決定了算力集群系統(tǒng)所能發(fā)揮的最終效能。“假設(shè)投資了10000P算力，這些算力的發(fā)揮取決于通信系統(tǒng)，如果互連做不好，10000P算力可能實(shí)際只能發(fā)揮100P。”

成立于2023年的硅光與光電集成技術(shù)企業(yè)英偉芯創(chuàng)始人聶輝同樣表示，以GPU為代表的算力每?jī)赡昃蜁?huì)有上百倍的快速進(jìn)步，互連帶寬則遠(yuǎn)遠(yuǎn)落后于算力成長(zhǎng)，每?jī)赡甏蠹s只有2-4倍的進(jìn)步，算力和互連的發(fā)展極不對(duì)稱(chēng)。如果互連的帶寬跟不上，就會(huì)限制集群的計(jì)算速度。

因此，必須打通AI基礎(chǔ)設(shè)施里的“國(guó)道、省道、鄉(xiāng)道”，加速互連技術(shù)迭代。互連里的Scale Inside、Scale Up和Scale Out就像交通系統(tǒng)，所謂Scale Inside，就是依托高速互連提高單芯片計(jì)算能力，延續(xù)摩爾定律。Scale Up涉及當(dāng)前火熱的概念“超節(jié)點(diǎn)”，即通過(guò)互連GPU，在節(jié)點(diǎn)內(nèi)部進(jìn)行擴(kuò)展，讓一定數(shù)量的計(jì)算芯片能夠計(jì)算一個(gè)任務(wù)，這對(duì)于互連的要求更高。英偉達(dá)的NVLink/NVSwitch就是GPU芯片之間的高速連接通道，推動(dòng)數(shù)據(jù)和計(jì)算加速得出可執(zhí)行結(jié)果。而Scale Out是將集群橫向擴(kuò)展到更多機(jī)柜，進(jìn)一步擴(kuò)大集群規(guī)模。

“目前國(guó)內(nèi)主流建設(shè)向十萬(wàn)卡集群進(jìn)軍，海外在建幾十萬(wàn)卡集群，未來(lái)很有可能會(huì)突破百萬(wàn)。在這種情況下，要把這么多計(jì)算和存儲(chǔ)節(jié)點(diǎn)連在一起，不僅需要最基礎(chǔ)的高速互連，更需要像交通系統(tǒng)一樣有效調(diào)度，這就是Scale Out通信系統(tǒng)需要解決的問(wèn)題。”祝俊東表示，計(jì)算集群的擴(kuò)大對(duì)互連基礎(chǔ)設(shè)施的帶寬、能耗、網(wǎng)絡(luò)控制及網(wǎng)絡(luò)協(xié)議提出了更高要求。在AI基礎(chǔ)設(shè)施建設(shè)中，過(guò)去注意力多集中于計(jì)算環(huán)節(jié)。進(jìn)入集群部署階段后，網(wǎng)絡(luò)的重要性更加凸顯，但網(wǎng)絡(luò)相關(guān)的核心軟硬件仍以英偉達(dá)和博通等海外廠商產(chǎn)品為主。

“計(jì)算、互連、軟件生態(tài)是英偉達(dá)的三大護(hù)城河，它在互連上的投入很大，過(guò)去其他單一廠商的能力相對(duì)于英偉達(dá)存在2-3個(gè)代差。但現(xiàn)在大家對(duì)互連的重視程度越來(lái)越高，在基于數(shù)據(jù)中心或超大規(guī)模計(jì)算集群的互連上投入研發(fā)。”祝俊東表示，硬科技技術(shù)研發(fā)需要長(zhǎng)時(shí)間積累，厚積才能薄發(fā)。目前奇異摩爾正在開(kāi)發(fā)基于統(tǒng)一底層架構(gòu)的AI網(wǎng)絡(luò)全棧式互連產(chǎn)品及解決方案，期望打通Scale out、Scale up、Scale inside的多維度互連，實(shí)現(xiàn)統(tǒng)一協(xié)議傳輸、統(tǒng)一數(shù)據(jù)處理、統(tǒng)一調(diào)度，突破互連瓶頸。

對(duì)于國(guó)產(chǎn)互連技術(shù)的發(fā)展，祝俊東認(rèn)為需多維度突破。其一，異構(gòu)混訓(xùn)要求實(shí)現(xiàn)系統(tǒng)協(xié)同，一方面要打通存儲(chǔ)、計(jì)算與互連，計(jì)算、互連、存儲(chǔ)、算法、系統(tǒng)不再是獨(dú)立的單點(diǎn)設(shè)計(jì)，而是要通盤(pán)考慮，這一轉(zhuǎn)變必然要求建設(shè)開(kāi)放生態(tài)。

其二，要在技術(shù)范式上探索創(chuàng)新，存儲(chǔ)領(lǐng)域開(kāi)發(fā)存算一體技術(shù)，計(jì)算領(lǐng)域短期聚焦并行架構(gòu)、流式架構(gòu)、算法演進(jìn)，長(zhǎng)期布局光計(jì)算技術(shù)。在互連領(lǐng)域，當(dāng)前的互連以電為主，未來(lái)光與電的融合會(huì)越來(lái)越深，要探索CPO/OIO等光電高效結(jié)合的技術(shù)路徑。

探索光電融合新路徑

今年世界人工智能大會(huì)期間，曦智科技聯(lián)合壁仞科技、中興通訊推出了光躍LightSphere X分布式光互連光交換GPU超節(jié)點(diǎn)解決方案，獲得大會(huì)2025 SAIL獎(jiǎng)（卓越人工智能引領(lǐng)者獎(jiǎng)）。據(jù)報(bào)道，該算力方案即將落地在上海儀電的國(guó)產(chǎn)算力集群。

目前，光互連技術(shù)正在從實(shí)驗(yàn)室走向數(shù)據(jù)中心。另?yè)?jù)《解放軍報(bào)》報(bào)道，目前，阿里云、谷歌云、亞馬遜AWS等全球各大云計(jì)算巨頭已紛紛宣布在其新一代數(shù)據(jù)中心和AI基礎(chǔ)設(shè)施中加速部署基于硅光子技術(shù)的800G/1.6T光模塊，逐步淘汰傳統(tǒng)的銅纜和可插拔光模塊。

從事光電行業(yè)近30年的聶輝介紹，當(dāng)前數(shù)據(jù)中心內(nèi)部有兩種互連技術(shù)，一是傳統(tǒng)銅互連，這種互連技術(shù)的速度也在提升，但仍是短距互連場(chǎng)景；二是可實(shí)現(xiàn)光電轉(zhuǎn)換的光模塊，它由激光器、探測(cè)器、調(diào)制器等構(gòu)成，每個(gè)器件都是一顆小芯片，再使用光纖，從而精密加工耦合而成。目前國(guó)內(nèi)光模塊市場(chǎng)紅火，“最近這幾年，國(guó)內(nèi)光模塊廠商都爆單了。因?yàn)锳I的數(shù)據(jù)量?jī)扇昃陀袔资冻砷L(zhǎng)，所以對(duì)光模塊提出了大量需求。”

但有業(yè)內(nèi)人士表示，光模塊的光芯片、激光器、探測(cè)器、調(diào)制器基本從國(guó)外進(jìn)口，盡管?chē)?guó)內(nèi)產(chǎn)值大，但仍屬加工業(yè)，主要產(chǎn)值仍在國(guó)外芯片領(lǐng)域。同時(shí)，光模塊制造步驟復(fù)雜，制造成本和良率需要進(jìn)一步優(yōu)化，帶寬也有待提升。

為了提高集成度，“比光模塊更先進(jìn)的技術(shù)是集成化的CPO技術(shù)，它可以大幅提高帶寬密度，傳輸帶寬從每秒1.6Tb發(fā)展到3.2Tb，并迅速迭代到更高帶寬，單位功耗也能進(jìn)一步下降。”聶輝介紹，在光互連場(chǎng)景下，數(shù)據(jù)從電信號(hào)轉(zhuǎn)成光信號(hào)并在光纖內(nèi)傳輸，接著再轉(zhuǎn)成電信號(hào)，進(jìn)入下一個(gè)計(jì)算節(jié)點(diǎn)，光纖通訊帶寬高、損耗低，可提高傳輸能力。

聶輝曾在朗訊貝爾實(shí)驗(yàn)室開(kāi)發(fā)光電器件，2015年加入了英特爾研發(fā)硅光芯片，目前帶領(lǐng)英偉芯攻克人工智能和數(shù)據(jù)中心領(lǐng)域傳統(tǒng)光模塊集成度低、體積大、功耗高、成本高等瓶頸問(wèn)題，通過(guò)晶圓級(jí)異質(zhì)集成技術(shù)，將光電器件材料與硅基晶圓結(jié)合。

聶輝介紹，國(guó)外芯片巨頭企業(yè)正在升級(jí)換代，開(kāi)發(fā)下一代OIO/CPO技術(shù)，國(guó)內(nèi)光模塊廠家、先進(jìn)封裝企業(yè)、通信企業(yè)、初創(chuàng)公司都在布局下一代光互連技術(shù)。在英偉達(dá)強(qiáng)力推動(dòng)下，光互連上下游產(chǎn)業(yè)鏈逐漸完善，其GPU、互連場(chǎng)景和生態(tài)系統(tǒng)支撐起了4萬(wàn)億美元市值。國(guó)內(nèi)各類(lèi)廠家獨(dú)自開(kāi)發(fā)，產(chǎn)業(yè)鏈尚不清晰，尚未形成現(xiàn)成的光電芯片代工廠。光和電的耦合不斷加深，關(guān)鍵技術(shù)挑戰(zhàn)之一是工藝協(xié)同適配，光和電的制造工藝存在本質(zhì)差異，如何實(shí)現(xiàn)高效結(jié)合成為行業(yè)亟待突破的難題。

“目前國(guó)內(nèi)光互連生態(tài)尚未成熟，這是未來(lái)需要努力的地方。我們作為初創(chuàng)企業(yè)，既要做設(shè)計(jì)和工藝集成，還要跟國(guó)內(nèi)的生態(tài)鏈一起把技術(shù)打磨出來(lái)。目前來(lái)看，走通硅光、光電集成、先進(jìn)封裝這三步，需要2-3年研發(fā)時(shí)間。”

中科創(chuàng)星創(chuàng)始合伙人米磊認(rèn)為，隨著AI算力需求爆發(fā)，傳統(tǒng)芯片將會(huì)面臨物理瓶頸，光子技術(shù)是唯一能提供超高帶寬、超低功耗互連與計(jì)算的下一代解決方案。他提出了“米70定律”，光子技術(shù)作為以人工智能為代表的新一輪科技革命中的關(guān)鍵技術(shù)，具有極強(qiáng)的“頭雁”效應(yīng)，將占據(jù)未來(lái)產(chǎn)業(yè)成本的70%。我國(guó)既要在電子芯片領(lǐng)域盡快補(bǔ)短板，也要盡早在光子芯片等新賽道布局發(fā)力，抓住新一輪科技革命和產(chǎn)業(yè)變革的機(jī)遇。