猴毛分身？柏林工業大學研究團隊用一個神經元構建神經網絡

《西游記》中，齊天大圣孫悟空有一個經典技能——“猴毛分身”，即一把猴毛能變出一大群小猴子。

近日，柏林工業大學官網介紹了其研究團隊用一個神經元構建神經“網絡”，即一個神經元扮演所有虛擬神經元的角色。

他們稱之為“分布在時間而不是空間上”的一類全新的神經網絡。研究人員在計算機上模擬了數千個神經細胞的神經網絡，只有一個神經元被編程到軟件代碼中。神經元被激活并延遲讀取，于是可以在幾分之一秒內扮演所有虛擬神經元的角色。

他們期望用這個方法解決目前人工智能發展過程中面對的兩個硬件挑戰——芯片的算力限制與超級計算機的電力消耗。

人類大腦有約860億個神經元，這些神經元通過突觸連接，并通過電和化學信號傳輸在一個龐大的網絡中相互通信。人工神經網絡的核心就是通過在各個神經元之間建立不同程度的連接來模擬人腦。

在傳統的人工神經網絡中，可以對每個神經元進行加權以微調結果。通常是更多的神經元產生更多的參數，而更多的參數產生更好的結果。以GPT-3為例，GPT-3有1750億個參數，是其前身GPT-2的100倍。

但代價之一就是大量的能量消耗。Carbontracker估計，訓練GPT-3一次所需的電量與丹麥126戶家庭每年使用的電量相同。

據《The Register》報道，在微軟數據中心使用英偉達GPU訓練神經超級網絡大約需要19萬千瓦時。按美國的平均碳強度計算，這將產生8.5萬公斤的當量，與一輛新車在歐洲行駛70萬公里產生的量相同，大約是地球和月球之間距離的兩倍。

柏林工業大學的研究團隊希望構建一個使用單個神經元的神經網絡來挑戰神經網絡越大越好的想法。研究題為《使用單個神經元的深度神經網絡：使用反饋調制延遲環的時間折疊架構》（Deep neural networks using a single neuron: folded-in-time architecture using feedback-modulated delay loops）登上《Nature》子刊《Communication》。

“我們設計了一種多層前饋DNN完全及時折疊的方法。這種Fit-DNN（時間折疊深度神經網絡）方法只需要一個帶有反饋調制延遲環的神經元。通過非線性操作的時間序列化，可以實現任意深度或寬度的DNN。”論文中寫道。

研究團隊發現，他們可以通過隨著時間的推移對相同的神經元進行不同的加權，而不是在空間上散布不同加權的神經元，從而實現類似的功能。這類似于單個客人通過迅速切換座位并說出每個部分來模擬大型餐桌上的對話。

這個“迅速”是接近光速的間隔。該團隊表示，他們的系統理論上可以通過激光在神經元中激發基于時間的反饋回路來達到接近宇宙極限的速度——以光速或接近光速的神經網絡。

“我們現在已經用計算機證明了這在原則上是可行的?；诩す獾碾娐诽貏e適合在硬件中實現，因為它們的速度非?？?，時間延遲特別短，”該研究的主要作者Florian Stelzer解釋說。

那么真正關鍵的問題是，停留在時間循環中的單個神經元是否可以產生與數十億神經元相同的結果。

在初步測試中，研究人員使用新系統執行計算機視覺功能。它能夠從服裝圖片中去除手動添加的噪點，以生成準確的圖像。

隨著進一步的發展，科學家們相信該系統可以擴展，以從時間暫停的神經元中創建“無限數量”的神經元連接。柏林工業大學應用動力系統研究領域負責人Serhiy Yanchuk解釋道，如果兩個神經元的直接相鄰時間延遲進一步縮短，理論上可以創建無限數量的神經元，“這是時間折疊網絡的一項全新功能，它實現了從網絡中離散的單個節點到某種連續體的過渡。”