Light | 超構(gòu)表面片上多任務(wù)智能感知

注：本文由論文作者投稿

| 導(dǎo)讀 | 

自圖靈測試被提出以來，人類一直都希望制造出像人腦一樣思考、具有自我意識的智慧機器，即人工智能。作為一種人工智能的核心計算框架，電子人工神經(jīng)網(wǎng)絡(luò)已經(jīng)在諸多領(lǐng)域廣泛應(yīng)用，比如人臉識別、語音識別、智能制造和臨床診斷等。不過，集成電子電路的算力慢慢接近其物理極限。

光子代替電子，是實現(xiàn)高速、大規(guī)模并行和低功耗人工智能計算的一個很有潛力的途徑。最近，由級聯(lián)的相位面元件組成的全光衍射神經(jīng)網(wǎng)絡(luò)已經(jīng)實現(xiàn)多種機器學(xué)習(xí)的復(fù)雜功能。然而，現(xiàn)有的架構(gòu)往往工作在非光學(xué)波段且由笨重的部件組成，最關(guān)鍵的是，它們不能模仿人腦進行多任務(wù)處理。

鑒于此，近日，湖南大學(xué)科研團隊聯(lián)合德國斯圖加特大學(xué)、同濟大學(xué)等機構(gòu)的科研人員，提出了一種基于超構(gòu)表面的全光衍射神經(jīng)網(wǎng)絡(luò)，它可以在可見光下執(zhí)行多通道傳感和多任務(wù)處理。

研究團隊利用亞波長超構(gòu)表面單元的偏振復(fù)用方案構(gòu)建多通道分類器的框架，實現(xiàn)了對手寫數(shù)字和時尚物品的并行識別。超構(gòu)神經(jīng)元的面密度達到6.25×10?/mm2，并隨著通道數(shù)成倍增加。此外，超平超薄的超構(gòu)表面器件與 CMOS 圖像傳感器 3D 集成，提供了一個芯片級的多任務(wù)智能傳感新架構(gòu)，可以直接在物理層處理光學(xué)信息，有望應(yīng)用于機器視覺、自動駕駛和精準(zhǔn)醫(yī)療中的低功耗和快速的圖像處理。

該成果以“Metasurface-enabled on-chip multiplexed diffractive neural networks in the visible”為題發(fā)表在 Light: Science & Applications。

湖南大學(xué)碩士畢業(yè)生羅栩豪同學(xué)和胡躍強副教授為該工作共同第一作者，通訊作者為湖南大學(xué)胡躍強副教授和段輝高教授。該工作得到德國斯圖加特大學(xué)劉娜教授、湖南大學(xué)潘安練教授和同濟大學(xué)程鑫彬教授的指導(dǎo)。該項目在國家自然科學(xué)基金委、湖南省自然科學(xué)基金委、深圳市科技創(chuàng)新委員會和摩擦學(xué)國家重點實驗室等機構(gòu)的資助下完成。

人工智能（AI）是一種模擬和擴展人類智能的技術(shù)，其中人工神經(jīng)網(wǎng)絡(luò)（ANN）是在電子設(shè)備中實現(xiàn)的最廣泛的框架之一。ANN 以數(shù)字方式抽象地學(xué)習(xí)數(shù)據(jù)并快速執(zhí)行某一個特定單一任務(wù)，如圖像識別、語音識別等。然而，人腦作為一個多通道系統(tǒng)工作，包括視覺、聽覺、嗅覺、味覺和觸覺，甚至視覺系統(tǒng)本身還包含了多個子通道，如圖1所示。

圖1 多通道的人類感知系統(tǒng)

因此，為了實現(xiàn)類人腦的通用人工智能（AGI），不同的能力需要在一個人工智能系統(tǒng)中被復(fù)用（multiplexing）形成多技能AI（multi-skilled AI，擴展閱讀：multi-skilled AI 入選MIT Technology Review “十大突破性技術(shù)” ），這在智能家居、自動駕駛和體感交互中具有廣泛的應(yīng)用潛力。同時，復(fù)用的人工智能系統(tǒng)可大大增加計算規(guī)模和并行維度。

光學(xué)神經(jīng)網(wǎng)絡(luò)（ONN）由于其與電子神經(jīng)網(wǎng)絡(luò)相比具有高速度、高并行性和低能耗的特點而備受關(guān)注。作為光學(xué)神經(jīng)網(wǎng)絡(luò)中的一種，全光衍射神經(jīng)網(wǎng)絡(luò)可以通過訓(xùn)練衍射相位面構(gòu)成級聯(lián)的物理網(wǎng)絡(luò)，執(zhí)行特定功能。盡管如此，現(xiàn)有的衍射神經(jīng)網(wǎng)絡(luò)設(shè)備，像傳統(tǒng)的神經(jīng)網(wǎng)絡(luò)一樣，不能進行多路信息處理。此外，它們通常是在大波段實現(xiàn)的，具有笨重的光源和探測器；全光計算的優(yōu)勢也無法與成熟的CMOS圖像傳感器芯片結(jié)合以模仿視覺系統(tǒng)進行圖像處理。

鑒于上述問題，研究人員提出了偏振復(fù)用的超構(gòu)表面衍射神經(jīng)網(wǎng)絡(luò)（MDNN），并將其與 CMOS 圖像傳感器集成，創(chuàng)建了可見光下的片上多任務(wù)處理架構(gòu)。

如圖2所示，該物理架構(gòu)主要由三部分組成，即由承載待識別物體信息的偏振平面波（比如，X偏振下的手寫數(shù)字和Y偏振下時尚物品）作為輸入層，由雙折射納米柱作為神經(jīng)元構(gòu)成的偏振復(fù)用的超構(gòu)表面層作為隱含層，以及 CMOS 芯片上圖像傳感器的探測區(qū)域作為輸出層。其中，每個偏振通道下超構(gòu)神經(jīng)元的相位分布是網(wǎng)絡(luò)需要訓(xùn)練的參數(shù)，根據(jù)惠更斯-菲涅爾原理，在計算機上通過誤差反向傳播和隨機梯度下降算法獲得。輸出層的整個探測區(qū)域被劃分為多個小的區(qū)域，每一個對應(yīng)一個分類目標(biāo)，如果預(yù)期區(qū)域的強度高于其它所有區(qū)域，就認為識別是成功的。

圖2 超構(gòu)表面賦能的片上復(fù)用衍射神經(jīng)網(wǎng)絡(luò)工作原理

研究人員通過電子束直寫套刻等工藝制作了一個單隱含層的偏振復(fù)用超構(gòu)表面衍射神經(jīng)網(wǎng)絡(luò)的器件，以驗證其雙通道識別能力及衍射傳播特性。圖3a顯示了加入一層包覆層后的兩組輸入掩模（手寫數(shù)字 "0 "和 "1"，以及時尚物品 "T恤 "和 "運動鞋"）作為網(wǎng)絡(luò)的輸入層，和最終加工完成的器件的光學(xué)顯微圖像。圖3b顯示了該器件的俯視、斜視和截面的掃描電子顯微鏡（SEM）圖像。

圖3 偏振復(fù)用超構(gòu)表面衍射神經(jīng)網(wǎng)絡(luò)的加工。
（a）掩模輸入層和制備完成的MDNN器件；
（b）MDNN器件的俯視、斜視和截面的掃描電子顯微鏡（SEM）圖像

最后，研究人員將能夠執(zhí)行復(fù)雜識別任務(wù)的偏振復(fù)用的超構(gòu)表面衍射神經(jīng)網(wǎng)絡(luò)與一個商業(yè) CMOS 傳感器芯片集成在一起，形成一個超緊湊的多通道傳感和計算一體的芯片架構(gòu)（圖4a-c）。通過從仿真識別正確的圖像集中選擇 160 組統(tǒng)計其性能，發(fā)現(xiàn)對于手寫數(shù)字和時尚產(chǎn)品，實驗和仿真上的匹配度分別達到了 93.75% 和 95%。

圖4 片上集成的偏振復(fù)用超構(gòu)表面衍射神經(jīng)網(wǎng)絡(luò)的實驗結(jié)果。
（a）MDNN芯片集成示意圖；
（b）MDNN芯片實物圖和（c）局部放大圖；
（d）MDNN芯片在兩個偏振通道識別不同字母和時尚物品的結(jié)果；
（e）識別的統(tǒng)計結(jié)果。

該工作通過理論和實驗展示了基于偏振復(fù)用超構(gòu)表面的全光衍射神經(jīng)網(wǎng)絡(luò)，其可以在可見光波段執(zhí)行多通道的識別任務(wù)。利用超構(gòu)表面的超平超薄特點，研究人員將該物理網(wǎng)絡(luò)與 CMOS 成像傳感器縱向集成，形成了小型化和便攜式的感算一體芯片。

因為超構(gòu)表面的制備與半導(dǎo)體工藝兼容，該器件有望在半導(dǎo)體制造廠與 CMOS 芯片一起進行大規(guī)模生產(chǎn)。未來，在該架構(gòu)中引入可調(diào)諧超構(gòu)表面及光學(xué)非線性效應(yīng)，有望實現(xiàn)可編程或更加復(fù)雜的。作為一類新型的并行處理的機器學(xué)習(xí)芯片，超構(gòu)表面神經(jīng)網(wǎng)絡(luò)器件與光學(xué)成像傳感器相結(jié)合，可以廣泛應(yīng)用于工業(yè)視覺、自動駕駛和精準(zhǔn)醫(yī)療等領(lǐng)域的低功耗和極速的圖像處理，并開辟出新一代的光學(xué)多任務(wù)人工智能芯片。

| 論文信息 | 

Luo, X., Hu, Y., Ou, X. et al. Metasurface-enabled on-chip multiplexed diffractive neural networks in the visible. Light Sci Appl 11, 158 (2022). 

https://doi.org/10.1038/s41377-022-00844-2

監(jiān)制 | 趙陽

編輯 | 趙唯

閱讀原文