eLight·封面 | 基于物理模擬的顛覆性視覺(jué)增強(qiáng)算法

撰稿 | 郭宸孜、蔡淼

| 導(dǎo)讀 |

今日，美國(guó)工程院院士、加州大學(xué)洛杉磯分校講席教授Bahram Jalali提出了一種基于物理模擬的顛覆性視覺(jué)增強(qiáng)技術(shù)，并將其命名為“基于虛擬衍射和相干探測(cè)的視覺(jué)增強(qiáng)算法（簡(jiǎn)稱為VEViD）”。該算法將數(shù)字圖像“隱喻”為一個(gè)空間變化的“離散化光場(chǎng)”，將其映射至衍射和相干探測(cè)的虛擬物理過(guò)程，以輸出的相位而非強(qiáng)度代表圖像。VEViD在低光照下展現(xiàn)了超強(qiáng)、超快的圖像增強(qiáng)能力，極優(yōu)的色彩增強(qiáng)能力，以及絕佳的輔助目標(biāo)探測(cè)能力，對(duì)低光照條件下的成像及檢測(cè)技術(shù)發(fā)展，具有重大意義。

該受邀文章發(fā)表于卓越計(jì)劃高起點(diǎn)新刊eLight，題為“VEViD: Vision Enhancement via Virtual diffraction and coherent Detection”。作者為Bahram Jalali院士和Callen MacPhee博士，其中，Jalali院士擔(dān)任一作兼通信。

圖1： eLight封面

▍研究背景

低光照?qǐng)D像增強(qiáng)對(duì)于我們的生活和科學(xué)研究具有重大意義。最直觀的是，它能使手機(jī)、相機(jī)夜拍更清晰，使目標(biāo)識(shí)別更容易，使自動(dòng)駕駛更安全；而在生物體成像中，諸多場(chǎng)景需要低光照以降低光毒性，但信息缺失的低光照?qǐng)D像給后續(xù)研究帶來(lái)了極大困難。

此前的低光照?qǐng)D像增強(qiáng)技術(shù)主要依賴于經(jīng)驗(yàn)主義或是神經(jīng)網(wǎng)絡(luò)訓(xùn)練形成的算法，但目前尚缺乏能夠精確反映人眼感知能力的定量損失函數(shù)，因此，過(guò)往的技術(shù)最終受限于缺乏參考數(shù)據(jù)，可解釋性差，難以迅速高效增強(qiáng)。

▍研究亮點(diǎn)

據(jù)此，Jalali院士提出了一種全新的圖像增強(qiáng)范式，該范式將衍射和相干檢測(cè)的物理過(guò)程作為算法的一部分，來(lái)執(zhí)行計(jì)算成像任務(wù)，構(gòu)成了一種圖像增強(qiáng)工具。在研究中，研究團(tuán)隊(duì)將數(shù)字圖像重新理解為空間變化的虛擬“光場(chǎng)”，然后將該場(chǎng)置于虛擬衍射和相干檢測(cè)的物理過(guò)程中。在該過(guò)程中，光場(chǎng)被像素化和離散化，并且傳播與頻率相關(guān)的相位，并將數(shù)字圖像的R-G-B三個(gè)通道理解為該虛擬光場(chǎng)的時(shí)頻波段。最終由輸出的相位，而不是強(qiáng)度來(lái)代表輸出的圖像，進(jìn)行編碼優(yōu)化。研究團(tuán)隊(duì)將該算法命名為“基于虛擬衍射和相干探測(cè)的視覺(jué)增強(qiáng)算法（VEViD）”，其算法的物理解釋和流程參見圖2-圖3：

圖2：VEViD算法的物理解釋，展示了該算法在空間域（中間行）和光譜域（底行）中的影響。在空間域中，圖像的實(shí)部幾乎沒(méi)有變化，而虛部在衍射后產(chǎn)生

圖3：VEViD算法流程

研究團(tuán)隊(duì)將VEViD算法應(yīng)用于多種低光照?qǐng)D像，取得了絕佳的圖像增強(qiáng)效果（圖4），其效果優(yōu)于Zero-DCE算法（現(xiàn)今性能最佳的神經(jīng)網(wǎng)絡(luò)圖像增強(qiáng)算法），且VEViD的優(yōu)化速度要更快的多。進(jìn)一步，團(tuán)隊(duì)演示了VEViD在顏色增強(qiáng)中的應(yīng)用（圖5）。

圖4：VEViD將6張黑暗圖像（第一、第三欄），增強(qiáng)為清晰、細(xì)節(jié)豐富的圖像（第二、第四欄）

圖5：使用VEViD算法進(jìn)行色彩增強(qiáng)

與此同時(shí)，團(tuán)隊(duì)展示了簡(jiǎn)化加速版的VEViD算法，可以對(duì)4K高清視頻實(shí)現(xiàn)200幀/秒的圖像增強(qiáng)。此外，VEViD算法還可疊加于現(xiàn)有的基于深度學(xué)習(xí)算法的目標(biāo)探測(cè)中，大幅提升其探測(cè)能力（見圖6-圖7）。最后，Jalali院士提到，將來(lái)，該算法可以植入模擬物理器件中，幫助快速高效的計(jì)算。

圖6：VEViD預(yù)處理對(duì)目標(biāo)檢測(cè)的影響（左側(cè)：未采用VEViD；右側(cè)：采用VEViD）

圖7：左圖為YOLO神經(jīng)網(wǎng)絡(luò)處理后圖像，右圖為真實(shí)場(chǎng)景，中圖為VEViD預(yù)處理后的圖像；可看出，VEViD揭示的隱藏細(xì)節(jié)與真實(shí)場(chǎng)景更加匹配

綜合來(lái)看，該算法速度極快，可解釋性高，并可以最終轉(zhuǎn)化為一個(gè)簡(jiǎn)單、直觀的數(shù)學(xué)表達(dá)式，為手機(jī)、相機(jī)成像，自動(dòng)駕駛，生物醫(yī)學(xué)成像等領(lǐng)域提供強(qiáng)大的圖像增強(qiáng)工具，尤其對(duì)于實(shí)時(shí)性要求很高的圖像增強(qiáng)領(lǐng)域（如自動(dòng)駕駛），具有極其重要的價(jià)值。此外，極快的運(yùn)算時(shí)間使得該算法可以作為各類深度學(xué)習(xí)圖像處理算法的預(yù)處理算法，具有廣闊的研究?jī)r(jià)值與應(yīng)用空間。

文章發(fā)表后，完整代碼將于Github公開，以便研究人員及產(chǎn)業(yè)人員迅速跟進(jìn)。

▍后記：靈感來(lái)源與思考

在該項(xiàng)研究的審稿和編輯討論過(guò)程中，Jalali院士和編輯、審稿人討論了該文的靈感來(lái)源。

Jalali院士認(rèn)為，人類很早就開始利用物理設(shè)備模擬預(yù)測(cè)天體的位置和炮彈的軌跡。在計(jì)算機(jī)出現(xiàn)后，絕大部分模擬計(jì)算任務(wù)都由計(jì)算機(jī)來(lái)完成。然而，電子計(jì)算機(jī)對(duì)功耗和處理速度的要求，使得利用物理過(guò)程來(lái)實(shí)現(xiàn)更快、更高效的模擬映射仍然具有極高的研究與應(yīng)用價(jià)值。此前，已有科學(xué)家利用超快非線性光學(xué)作為模擬計(jì)算機(jī)來(lái)探測(cè)復(fù)雜現(xiàn)象（如異常波）。因此，將合適的物理光學(xué)過(guò)程作為模擬計(jì)算機(jī)，來(lái)實(shí)現(xiàn)不同領(lǐng)域的任務(wù)，無(wú)疑具有極高的價(jià)值與應(yīng)用前景。本研究就是基于該思路，通過(guò)模擬衍射和相干探測(cè)，來(lái)實(shí)現(xiàn)低光照下的數(shù)字圖像增強(qiáng)。

| 論文信息 |

Jalali, B., MacPhee, C. VEViD: Vision Enhancement via Virtual diffraction and coherent Detection. eLight 2, 24 (2022). 

https://doi.org/10.1186/s43593-022-00034-y

閱讀原文