eLight·封面 | AI相機(jī)實(shí)現(xiàn)純光學(xué)選擇性成像

隨著電子信息產(chǎn)業(yè)的飛速發(fā)展，數(shù)碼相機(jī)已經(jīng)被廣泛地應(yīng)用于我們生活中的方方面面。從安全監(jiān)控到車輛自動駕駛和人臉識別，無處不在的攝像頭每時每刻都在不斷記錄并產(chǎn)生大量的圖像數(shù)據(jù)，它們在為人們的生活帶來便利的同時，也引起了對隱私數(shù)據(jù)安全的關(guān)注和擔(dān)憂。

現(xiàn)有的隱私保護(hù)通常使用諸如圖像模糊、加密等方法來保護(hù)隱私信息。然而，這種方法并沒有完全解決隱私泄露的隱患，因?yàn)樵嫉膱D像是先被拍攝，再由算法加密，所以未加密的信息依然存在被泄露的風(fēng)險。同時，這些圖像處理算法也需要不斷消耗計(jì)算資源和電力能源。硬件層面上，隱私信息的保護(hù)也可以通過改裝相機(jī)鏡頭來降低圖像質(zhì)量，從而模糊掉隱私身份信息。然而，這些方法不加選擇地降低了所有圖像質(zhì)量，導(dǎo)致其應(yīng)用場景非常受限。此外，通過對抗攻擊手段，原始信息仍然有可能被恢復(fù)并泄露。

近期，發(fā)表在 eLight 上的一篇題為“To image, or not to image: class-specific diffractive cameras with all-optical erasure of undesired objects”的研究論文提出了一種全新的、由人工智能驅(qū)動的相機(jī)來實(shí)現(xiàn)隱私保護(hù)成像。

圖1：AI 設(shè)計(jì)的新型相機(jī)只針對特定類別的物體進(jìn)行成像，同時對其他物體進(jìn)行全光消除。這種新型相機(jī)由多個透射層組成，其結(jié)構(gòu)通過深度學(xué)習(xí)優(yōu)化，使得它們最終能夠?qū)崿F(xiàn)只對特定類型的物體進(jìn)行成像。同樣的框架還可以被應(yīng)用于設(shè)計(jì)對特定物體進(jìn)行線性變換的加密相機(jī)。通過 3D 打印技術(shù)制造相機(jī)，并且用太赫茲光波照明的手寫數(shù)字對其進(jìn)行測試，成功的測試結(jié)果證明了該新型相機(jī)的可行性。

來自加州大學(xué)洛杉磯分校的 Aydogan Ozcan 教授及其團(tuán)隊(duì)基于衍射神經(jīng)網(wǎng)絡(luò)設(shè)計(jì)了一種新型鏡頭，在不需要任何數(shù)字算法處理的情況下，這種相機(jī)實(shí)現(xiàn)了只對某些特定類型的物體成像，同時完全抹去其他無關(guān)物體的信息。

這種新型相機(jī)由多個透射層組成，其中每個透射層都包含著成千上萬個衍射單元。通過深度學(xué)習(xí)的訓(xùn)練，每個透射層的結(jié)構(gòu)被不斷優(yōu)化，使得它們最終能夠調(diào)節(jié)透射光場的相位并實(shí)現(xiàn)只對特定類型的物體進(jìn)行成像，同時抹去其他物體。在深度學(xué)習(xí)優(yōu)化之后，最終收斂的透射層可以被制造并組裝成一臺智能相機(jī)。當(dāng)特定的目標(biāo)物體出現(xiàn)在相機(jī)視野里時，相機(jī)會拍攝下它們的高質(zhì)量圖像。相反的，當(dāng)其他非目標(biāo)物體出現(xiàn)在相機(jī)視野中時，它們會在光的傳播過程中被抹去，形成無意義、類似于隨機(jī)噪聲的圖案。

由于其他非目標(biāo)物體的特征信息已經(jīng)隨著光的傳播和衍射被抹去了，所以它們的原始圖像永遠(yuǎn)不會被相機(jī)直接記錄。因此，這種新型相機(jī)實(shí)現(xiàn)了對隱私的最大化保護(hù)——因?yàn)樗蟹悄繕?biāo)物體的原始的圖像信息是無法被恢復(fù)的。與此同時，由于非目標(biāo)物體的信息不會被記錄，這種新型相機(jī)大大也極大地降低了圖像數(shù)據(jù)存儲和傳輸負(fù)擔(dān)。

該研究團(tuán)隊(duì)也通過實(shí)驗(yàn)驗(yàn)證了這種新型相機(jī)的可行性。他們選擇手寫數(shù)字作為實(shí)驗(yàn)物體，并通過訓(xùn)練相機(jī)使其只對一種手寫數(shù)字進(jìn)行成像。當(dāng)基于深度學(xué)習(xí)的訓(xùn)練完成后，該團(tuán)隊(duì)使用 3D 打印技術(shù)制造并組裝出了實(shí)際相機(jī)，并且用太赫茲光波照明的手寫數(shù)字對其進(jìn)行測試。實(shí)驗(yàn)的測試結(jié)果與預(yù)期高度相符：當(dāng)相機(jī)視野中的物體是數(shù)字 “2”時，該相機(jī)能夠有選擇性地對其進(jìn)行成像；而當(dāng)相機(jī)視野中出現(xiàn)其他數(shù)字時（比如“0”，“1”……），相機(jī)則會將其從圖像中抹去，產(chǎn)生低強(qiáng)度的類似噪音的輸出圖案。此外，該研究團(tuán)隊(duì)還在不同的照明條件下測試了他們的相機(jī)表現(xiàn)，即使這些測試照明條件從未被包含到深度學(xué)習(xí)訓(xùn)練中，他們的新型相機(jī)依然展示了對各式各樣照明條件的魯棒性。

除了對特定物體進(jìn)行成像，這種基于人工智能的相機(jī)設(shè)計(jì)方法還可以用來構(gòu)建對特定物體進(jìn)行加密的相機(jī)，從而提供進(jìn)一步的隱私保護(hù)。在經(jīng)過深度學(xué)習(xí)方法優(yōu)化后，這種加密相機(jī)可以直接在光傳播過程中為目標(biāo)物體執(zhí)行指定的線性變換。只有擁有解碼密鑰（在這種情下即為逆線性變換）的人才能夠解碼出目標(biāo)物體的原始圖像。而對于其他非目標(biāo)物體來說，它們的信息依然被不可逆地抹去了，即使將解碼密鑰應(yīng)用于相機(jī)拍攝到的圖像，也依然只會產(chǎn)生無意義的噪音結(jié)果。

除了照明光源之外，該新型相機(jī)不需要任何外部電源供給，并且其計(jì)算速度等同于光速。因此，這種高速、高能源效率的相機(jī)十分適用于各種需要拍攝特定物體、或有隱私保護(hù)需求、或需要節(jié)約能源的成像系統(tǒng)中。與此同時，該相機(jī)的設(shè)計(jì)思路也將啟發(fā)對未來新型智能成像系統(tǒng)的設(shè)計(jì)，大大降低其計(jì)算消耗資源和數(shù)據(jù)傳輸負(fù)擔(dān)。

該研究由加州納米系統(tǒng)研究所（CNSI）副主管、加州大學(xué)洛杉磯分校電子和計(jì)算機(jī)工程系 Volgenau 工程創(chuàng)新主席 Aydogan Ozcan 教授，與諾斯羅普-格魯曼公司特聘講席教授、加州大學(xué)洛杉磯分校加州大學(xué)洛杉磯分校電子和計(jì)算機(jī)工程系太赫茲電子實(shí)驗(yàn)室主任 Mona Jarrahi 教授一起領(lǐng)導(dǎo)。這項(xiàng)工作的其他作者包括研究生白璧潔、羅毅、甘天奕、李煜航、趙一帆、Deniz Mengu 和博士后研究員胡競天，他們均來自于加州大學(xué)洛杉磯分校電子和計(jì)算機(jī)工程系。

| 論文信息 |

Bai, B., Luo, Y., Gan T. et al. To image, or not to image: class-specific diffractive cameras with all-optical erasure of undesired objects. eLight 2, 14 (2022). 

https://doi.org/10.1186/s43593-022-00021-3

閱讀原文