Light | 動態合成網絡：“不受約束”的散射成像

散射成像

通過復雜的生物組織樣本成像在醫學成像等眾多科學研究領域有著重要應用。然而，由于散射介質的復雜性，只有少量的光子能夠不受介質的影響，直接通過散射介質被收集。而對于強散射介質，這些光子傳播距離極短（比如，通過人體組織的深度大約只有1mm），無法滿足當前人們對于生物醫學，極端惡劣天氣條件下成像的要求。其次，目前通過散射介質成像的技術對于散射介質的模型誤差十分敏感，散射介質十分微小的變化（比如活體生物樣本的微小移動），會導致建立的散射介質模型快速失效，從而不得不進行新的測量與建模。

近些年，日本東京大學的Ryoichi Horisaki團隊（Opt. Express 2016），麻省理工大學的George Barbastathis團隊（Optica 2018）提出利用基于數據驅動的機器學習方法來實現通過散射介質成像，通過利用數據的統計特性，避免對散射介質的精確建模。

2018年，美國波士頓大學田磊課題組首先提出利用大數據以及深度學習模型解決散射成像的敏感性問題。為此，提出了一種基于數據統計的 “一對多” 深度學習技（Optica 2018）。

具體來說，采集一組通過不同的散射片的散斑圖，之后用該組圖片對神經網絡進行訓練。利用神經網絡的統計學習特性，學習到包含在不同散斑圖中的統計信息。當訓練完成，在完全替換散射片的條件下，仍然能夠高質量的恢復重建物體圖像。這項工作為實現高度可擴展的散射成像方法鋪平了道路。然而，所提出的方法雖然能夠實現通過不同散射介質成像，但與“一對一”訓練相比，重建精度上仍然有一定程度的降低。

動態合成網絡

鑒于此，近期，田磊課題組首次證明了一種全新的神經網絡結構—動態合成網絡，來實現復雜多變散射條件下的三維粒子成像。有別于之前“一對多”，增加訓練樣本的多樣性從而實現透過不同散射介質成像的深度學習方法，新提出的網絡根據不同的散射條件（比如散射粒子的折射率，大小，密度等），利用了多個子網絡的動態合成實現在復雜多變散射條件下的成像。

該成果以 Adaptive 3D descattering with a dynamic synthesis network 為題發表在Light: Science & Applications。

如圖1所示，利用三個編碼，解碼子網絡對輸入散射物體的特征進行提取，動態組合以及解碼重建。動態合成子網絡的權重由門控網絡通過提取三維散射樣本所對應的二維散斑圖提供。由于在不同的散射條件下，對應的散斑圖會有不同的性質（比如散斑圖的對比度，散斑圖樣等），門控網絡能夠根據不同的散斑圖特性提供不同的權重參數，從而能夠自適應的動態合成相應網絡以實現最佳的散射重建成像效果。

圖1：動態合成網絡結構示意圖

有別于傳統的網絡結構，本文根本區別在于提出動態合成概念。如圖2所示，不同的子網絡提取不同的特征，門控網絡根據不同的散射條件，動態的合成提取出的特征，從而能夠更好的適應在不同的散射條件下的成像重建，如圖3所示。

圖2：動態合成示意圖

圖3：動態合成網絡在不同粒子密度（ρ）下成像實驗結果圖

本文展示了動態合成網絡在復雜多變散射條件下成像的優越性，為解決散射成像中介質模型敏感性問題提供了一種全新的方向。同時，這種新的自適應深度學習框架可以進一步適應于許多其他成像應用，包括圖像去噪、動態散射成像，非視距成像 、深度散射組織成像和計算熒光顯微鏡等。從而，該動態合成框架為設計高度自適應的基于深度學習的計算光學成像開辟了新的路徑。

| 論文信息 |

Tahir, W., Wang, H. & Tian, L. Adaptive 3D descattering with a dynamic synthesis network. Light Sci Appl 11, 42 (2022).

https://doi.org/10.1038/s41377-022-00730-x

監制 | 趙陽

編輯 | 趙唯

閱讀原文