基于殘差注意力的合成孔徑雷達圖像超分辨率算法

摘 要：隨著機器學習和神經網絡的高速發展，低分辨率圖像超分辨率已經成為計算機視覺研究的熱門課題。由于合成孔徑雷達圖像（synthetic?aperture?radar,?SAR）方向和距離分辨率不一致，斜距被壓縮，再加上SAR圖像固有相干噪聲的影響，因此SAR圖像的研究集中在小尺度放大上。本文算法主要研究大尺度放大倍數的SAR?圖像超分辨重建，實驗結果表明，本文算法在SAR圖像大尺度放大倍數上效果不錯。

關鍵詞：SAR圖像；殘差注意力；超分辨率

0 引言

SAR圖像超分辨率在軍事指揮，全球氣候環境檢測，智慧農業檢測，礦物質開采等領域有重要應用。SAR 圖像低分辨率重建會帶來很多不確定的問題，比如：算法建模困難，重建效果差，數據處理困難等，這些都增加了 SAR 圖像大尺度放大倍數的研究難道，讓很多科研工作者望而卻步。隨著神經網絡和深度學習的進步，計算性能的提升，SAR 圖像圖像超分辨率的研究工作逐漸想大尺度方向發展，但是還是以小尺度研究為主。研究 SAR 圖像大尺度少的主要原因是 SAR 圖像本身干擾多，有用信息少，提取特征困難，重建效果差。本文提出一種基于殘差注意力的合成孔徑雷達圖像超分辨率算法有效的解決了此問題。首先用殘差注意力 U-net 映射出 SAR 低分辨率和 SAR 圖像高分辨率之間的內在聯系，從而得到 SAR 圖像低分辨率到 SAR 圖像超分重建的高清圖像；然后計算數據集的 SAR 圖像高分辨率圖像與超分辨率 SAR 圖像的 L1 范數；最后得到重建結果。下面以 8 倍大尺度放大倍數為例，網絡框圖如圖 1 所示。

圖中，SAR_SR 表示低分辨率 SAR 圖像重建的高分辨率 SAR 圖像；SAR_HR 數據集中的高清 SAR 圖像；SAR_LR 數據集中低分辨率 SAR 圖像；數據集中 SAR 圖像低分辨率和高分辨率是成對出現的。

該網絡首次對低分辨率 SAR 圖像采用上采樣操作得到和高分辨 SAR 圖像尺寸相同的初始低分辨率 SAR 圖像，然后對初始 SAR 圖像連續采用 3 次下采樣操作，分別得到不同層次的特征信息，最后對下采樣后的圖像連續采用 3 次上采樣操作，分別得到對稱的特征信息，并把對稱下采樣和上采樣的特征按一定要求組合，輸出超分辨率 SAR 圖像。

1 網絡架構

殘差注意力網絡分為下采樣，上采樣，特征融合 3 部分，上采樣和下采樣是對稱結構，然后把對應的特征按一定規則融合。首先對低分辨率 SAR 圖像上采樣得到與高分辨 SAR 圖像尺寸大小的圖像，然后用 3×3 卷積網絡提取初始特征 T_u0 ：

最后用 L1 范數作為超分高分辨率圖像和實際高分辨圖像的損失函數，因為 L1 范數可以具有更好的收斂性能且可以忍受異常值，從而得到很好的超分辨率效果。

2 實驗結果

本文是在大型公開數據集 SEN1-2 進行實驗驗證的。此數據集中 SAR 低分辨率圖像、SAR 高分辨率圖像數據是通過 Sentinel-1 衛星、Sentinel-2 衛星在不同的場景拍攝的，并且SAR圖像高低分辨率圖像是成對出現的。我們實驗的數據集收集了來再世界各地的 SAR 圖像圖片，包含各種場景，各種天氣下的成對高低分辨率 SAR 圖像。在 SEN1-2 數據集中，每一張單通道的 SAR 圖像的空間大小為 256×256 像素，距離向分辨率每像素 20 m，方位向分辨率每像素 5 m。每張 3 通道的光學圖像的空間大小也為 256×256 像素，但是每張 3 通道的光學圖像空間分辨率是 10 m。本實驗從數據集中選取了 600 對高低分辨率 SAR 圖像作為實驗的訓練集，選取 50 對高低分辨率 SAR 圖像作為實驗的測試集。

本文實驗圖像質量評價指標采用的是：峰值信噪比 (Peak Signal-to-Noise Ratio, PSNR)[87] 和結構相似度 (structural similarity, SSIM)[88]，實驗結果如表 1。

表1 實驗結果

從實驗結果可以看出本文算法在放大倍數為 2、4、8 時，PSNR 和 SSIM 明顯高于其他算法。主要原因是本文提出的殘差注意力模塊共享了 SAR 圖像低分辨率和 SAR 高分辨率的有用信息，增強了圖像特征表示。因此本文算法在解決大尺度放大倍數的 SAR 圖像超分辨率重建非常有效。

參考文獻：

[1] SHEN H F, LIN L P, LI J, et al. A residual convolutional neural network for polarimetric SAR image superresolution[J]. ISPRS Journal of Photogrammetry and Remote Sensing,2020.

[2] 閔銳,楊學志,董張玉,等.結構增強型生成對抗網絡SAR圖像超分辨率重建[J].地理與地理信息科學,2021(2).

[3] 吳從中,魏雪琦,詹曙.深層多級殘差網絡的圖像超分辨率重建[J].合肥工業大學學報(自然科學版),2020(10).

[4] 應自爐,宣晨,翟懿奎,等.面向小樣本SAR圖像識別的自注意力多尺度特征融合網絡[J].信號處理,2020(11).

[5] 楊坤.基于改進的UNet連云港海岸線提取研究[J].軟件,2020(10).

[6] MA J Y, YU W, LIANG P W, et al. FusionGAN: a generative adversarial network for infrared and visible image fusion[J]. Information Fusion,2018.

[7] 杜蘭,王兆成,王燕,等.復雜場景下單通道SAR目標檢測及鑒別研究進展綜述[J].雷達學報,2020(1).

[8] 劉艷.基于自適應重要采樣UKF的SAR圖像超分辨率方法[J].計算機應用與軟件,2021(7).

(注：本文轉載自《電子產品世界》雜志2022年11月期)