基于深度學習的圖像超分辨率重建方法綜述

《基于深度學習的圖像超分辨率重建方法綜述》由會員上傳分享，免費在線閱讀，更多相關內容在學術論文-天天文庫。

云南民族大學學報(自然科學版)，2019，28(6):597－605CN53－1192/NISSN1672－8513doi:10．3969/j．issn．1672－8513．2019．06．013http://ynmz.cbpt.cnki.net基于深度學習的圖像超分辨率重建方法綜述1，23陳文靜，唐軼(1．中國科學院西安光學精密機械研究所光譜成像技術重點實驗室，陜西西安710119;2．中國科學院大學，北京100049;3．云南民族大學數(shù)學與計算機科學學院，云南昆明650500)摘要:圖像超分辨率重建(super－resolution，SＲ)是指從觀測到的低分辨率圖像重建出相應的高分辨率圖像，在目標檢測、醫(yī)學成像和衛(wèi)星遙感等領域都有著重要的應用價值．近年來，隨著深度學習的迅速發(fā)展，基于深度學習的圖像超分辨率重建方法取得了顯著的進步．為了把握目前基于深度學習的圖像超分辨率重建方法的發(fā)展情況和研究熱點，對一些最新的基于深度學習的圖像超分辨率重建方法進行了梳理，將它們分為兩大類(有監(jiān)督的和無監(jiān)督的)分別進行闡述．然后，在公開的數(shù)據集上，將主流方法的性能進行了對比分析．最后，對基于深度學習的圖像超分辨率重建方法進行了總結，并對其未來的研究趨勢進行了展望．關鍵詞:圖像超分辨率重建;深度學習;卷積神經網絡;生成對抗網絡中圖分類號:TP391.4文獻標志碼:A文章編號:1672－8513(2019)06－0597－09圖像超分辨率重建(superresolution，SＲ)，簡稱1有監(jiān)督的基于深度學習的圖像超分辨率超分，是指從觀測到的低分辨率圖像重建出相應的重建高分辨率圖像，是計算機視覺和圖像處理領域里一種重要的圖像處理技術，在許多領域有著重要的應目前大多數(shù)基于深度學習的超分方法都是有監(jiān)用價值，比如目標檢測、醫(yī)學成像和衛(wèi)星遙感等．由督的，即訓練時使用低分辨率圖像和對應的真實高于總有多個高分辨率圖像對應于同一個低分辨率圖分辨率圖像．根據網絡類型的不同，有監(jiān)督的超分方像，因此超分問題非常具有挑戰(zhàn)性且是一個不適定法可以分為基于CNN的方法和基于GAN的方法．問題．此外，隨著超分縮放因子的增大，圖像丟失細1.1基于CNN的超分方法［7］節(jié)的恢復會更加復雜．Dong等受傳統(tǒng)基于稀疏編碼的超分方法的近年來，隨著深度學習的迅速發(fā)展，深度學習被啟發(fā)，首次提出了基于CNN的超分方法，簡稱SＲC-［1－3］應用于各種人工智能任務，比如圖像分類和目NN(super－resolutionconvolutionalneuralnetwork)．［4－6］標檢測等，并取得了突破性進展，研究學者們也SＲCNN的結構設計簡單，先用雙3次插值把低分辨積極地探索用深度學習來解決超分問題，提出了各率圖像放大至和要重建的高分辨率圖像相同的尺種各樣的基于深度學習的超分方法，從早期的基于寸，然后用3個卷積層分別進行圖像塊提取和表達、卷積神經網絡(convolutionalneuralnetwork，CNN)非線性映射和重建操作．隨著SＲCNN的成功，研究［7］的方法(例如，SＲCNN)再到后來的基于生成對抗學者們積極地探索基于CNN的超分方法，下面將介網絡(generativeadversarialnetwork，GAN)的方法紹幾種有代表性的方法．［8］(例如，SＲGAN)，都展示了很好的性能．這些基于1.1.1基于殘差密集網絡的超分方法［9］深度學習的超分方法之間的不同之處主要體現(xiàn)在:Zhang等提出了ＲDN(residualdensenet-網絡結構，損失函數(shù)，以及學習原理和策略等．work)，充分利用了所有卷積層的分層特征．如圖1收稿日期:2019－08－09．基金項目:國家自然科學基金(61462096，61866040，61561053)．作者簡介:陳文靜(1992－)，女，博士研究生．主要研究方向:圖像處理、圖像超分辨率重建、機器學習．

1598云南民族大學學報(自然科學版)第28卷所示，ＲDN主要包含4部分:淺層特征提取網絡狀態(tài)發(fā)送到當前ＲDB中的每一個卷積層，局部殘差(shallowfeatureextractionnet，SFENet)，殘差密集塊學習表示當前ＲDB的輸出等于上一個ＲDB的輸出(residualdenseblocks，ＲDBs)，密集特征融合加上當前ＲDB局部特征融合后的輸出;DFF包括全(densefeaturefusion，DFF)，上采樣網絡(up－sam-局特征融合和全局殘差學習;UPNet表示網絡最后plingnet，UPNet)．SFENet包括2個卷積層，用來提的上采樣和卷積操作，實現(xiàn)對輸入圖片的放大作用．取淺層特征;ＲDB結構如圖2所示，將殘差塊和密ＲDN的優(yōu)點是，能充分利用原始低分辨率圖像的分集塊進行了整合，連續(xù)記憶機制會將上一個ＲDB的層特征．1.1.2基于任意放大網絡的超分方法用來提取低分辨率圖像的特征，這里選取殘差密為了解決大多數(shù)超分方法針對每個縮放因集網絡(ＲDN)作為特征學習模塊(也可以用ED-［11］［11］［12］子分別訓練一個模型從而導致計算效率低，而且SＲ、MDSＲ或ＲCAN等)，其中每個殘差［10］只考慮了整數(shù)縮放因子的問題，Hu等提出了密集塊(ＲDB)有8個卷積層;Meta－Upscale模Meta－SＲ，能通過單個模型實現(xiàn)低分辨率圖像進塊由幾個全連接層和激活層組成，代替了傳統(tǒng)的行任意縮放因子(包括非整數(shù)縮放因子)的超分．上采樣模塊，對于任意的縮放因子能動態(tài)地預測Meta－SＲ的結構如圖3所示，整個網絡包括特征濾波器的權重，并用這些權重來生成高分辨率學習模塊和Meta－Upscale模塊．特征學習模塊圖像．

2第6期陳文靜，唐軼:基于深度學習的圖像超分辨率重建方法綜述5991.1.3基于處理多種退化類型的卷積神經網絡的后作為輸入，然后用多個卷積層來執(zhí)行非線性映超分方法射，除了最后的一個卷積層只采用了卷積操作外，基于CNN的超分方法通常假設低分辨率圖像其它每層包括的操作有卷積、修正線性單元和批是由高分辨率圖像通過雙3次插值的方法下采樣得標準化，得到的多個高分辨率子圖像再經過一個到的，當真實的退化不符合這種假設時會導致性能子像素卷積層轉換為最終輸出的高分辨圖像．［13］較差，為了應對這種情況，Zhang等提出了SＲMDSＲMD的優(yōu)點是:①適用于多種退化類型，具有高(super－resolutionnetworkformultipledegrada-實用性;②提出的維度拉伸策略能解決低分辨率tions)．SＲMD的結構如圖4所示，先用維度拉伸策圖像、模糊核和噪聲之間的維度不匹配問題，且可略得到退化圖，再將低分辨率圖像和退化圖級聯(lián)以擴展到去噪等其它任務．1.1.4基于反饋網絡的超分方法合，最后FB的輸出通過ＲB輸出殘差并和低分辨率Zhen等［14］提出了SＲFBN(super－resolution圖像(LＲ)的上采樣相加，得到本次迭代的最后輸出，feedbacknetwork)．SＲFBN有較強的早期重建能力，第T次迭代的最后輸出即最終的高分辨率圖像．SＲF-可以逐步生成最終的高分辨率圖像，結構如圖5所BN的優(yōu)點是:①通過反饋連接在自上而下的反饋流示，整個網絡可以展開成T次迭代，放置在每次迭代t中提供高級信息，這種具有反饋連接的循環(huán)結構只需中的子網絡包含低分辨率特征提取塊(LＲFB)、反饋要很少的參數(shù);②提出的FB可以有效地處理反饋信塊(FB)、重建塊(ＲB)，先通過LＲFB去提取低級特息流以及特征再使用;③提出的基于課程的學習策征，然后通過FB和上一個迭代里FB輸出的特征結略使得網絡能逐步學習復雜的退化模型．1.1.5基于神經架構搜索的超分方法方法處理超分問題，還提出了基于混合控制器的微觀為了通過神經架構搜索自動達到圖像重建能力和宏觀層面的彈性搜索策略．FALSＲ的結構如圖6所［15］和模型簡潔性之間的平衡，Chu等提出了幾種快示，包含了:預定義的特征提取器，通過宏觀搜索空間速、準確和輕量級的超分架構和模型FALSＲ(fast，ac-的連接相連的n個來自微觀搜索空間的單元塊curateandlightweightsuper－resolution)，使用多目標(cell)，以及基于子像素的上采樣和重建．

3600云南民族大學學報(自然科學版)第28卷1.2基于GAN的超分方法分方法，簡稱SＲFeat(super－resolutionwithfea-生成對抗網絡(generativeadversarialnetworks，turediscrimination)，使用2個不同的判別器(用［16］GAN)包含2個相互對抗的網絡，一個是生成器，另于圖像域的圖像判別器和用于特征域的特征判一個是判別器．在基于GAN的超分方法中，生成器的別器)，還提出了一個新的具有遠程跳躍連接的目的是生成盡量接近真實圖像的高分辨率圖像，使判生成器．該特征判別器通過區(qū)分生成器生成的圖別器不能準確判斷其真(指真實圖像)假(指生成器生像的特征和真實圖像的特征，能促進生成器產生成的圖像)，判斷器的目的是盡可能準確判斷圖像的真高頻結構特征而不是噪聲偽影．SＲFeat的生成器假，生成器和判別器互相博弈最終獲得足以“以假亂結構如圖7所示，首先用9×9的卷積層提取低［8］真”的高分辨率圖像．隨著Ledig等提出SＲGAN將分辨率圖像的特征，然后使用多個具有遠程跳躍GAN用于解決超分問題，重建的高分辨率圖像具有非連接的殘差塊來提取深度特征，再使用子像素卷常好的視覺感知效果，研究學者們開始探索基于GAN積層將殘差塊提取的特征圖上采樣至和目標圖的超分方法，下面介紹幾個有代表性的方法．像相同尺寸;判別器結構如圖8所示，卷積層上1.2.1基于特征判別器的超分方法面的數(shù)字表示濾波器的數(shù)量，下面的s2表示步［17］Park等提出了一個基于特征判別器的超長為2．1.2.2基于流形和感知損失的超分方法響，殘差不滿足高斯分布．為了對殘差中重尾非高斯［18］大部分方法都使用滿足高斯分布的距離范數(shù)作分布進行建模，Upadhyay等提出了一種基于GAN為損失函數(shù)，但實際圖像受對比度、對焦和噪聲等影的超分辨率學習框架，簡稱SＲGAN－SQE，包含3個

4第6期陳文靜，唐軼:基于深度學習的圖像超分辨率重建方法綜述601子網絡，即生成器G(·，θG)，編碼器E(·，θE)，和判行表達和真實值流形表達之間的相似性;判別器利用別器D(·，θD)(θG、θE和θD表示權重參數(shù))．SＲGANKullback－Leibler散度判斷生成的高分辨率圖像與－SQE的結構如圖9所示，生成器學習低分辨率圖像真實值是否服從同一分布．通過聯(lián)合優(yōu)化生成器、編到高分辨率圖像的映射，并同時利用q－擬范數(shù)和結碼器和判別器，SＲGAN－SQE可以生成紋理結構清晰構相似性作為生成器的損失函數(shù);編碼器用于提取圖的高分辨率圖像．但是，SＲGAN－SQE由于引入了一像的流形表達，使用q－擬范數(shù)衡量高分辨率圖像流個新的編碼網絡，增加了方法復雜性．導圖像像素到源圖像像素的轉換．所提出多層感知2無監(jiān)督的基于深度學習的圖像超分辨率器的結構如圖10所示，輸入為一個引導圖像的像素重建值gn以及相應坐標Xn，輸出為源圖像對應位置像∧在有監(jiān)督的超分方法中，通常用預先確定的空素值tn，其中n表示第n個像素．基于引導的超分間退化模型(如雙3次下采樣)將高分辨率圖像退方法首先用低分辨率引導圖像和源圖像訓練所提出化為低分辨率圖像，進而構建同一場景下成對的低的多層感知器，然后將高分辨率引導圖像輸入到訓分辨率圖像和高分辨率圖像用于訓練深度超分網練好的多層感知器中，最終得到高分辨率源圖像．該絡．但是在實際應用中通常會面臨幾個問題:①只基于引導的超分方法未用插值對源圖像進行上采有低分辨率圖像，很難收集同一場景成對的低分辨樣，因此避免了不必要的模糊．率圖像和高分辨率圖像;②空間退化模型未知;③低分辨率圖像易受傳感器噪聲、運動模糊、圖像壓縮等因素干擾，成像質量較低．為了構建適用于實際應用的超分方法，越來越多的工作開始關注于無監(jiān)督的學習方式，即不依賴于額外的低分辨率圖像和高分辨率圖像對，直接對實際應用中的低分辨率圖像進行超分辨率重建．2.1基于引導的超分方法［19］Lutio等提出了一個引導超分方法學習像素到像素的轉換，將圖像超分問題視為從引導圖像域到源圖像域的像素轉換，先利用下采樣操作將高分辨率引導圖像轉變?yōu)榕c源圖像相同尺寸的低分辨率2.2基于深度內部學習的零次超分方法［20］引導圖像，再通過多層感知器構建映射函數(shù)學習引Shocher等基于單個圖像內部信息(例如圖像

5602云南民族大學學報(自然科學版)第28卷塊)在不同尺度會重復出現(xiàn)的假設，提出了無監(jiān)督的進行旋轉、翻轉等操作進行數(shù)據增強得到Iaugmented;然零次超分方法ZSSＲ(zero－shotsuper－resolution)，利后，將Iaugmented下采樣n倍得到LＲ(Iaugmented)，則LＲ用單個圖像內部信息訓練一個圖像特定的CNN．(Iaugmented)和Iaugmented構成了訓練圖像對;接著，重復前ZSSＲ僅利用測試圖像構建訓練集，使得模型可以適面兩步生成大量訓練樣本，輸入到ZSSＲ訓練直至收應各種圖像的不同設置，可以對任意圖像(真實舊照斂;最后，將測試圖像I輸入到訓練完成的ZSSＲ中即片、噪聲圖像、生物數(shù)據以及獲取過程未知的圖像)進可進行n倍超分．ZSSＲ是首個用CNN做無監(jiān)督圖像行有效超分．ZSSＲ是一個全卷積神經網絡，由8個卷超分的方法，不需要用額外的高分辨率圖像來預訓練積層組成，每個卷積層有64個卷積核，損失函數(shù)為L1網絡模型．但是，當測試圖像的初始分辨率比較低時，函數(shù)．ZSSＲ的結構如圖11所示，首先對測試圖像I該方法的超分效果較差．Matlab中imresize函數(shù)的雙3次操作分別對各高分3實驗辨率圖像下采樣2倍、3倍和4倍得到相應的低分在3個公開的圖像超分辨率重建數(shù)據集中，對辨率圖像．然后，在Set5、Set14和BSD100數(shù)據集主流基于深度學習的圖像超分辨率重建方法進行了上，對低分辨率圖像用各基于深度學習的圖像超分客觀性能對比．方法進行2倍、3倍和4倍超分，實驗結果分別如表3.1數(shù)據集和評價指標1－3所示．由于FALSＲ原始文獻只提供了2倍超分［21］［22］結果，故僅在表1中對比FALSＲ的性能;由于SＲ-使用的公開數(shù)據集為Set5、Set14和BSD100［23］．Set5數(shù)據集有5張測試圖像，圖像內容分Feat原始文獻只提供了4倍超分結果，故僅在表3別是嬰兒、鳥、蝴蝶、頭、女人．Set14數(shù)據集有14張測中對比SＲFeat的性能．SＲCNN方法首次將CNN引入到圖像超分任試圖像，圖像內容包括辣椒、斑馬、花朵、男人和橋等．BSD100數(shù)據集有100張測試圖像，圖像內容比較豐務，構建了端到端的超分網絡，由表1－3可知，憑借CNN強大的特征學習能力，SＲCNN方法的性能遠超富，包括飛機、花瓶、賽車、人和動物等．Set5、Set14和Bicubic方法．隨著SＲCNN方法在超分任務中取得BSD100數(shù)據集不僅包含了自然景色，也包含了人工的突破性進步，研究學者們提出大量基于深度學習景物，可以有效地測試超分方法的性能．采用2個評的超分方法，比如VDＲ、DＲＲN、ＲDN等，殘差連接價指標度量超分方法的性能:峰值信噪比(peaksignal與稠密連接等策略被用來構建越來越深的超分網絡－to－noiseratio，PSNＲ)，和結構相似度(structural結構，性能越來越好．為了構建適用于實際應用的超similarityindex，SSIM)．PSNＲ和SSIM的值越大，表分方法，ZSSＲ等無監(jiān)督的超分方法引起了廣泛關示重建圖像的質量越好，即超分方法的性能越好．注．ZSSＲ方法能有效利用卷積神經網絡捕捉圖像內3.2實驗結果與分析部信息進行超分，其在Set5、Set14和BSD100數(shù)據下面對一些主流的基于深度學習的超分方法進庫中的性能超越了有監(jiān)督的SＲCNN方法．從表1－3行性能對比:雙3次插值Bicubic(作為實驗對比的［7］［20］［24］可知，隨著研究學者們對深度卷積網絡的研究不斷基準方法)，SＲCNN，ZSSＲ，VDSＲ，DＲ－進步，基于深度學習的超分方法可更加有效地提?。?5］［13］［15］［17］ＲN，SＲMDNF，F(xiàn)ALSＲ，SＲFeat，SＲF-深度特征，性能不斷提升．和Set5和Set14數(shù)據集相［14］［9］BN，以及ＲDN．由于Set5，Set14和BSD100數(shù)比，由于BSD100數(shù)據集更大，且包含了大量城鎮(zhèn)風據集只提供了高分辨率圖像，因此需要預先根據高景圖像，圖像紋理信息非常豐富、圖像結構復雜，現(xiàn)分辨率圖像生成模擬的低分辨率圖像．本文使用

6第6期陳文靜，唐軼:基于深度學習的圖像超分辨率重建方法綜述603有方法在BSD100數(shù)據集中的性能顯著下降．ＲDN因子為3時，分別高4.32、3.02和2.05;在縮放因子方法是表1－3中性能最好的方法，通過比較ＲDN為4時，分別高4.05、2.81和1.76．可以看出，隨著方法和Bicubic方法的PSNＲ值可知，在Set5、Set14縮放因子的不斷增大，方法性能提升的程度在下降，和BSD100數(shù)據集上，ＲDN方法比Bicubic方法:在這表明針對大縮放因子的圖像超分任務仍然面臨著縮放因子為2時，分別高4.58、3.77和2.84;在縮放許多挑戰(zhàn)．表1基于深度學習的超分方法在縮放因子為2時的性能對比Set5Set14BSD100MethodsPSNＲSSIMPSNＲSSIMPSNＲSSIMBicubic33.660.929930.240.868829.560.8431［7］SＲCNN36.660.954232.450.906731.360.8879［20］ZSSＲ37.370.957033.000.910831.650.8920［24］37.530.958733.050.912731.900.8960VDSＲ［25］DＲＲN37.740.959133.230.913632.050.8973［13］SＲMDNF37.790.960133.320.915932.050.8985［15］37.820.959533.550.916832.120.8987FALSＲ［14］SＲFBN38.110.960933.820.919632.290.9010［9］ＲDN38.240.961434.010.921832.400.9022表2基于深度學習的超分方法在縮放因子為3時的性能對比Set5Set14BSD100MethodsPSNＲSSIMPSNＲSSIMPSNＲSSIMBicubic30.390.868227.550.774227.210.7385［7］SＲCNN32.750.909029.300.821528.410.7863［20］ZSSＲ33.420.918829.800.830428.670.7945［24］33.660.921329.780.831828.830.7976VDSＲ［25］DＲＲN34.030.924429.960.834928.950.8004［13］SＲMDNF34.120.925430.040.838228.970.8025［14］34.700.929230.510.846129.240.8084SＲFBN［9］ＲDN34.710.929630.570.846829.260.8093表3基于深度學習的超分方法在縮放因子為4時的性能對比Set5Set14BSD100MethodsPSNＲSSIMPSNＲSSIMPSNＲSSIMBicubic28.420.810426.000.702725.960.6675［7］SＲCNN30.480.862827.500.751326.900.7101［20］ZSSＲ31.130.879628.010.765127.120.7211［24］31.350.883828.020.767827.290.7252VDSＲ［25］DＲＲN31.680.888828.210.772127.380.7284［13］SＲMDNF31.960.892528.350.778727.490.7337［17］32.270.893828.710.783527.640.7378SＲFeat［14］SＲFBN32.470.898328.810.786827.720.7409［9］ＲDN32.470.899028.810.787127.720.7419

7604云南民族大學學報(自然科學版)第28卷放因子的圖像超分．另一方面，大縮放因子(例如164總結與展望倍)的圖像超分任務也受到廣大研究學者的關注．作為計算機視覺基礎任務之一的圖像超分辨率參考文獻:重建，可以有效輔助于刑偵、醫(yī)療診斷、智慧城市等［1］SZEGEDYC，LIUW，JIAY，etal．Goingdeeperwith實際應用，吸引了學術界和工業(yè)界的廣泛關注．本文convolutions［C］//ProceedingsoftheIEEEConferenceon對最新基于深度學習的圖像超分方法進行梳理，并ComputerVisionandPatternＲecognition．2015:1－9．對比分析了主流基于深度學習的圖像超分方法的性［2］HEK，ZHANGX，ＲENS，etal．Deepresiduallearning能．隨著研究學者們不斷探索，深度學習已在圖像超forimagerecognition［C］//ProceedingsoftheIEEECon-分任務上發(fā)揮了出色性能，但是，基于深度學習的超ferenceonComputerVisionandPatternＲecognition．2016:770－778．分方法仍然存在一些挑戰(zhàn)，這也是未來的研究趨勢:［3］HUANGG，LIUZ，MAATENL，etal．Denselyconnected1)研究新的卷積神經網絡結構．盡管現(xiàn)有基于convolutionalnetworks［C］//ProceedingsoftheIEEECon-深度學習的圖像超分方法已經取得了出色性能，但ferenceonComputerVisionandPatternＲecognition．是如何利用現(xiàn)有技術(如注意力機制、多層卷積特2017:4700－4708．征融合等)構建高效的超分網絡仍然是一個值得探［4］ＲENS，HEK，GIＲSHICKＲ，etal．Fasterr－cnn:To-索的問題．一方面，越多越多的研究學者嘗試將圖像wardsreal－timeobjectdetectionwithregionproposalnet-先驗融入到神經網絡結構設計中;另一方面，隨著神works［C］//AdvancesinNeuralInformationProcessing經架構搜索技術在圖像分類任務中的快速發(fā)展，研Systems．2015:91－99．究學者們也開始研究如何利用神經架構搜索技術自［5］ZHANGS，WENL，BIANX，etal．Single－shotrefine-mentneuralnetworkforobjectdetection［C］//Proceedings動構造高效的圖像超分神經網絡結構．oftheIEEEConferenceonComputerVisionandPattern2)研究新的損失函數(shù)．經典的L1和L2損失函Ｒecognition．2018:4203－4212．數(shù)仍然被廣泛應用于各超分方法中，這類損失關注于［6］LIUS，HUANGD．Ｒeceptivefieldblocknetforaccurate重建圖像和真實圖像之間像素級的誤差，容易使超分andfastobjectdetection［C］//ProceedingsoftheEuropean的圖像過度平滑．由于L1和L2損失函數(shù)無法對圖像ConferenceonComputerVision．2018:385－400．輪廓結構、語義信息等進行建模，研究學者們提出將［7］DONGC，LOYC，HEK，etal．Imagesuper－resolution感知損失、結構相似性等度量用作神經網絡的損失函usingdeepconvolutionalnetworks［J］．IEEEtransactions數(shù)，感知損失可度量2張圖像卷積特征之間的相似onpatternanalysisandmachineintelligence，2015，38性，結構相似性可度量兩張圖像輪廓結構之間的相似(2):295－307．［8］LEDIGC，THEISL，HUSZＲF，etal．Photo－realisticsin-性．但是，現(xiàn)有損失函數(shù)仍然不能充分地對圖像之間gleimagesuper－resolutionusingagenerativeadversarial的內容、語義等信息進行度量，構建適用于圖像超分network［C］//ProceedingsoftheIEEEConferenceonCom-任務的損失函數(shù)一直是學術界和工業(yè)界的研究熱點．puterVisionandPatternＲecognition．2017:4681－4690．3)對實際應用中的低分辨率圖像進行超分．現(xiàn)有［9］ZHANGY，TIANY，KONGY，etal．Ｒesidualdensenet-方法在實際應用中表現(xiàn)不佳，一方面，圖像空間退化模workforimagesuper－resolution［C］//Proceedingsofthe型一般未知;另一方面，低分辨率圖像往往受模糊、圖IEEEConferenceonComputerVisionandPatternＲecogni-像壓縮等因素干擾，使得圖像質量較低．最近，一些研tion．2018:2472－2481．究關注于盲圖像超分，即在空間退化模型未知情況下［10］HUX，MUH，ZHANGX，etal．Meta－SＲ:Amagnifi-進行圖像超分．還有少數(shù)研究學者開始研究使用無監(jiān)cation－arbitrarynetworkforsuper－resolution［C］//Pro-督的學習方式，直接用低分辨率圖像訓練模型，生成高ceedingsoftheIEEEConferenceonComputerVisionandPatternＲecognition．2019:1575－1584．分辨率圖像．如何直接對實際應用中的低分辨率圖像［11］LIMB，SONS，KIMH，etal．Enhanceddeepresidual進行超分，已經逐漸受到研究學者們的關注．networksforsingleimagesuper－resolution［C］//Pro-4)對圖像進行任意縮放因子的超分．一方面，ceedingsoftheIEEEConferenceonComputerVisionand現(xiàn)有基于深度學習的超分方法主要關注于單一縮放PatternＲecognitionWorkshops．2017:136－144．因子的圖像超分(例如2倍超分)，訓練完成的深度［12］ZHANGY，LIK，LIK，etal．Imagesuper－resolution神經網絡僅能進行固定倍數(shù)圖像超分辨率重建．但usingverydeepresidualchannelattentionnetworks［C］//是在實際應用中，往往需要僅用單模型完成任意縮ProceedingsoftheEuropeanConferenceonComputerVi-

8第6期陳文靜，唐軼:基于深度學習的圖像超分辨率重建方法綜述605sion．2018:286－301．tion［C］//ProceedingsoftheIEEEInternationalConfer-［13］ZHANGK，ZUOW，ZHANGL．Learningasingleconvo-enceonComputerVision．2019．lutionalsuper－resolutionnetworkformultipledegrada-［20］SHOCHEＲA，COHENN，LＲANIM．“Zero－shot”su-tions［C］//ProceedingsoftheIEEEConferenceonCom-per－resolutionusingdeepinternallearning［C］//Pro-puterVisionandPatternＲecognition．2018:3262－3271．ceedingsoftheIEEEConferenceonComputerVisionand［14］LIZ，YANGJ，LIUZ，etal．FeedbackNetworkforIm-PatternＲecognition．2018:3118－3126．ageSuper－Ｒesolution［C］//ProceedingsoftheIEEE［21］BEVILACQUAM，ＲOUMYA，GUILLEMOTC，etal．ConferenceonComputerVisionandPatternＲecognition．Low－complexitysingle－imagesuper－resolutionbased2019:3867－3876．onnonnegativeneighborembedding［C］//Proceedingsof［15］CHUX，ZHANGB，MaH，etal．Fast，accurateandtheBritishMachineVisionConference．2012:1－10．lightweightsuper－resolutionwithneuralarchitecture［22］ZEYDEＲ，ELADM，PＲOTTEＲM．Onsingleimagesearch［EB/OL］．(2019－01－24)［2019－08－28］．scale－upusingsparse－representations［C］//Internation-https://arxiv．org/abs/1901．07261．alConferenceonCurvesandSurfaces．2010:711－730．［16］GOODFELLOWI，POUGET－ABADIEJ，MIＲZAM，et［23］MAＲTIND，F(xiàn)OWLKESC，TALD，etal．Adatabaseofal．Generativeadversarialnets［C］//AdvancesinNeuralhumansegmentednaturalimagesanditsapplicationtoe-InformationProcessingSystems．2014:2672－2680．valuatingsegmentationalgorithmsandmeasuringecologi-［17］PAＲKSJ，SONH，CHOS，etal．Srfeat:Singleimagecalstatistics［C］//ProceedingsoftheIEEEInternationalsuper－resolutionwithfeaturediscrimination［C］//Pro-ConferenceonComputerVision．2001:416－423．ceedingsoftheEuropeanConferenceonComputerVision．［24］KIMJ，KWONLEEJ，MULEEK．Accurateimagesu-2018:439－455．per－resolutionusingverydeepconvolutionalnetworks［18］UPADHYAYU，AWATES．Ｒobustsuper－resolution［C］//ProceedingsoftheIEEEConferenceonComputergan，withmanifold－basedandperceptionloss［C］//Pro-VisionandPatternＲecognition．2016:1646－1654．ceedingsoftheIEEEInternationalSymposiumonBiomed-［25］TAIY，YANGJ，LIUX．Imagesuper－resolutionviaicalImaging，2019:1372－1376．deeprecursiveresidualnetwork［C］//Proceedingsofthe［19］LUTIOＲ，D＇AＲONCOS，WEGNEＲJ，etal．Guidedsu-IEEEConferenceonComputerVisionandPatternＲecog-per－resolutionasalearnedpixel－to－pixeltransforma-nition．2017:3147－3155．Asummaryreviewofthemethodsforimagesuper－resolutionreconstructionbasedondeeplearning1，23ChenWen-jing，TangYi(1．KeyLaboratoryofSpectralImagingTechnology，Xi’anInstituteofOpticsandPrecisionMechanics，ChineseAcademyofSciences，Xi’an710119，China;2．UniversityofChineseAcademyofSciences，Beijing100049，China;3．YunnanMinzuUniversity，Kunming650500，China)Abstract:Imagesuper-resolutionreconstructionreferstothereconstructionofcorrespondinghigh-resolutionimagesfromobservedlow-resolutionimagesandhasimportantapplicationvalueinmanyfields，suchastargetdetection，medicalim-aging，andsatelliteremotesensing．Inrecentyears，withthefastdevelopmentofdeeplearning，significantprogresshasbeenmadeinthemethodsforimagesuper-resolutionreconstructionbasedondeeplearning．Inordertograspthecurrentdevelopmentandresearchhotspotsinthisfield，thelatestmethodsareroughlydividedintotwocategories(supervisedandunsupervised)tobedescribedinthisreview．Then，theperformanceofthemainstreammethodsiscomparedincon-nectionwiththepubliclyavailablebenchmarkdatabases．Finally，themethodsforimagesuper-resolutionreconstructionbasedondeeplearningaresummarized，andfutureresearchtrendsarepredicted．Keywords:imagesuper-resolutionreconstruction;deeplearning;convolutionalneuralnetwork(CNN);genera-tiveadversarialnetwork(GAN)(責任編輯段鵬)