图像修复综述

数码世界中，图像修复指利用复杂的 算法 来替换已丢失、损坏的图像数据，主要替换一些小区域和瑕疵。图像修复技术综述思维导图，作业之一，供大家参考

图像修复方法

• 传统图像修复方法
  • 基于扩散的方法
    • 基于偏微分PDE的修复技术：利用热扩散方程将已知信息传播到修补区域
      • 用三阶偏微分方程模拟平滑传输过程的BSCB模型
        • 7
      • 利用曲率扩散强度的CDD模型
        • 8
    • 基于几何图像模型的变分修复技术：建立先验和数据模型再利用数学知识将问题转化为泛函求极值的变分问题
      • 全变分(Total Variation, TV)模型
        • 9
      • Euler's elastica 模型
        • 10
      • Mumford-Shah 模型
        • 11
      • Mumford-Shah-Euler 模型
        • 12
      • 【补充知识】：这种特殊函数即“函数的函数”，称为泛函，求泛函的极值问题称为变分问题。 最经典的问题是滑梯时间问题
  • 基于样本的方法
    • 基于纹理合成的图像修复算法
      • 思路1：将图像分解为结构部分与纹理部分
        • 结构部分基于变分PDE修复
          • 14，15
        • 纹理部分采用纹理合成修复
          • 14，15
      • 思路2：设计匹配原则，全局搜索出与待修复区域匹配相似度最高的图像块来填充缺失区域
        • 16-22
    • 基于数据驱动的图像修复算法
      • 采用大型的外部数据库或网络查询具有视觉相似性的相似图形用于修补
        • 23，24
• 基于深度学习的新型图像修复方法
  • 基于网络结构的方法
    • 用一个随机初始化未训练的生成网络去拟合待修复图像，对单张破损图像的已知内容进行训练，将网络结构本身作为唯一的先验信息，不断迭代并反推出图像缺失区域的内容
  • 基于生成模型的方法
    • 利用训练好的生成模型的强大的图像生成能力，基于破损图像已知先验分布推测未知分布的修复方法
  • 基于自编码的方法
    • 基于网络优化的方法
      • 编码-解码结构
        • 改进卷积算子提升效果
          • 普通卷积
            • 图像全卷积，包括破损和有效元素
          • 部分卷积
            • 用自动掩膜(mask)识别有效像素进行卷积
        • 加入优化模块来提升效果
          • 基于Context Encoder网络，增加全局判别器使修补符合全局语义
            • 33
      • U-Net结构
    • 基于注意力机制的方法
      • 在编码-解码架构上通过引入注意力机制，在特征空间中寻找与未知区域最相似的特征匹配块来合成图像完整特征，从而提升图像修复细节的效果
    • 基于结构信息约束的方法
      • 先提取图像结构信息，再利用结构信息引导缺失区域的内容修复
• 参考文献:
  • [1] 强振平,何丽波,陈旭,等. 深度学习图像修复方法综述[J]. 中国图象图形学报, 2019, 24(3): 447-463.
  • [2] 赵露露,沈玲,洪日昌. 图像修复研究进展综述[J]. 计算机科学, 2021, 48(3): 14-26.
  • [3] 吴晓军,李功清. 基于样本和线性结构信息的大范围图像修复算法[J]. 电子学报, 2012, 40(8): 1509-1514.
  • [4] Criminisi A, Pérez P, et al．Object removal by exemplar-based inpainting[A]．CVPR[C]．Madison, WI, USA: IEEE Computer Society, 2003.2:721－728.
  • [5] Criminisi A, Pérez P, et al． Region filling and object removal by exemplar-based image inpainting[J]. IEEE Transactionson Image Processing, 2004,13(9): 1200-1212.
  • [6]胡海平,刘晓振.一种基于非局部BSCB模型的图像修复方法[J].应用数学与计算数学学报,2015,29(03):374-382.
  • [7]彭坤杨,董兰芳. 一种基于图像平均灰度值的快速图像修复算法[J]. 中国图象图形学报, 2010, 15(1): 50-55.
  • [8]黄雅隽. 基于范例匹配与填充的复杂物体图像修复方法[D]. 中山大学, 2015.
  • [9]李建民,汪琦,林振荣,袁梁.改进的CDD图像修复模型算法[J].计算机工程与设计,2018,39(08):2564-2569.
  • [10]许威威,潘志庚,张明敏.一种基于整体变分的图象修补算法[J].中国图象图形学报,2002(04):41-45.
  • [11]邵肖伟,刘政凯,宋璧.一种基于TV模型的自适应图像修复方法[J].电路与系统学报,2004(02):113-117.
  • [12]IIZUKA S, SIMO-SERRA E, ISHIKAWA H. Globally and locally consistent image completion[J]. ACM Transactions on Graphics(ToG), 2017, 36(4): 1-14.
  • [13]CAIN, SU Z, LIN Z, etal. Blind inpainting using the fully convolutional neural network[J]. The Visual Computer, 2017, 33(2):2 49-261.
  • [14]WANG Y, CHEN Y C, TAO X,etal. VCNet:A Robust Approach to Blind Image Inpainting[J]. arXiv: 2003.06816,2020.
  • [15]高杰,霍智勇.一种门控卷积生成对抗网络的图像修复算法[J/OL].西安电子科技大学学报:1-9[2021-11-12].http://kns.cnki.net/kcms/detail/61.1076.TN.20211109.1219.003.html.
  • [16] Yeh Ｒ A，Chen C，Lim T Y，et al． Semantic image inpainting with deep generative models［C］/ /Proceedings of 2017 IEEE Conference on Computer Vision and Pattern Ｒecognition． Honolulu，HI，USA: IEEE，2017:6882-6890.
  • [17] Burlin C，Le Calonnec Y，Duperier L． Deep image inpainting ［EB /OL］． 2017-07-02［2018-06-19］． http: / /cs231n． standford． edu / reports/2017 / pdfs/328． pdf．
  • [18]Sen Liu, Zongyu Guo, Jiale Chen, Tao Yu, Zhibo Chen. Interleaved Zooming Network for Image Inpainting [C]. IEEE International Conference on Multimedia and Expo (ICME) 2019 : 10.1109/ICMEW.2019.00131
  • [19]Li Yu,Yu Xiuyuan,Bao Qiliang. Image Inpainting Algorithm Based on Neural Network and Attention Mechanism[A]. International Association of Applied Science and Engineering.Proceedings of 2019 2nd International Conference on Algorithms, Computing and Artificial Intelligence (ACAI 2019)[C].International Association of Applied Science and Engineering:成都青恒景逸会务服务有限公司,2019:5.
  • [20]J. A. Dobrosotskaya and A. L. Bertozzi. A Wavelet-Laplace Variational Technique for Image Deconvolution and Inpainting[J]. IEEE Transactions on Image Processing, vol. 17, no. 5, pp. 657-663, May 2008, doi: 10.1109/TIP.2008.919367.
  • [21]Qing Lin, Bo Yan, Jichun Li, and Weimin Tan. 2020. MMFL: Multimodal Fusion Learning for Text-Guided Image Inpainting[C]. In Proceedings of the 28th ACM International Conference on Multimedia (MM '20). Association for Computing Machinery, New York, NY, USA, 1094–1102. DOI:https://doi.org/10.1145/3394171.3413982