导图社区 单幅图像无监督的超分辨率技术
这是一篇关于单幅图像无监督的超分辨率技术的思维导图,可收藏,亦可使用后补充知识点,完善属于自己的知识框架。
编辑于2022-11-05 22:59:02 四川省单幅图像无监督的超分辨率技术 Unsupervised Single Image Super-resolution
背景
所属框架
超分辨率技术分类
图像恢复是ill-posed问题:不满足条件之一(统一初始条件下解存在、唯一、稳定) 超分辨是其解决方法之一
病态问题的正则化,使数值解稳定
应用需求:细化交通时空图
时空采样数据具有稀疏性,不能构建兼具高分辨率和高精度的交通时空图
为保证一定精度,生成低分辨率时空图,亟待进一步细化
应用特点:单幅图、无监督or自监督
数据
合成数据集
基于HR、LR图像生成的以训练为目的的数据集
真实数据集
基于原始交通采集数据数据初步生成的TS图,一般是LR,不排除有少部分HR
方法
Interpolation-based 作为预处理
通过预定义的数学公式从 LR 输入生成 HR 图像,无需训练数据 good smooth, insufficient large grandients along edges and high-frequency regions(such as textures)
bicubic, bilinear, Lanczos
Reconstruction-based 利用先验信息并形成图像模型 作为 HR 图像重建的约束
Edge/Gradient Based Methods
从边缘特征中学习先验以重建 HR 图像 重建的 HR 图像具有高质量的边缘 具有适当的清晰度和有限的伪影 边缘先验对于建模其他高频结构(如纹理)效果较差
迭代反投影 (IBP)
梯度分布先验gradient profile prior
反卷积
正则化
Learning-based 利用外部或内部信息,学习映射函数
有监督
Degradation Modeling
预定义退化模型,基于HR图像生成成对的HR-LR训练数据
Image Pairs
直接收集同一场景的不同分辨率(LR和HR)的图像
Self-Learning 自监督
其他方法使用的都是外部数据(paired or unpaired) 基于自学习的方法仅使用内部数据
“Zero-Shot” SR (ZSSR)
基于信息的跨尺度内部递归,这是自然图像的共同属性
从 LR 测试图像及其退化版本中,提取的示例对 通过数据增强获得足够多的合成LR测试图像
退化过程(模糊核)优化:基于ZSSR插入GAN(KernelGAN)
联合优化退化和SR过程:DBPI+SR
特点
耗时➡️meta-learning
元迁移学习过程旨在在模型无关元学习之后(following the Model-Agnostic Meta-Learning),为内部学习找到一个通用的初始点,使模型可以在几次梯度更新内快速适应新的图像条件
无监督
Domain Translation
LR和HR之间没有对应关系
one-stage method
稀疏编码
基于 GAN 的网络 USISRNet
由于多种损失的组合,实现了良好的泛化能力
循环一致性约束的 GAN
HR-to-LR、LR-to-HR的联合训练
使用合成 LR 图像作为训练阶段的桥梁
two-stage method 针对合成数据应用的问题, 将合成 LR 图像域(SLRD)作为relay station
Cycle-in-Cycle GAN (CinCGAN)
在 SR 重建阶段采用通用 SR 方法, 以便从从大规模数据集中学习的预训练 SR 模型中受益
优化从LR到SLR的过程:CinCGAN
应用未配对的训练数据抑制噪声 实现了与监督方法相当的 SR 性能
分别优化LR-SLR、SR过程:MCinCGAN
引入用于大规模上采样的渐进式多周期框架 和抑制训练中颜色波动的新约束来改进
DDGAN
进一步结合了像素损失、VGG特征损失和SSIM损失来衡量相似度, 提出了一种同时考虑噪声、纹理和颜色的域鉴别器
联合优化LR-SLR、SR过程: UISRPS
方法集
传统经典方法
weighted average, kernel regression, support vector regression, Gaussian process regression sparse dictionary representation, Markov Random Fields, and Conditional Random Fields
深度学习 实现端到端的建模,但忽略先验
多层协作自动编码器,用于自相似补丁的稳健匹配
深度卷积神经网络 (CNN) 和反卷积网络旨在以类似于耦合稀疏编码的方式直接学习LR-to-HR
评价指标 聚焦客观指标
全参考质量指标 将输入图像与没有失真的原始参考图像进行比较
RMSE
易于计算
峰值信噪比PSNR
易于计算,图像恢复广泛使用的客观指标
结构相似性SSIM
考虑亮度、对比度、结构,与主观得分接近
信息保真标准IFC
联合使用自然场景和失真模型来量化测试图像和参考图像之间的matual信息来测量图像的视觉质量
学习的感知图块相似度LPIPS
在深度特征空间(deep feature space)中计算参考图像和测试图像之间的 l2 距离获得的
无参考质量指标 输入图像的统计特征
自然图像质量评估器NIQE
一个完全blind的度量 没有人类判断或失真的知识
多元高斯 (MVG) 模型用于拟合从图像中提取的“质量感知”特征 这些特征包括表征图像块行为的广义高斯分布 (GGD) 和非对称广义高斯分布 (AGGD) 的参数 使用拟合自然图像(目标图像)和评估图像的两个 MVG 模型之间的距离来测量图像的质量
基于感知的图像质量评估器PIQE
考虑人类视觉系统高度指向空间活动区域
提供空间质量图,将测试图像划分为不重叠的块 并进行块级分析以识别失真和等级质量
无参考质量度量NRQM
提取局部频率特征、全局频率特征和空间特征。选取的特征包括离散余弦变换系数的分布、小波系数的分布、像素强度的空间不连续性等。在此基础上,采用三个回归森林对这些特征进行独立建模,并将其结果线性组合来估计最终的感知分数。这三个森林和线性回归模型在具有感知分数的超分辨率图像的大规模数据集上进行训练
思考
observation和ground truth?
非配对图像LR-HR和合成图像SLR的来源?已有其他HR交通TS图和算法生成?
精度指标与前期交通TS图的统一?
SR过程对拥堵流和自由流分别建模?
交通TS图特征的挖掘,交通领域先验知识与现有针对真实世界图像的超分辨技术的结合(伪影、过度平滑、过度锐化)
评价指标的改进,将真实世界主观得分转换为交通时空图领域中的“主观”得分
SR 问题的专业知识,例如自然(交通)图像先验,在基于深度学习的方法中很大程度上被忽略了,值得研究是否可以使用领域专业知识来设计更好的深度模型架构,或者是否可以利用深度学习来提高handcrafted模型的质量
技术细节论文参考
SR 性能与测试数据和训练数据之间的一致性紧密相关