《表3 基准数据集中不同超分辨算法的平均PSNR和SSIM对比(尺度因子为×4)》
不同于单幅图像超分辨,视频超分辨(Video super?resolution,VSR)利用低分辨率视频序列重建得到高分辨率视频序列。早期的视频超分辨方法通常将该任务视为一个优化问题,需要反复迭代求解,计算量较大。而近年来,很多学者则利用深度学习去构建视频帧序列之间的时空依赖关系。这些方法大体可以分为两类:一是基于运行补偿的算法;二是基于递归的算法,无需显式地计算光流或运动补偿。对于基于运动补偿的方法,Caballero等[101]使用一个多分辨率空间变换模块来估计运行补偿,并将此与低分辨图像帧序列相结合,输入到ESPCN网络模块[78]中,从而得到重建结果。Tao等[102]则将亚像素运动补偿模块嵌入卷积神经网络模型中,通过端到端的方式,同时学习运动补偿和完成超分辨率重建,从而能够更好地从多帧图像中恢复出细节信息。对于基于递归的方法,Jo等[103]使用一个端到端的卷积网络模型,通过计算图像像素的局部时空邻域关系,同时生成动态上采样滤波器和残差图,从而避免显式地计算运动补偿。Sajjadi等[104]提出了一个帧递归视频超分辨框架,通过利用先前估计出的高分辨率图像帧辅助后续高分辨率图像帧的估计。Yi等[105]则提出逐步融合网络以充分利用视频帧序列之间的时空信息,并引入非局部网络[106]去学习视频帧序列间的长距离依赖关系。
图表编号 | XD00138091800 严禁用于非法目的 |
---|---|
绘制时间 | 2020.01.01 |
作者 | 史振威、雷森 |
绘制单位 | 北京航空航天大学宇航学院图像处理中心、北京航空航天大学宇航学院图像处理中心 |
更多格式 | 高清、无水印(增值服务) |