论文地址：https://arxiv.org/abs/2201.11279 代码地址：https://github.com/zudi-lin/rcan-it

论文小结

  本文的工作，就是重新审视之前的RCAN，然后做实验来规范化SR任务的训练流程。

  此外，作者得出一个结论：尽管RCAN是一个非常大的SR架构，拥有超过400个卷积层，但作者认为限制模型能力的主要问题仍然是欠拟合而不是过拟合。

  增加训练迭代次数，能明显提高模型性能。而应用正则化技术通常会降低预测结果。作者将自己的模型表示为RCAN-it。（Residual Channel Attention Network，-it stands for imporved training）

  总得来说，收获点就一句话：模型性能受限于欠拟合而不是过拟合。所以使用更大的训练步幅（因为原始训练没陷入长时间的收敛平原，仍在缓慢上升），减少使用正则化技术。

论文简介

  通过更先进的训练策略，本文使用RCAN，在Manga109数据集的

×

2

\times2

×2任务上得到了

0.44

d

B

0.44 dB

0.44dB的PSNR值提升，达到了

39.88

d

B

39.88dB

39.88dB。这个指标已经足够优秀，可以媲美或者超过SOTA算法，比如CRAN和SwinIR。   结合自集成推断（self-ensemble inference），PSNR可以进一步提升到

40.04

d

B

40.04dB

40.04dB，优于现有的所有方法，不管带不带自集成推断结构。

  在广泛使用的DF2K数据集上，作者发现模型性能受限于欠拟合而不是过拟合。所以，作者基于这个观察，可以得出几个结论：   首先，简单地增加训练迭代次数可以明显提高分数，而正则化技术通常会降低SR模型的性能。   其次，使用最先进的优化器和学习率调度策略的大批量训练方案（large-batch training scheme），该模型可以在减少4倍的训练时间情况下，匹配原始的训练结果。   第三，将ReLU更改为SiLU，这样简单的架构修改，可以实现延长两倍训练时间的类似训练结果。   第四，使用

×

2

\times2

×2模型作为

×

3

\times3

×3模型和

×

4

\times4

×4模型的初始化，可以减少训练时间和成本，同时仍然获得有竞争力的性能。

  有一些工作为了保证训练的稳定性，使用warm-up技术来避免学习率突然上升。   像LAMB这样的优化器，通过分层自适应机制对Adam优化器进行了改进。

  与超分任务不同，图像识别的主要挑战是过度拟合。所以权重衰减、更强的数据增强，Mixup和随机深度等正则化技术通常会提高深度分类模型的准确性。本文证明了深度超分模型的性能受到欠拟合的限制。

方法介绍

网络结构

  RCAN是当时较为流行的一种SR架构，其是对EDSR等工作进行了三点主要改进。   （1）它在每个残差块的第二个

3

×

3

3\times3

3×3卷积层之后使用SE Blocks（squeeze-excitation）或者channel-attention block来对不同通道进行重新加权。   （2）它有新颖的残差设计，其带有长跳跃连接，以绕过低频信息并有利于更好地学习高频细节。   （3）RCAN是一个非常深的架构，具有很大的模型容量，因为它有

200

200

200个残差块和

400

400

400多个卷积层。

  本文的工作基本保持RCAN架构不变。在架构角度上，唯一的修改就是使用SiLU（Sigmoid Linear Unit，也成为了Swish）激活函数代替了原始的ReLU激活函数。Swish激活函数的表示如下：其中

σ

(

x

)

\sigma(x)

σ(x)是sigmoid函数。

f

(

x

)

=

x

∗

σ

(

x

)

(1)

f(x)=x*\sigma(x)\tag{1}

f(x)=x∗σ(x)(1)

训练策略

大batchSize优化器

  原始的RCAN训练策略是使用Adam优化器，小的batchSize（

B

S

=

16

BS=16

BS=16），小的学习率（

η

=

1

0

−

4

\eta=10^{-4}

η=10−4）。这个训练组合收敛缓慢，大概需要在单个GPU上收敛

7

7

7天。所以作者先使用多GPU训练，以支持大的batchSize。由于梯度更新下降的总数减少，所以应用了一个线性缩放规则：mini-batchSize放大了

k

k

k倍，那么学习率也乘以

k

k

k倍。   为了训练稳定性，作者使用

L

a

m

b

Lamb

Lamb优化器，这是一种专为大批量（large-batch）训练而设计的分层自适应优化器。同时还使用余弦退火代替了原始的多步学习率调度器，其唯一超参数就是迭代（或epochs）的总数。通过采用这些技术，作者有效地将batchSize大小增大了

16

16

16倍，并通过并行性大大节省了训练时间。

更长的训练

  作者发现（如下图左所示），RCAN在baseline训练管道要结束的时候，RCAN的验证集PSNR指标仍在提高，这表明仍存在欠拟合问题。所以增加训练迭代次数，可以有效地减轻欠拟合问题。

大patchSize进行finetune

  在Swinir有验证，使用更大patchSize的patch能提高性能。

  但增大输入的长宽尺寸会带来GPU内存的急剧上升，导致训练耗时增加，甚至在硬件预算上不可行。   所以，作者将训练管道分为了两个阶段，（1）正常的patchSize尺寸（

48

×

48

48\times48

48×48）；（2）更大的patchSize尺寸（

64

×

64

64\times64

64×64）用于finetune，同时使用更少的迭代次数。在更大的patchSize尺寸时，为了满足GPU内存，会缩小batchSize。

正则化技术

  测试了一些数据增强技术，mixup，随机深度，随机翻转和通道打乱（channel shuffle）。mixup使用Beta(

0.15

,

0.15

0.15,0.15

0.15,0.15)来生成随机插值权重。对于随机深度，作者使用

0.5

0.5

0.5的概率随机跳过一个残差块。

  尽管增加正则化可以有效地提高图像识别大模型的性能，但作者发现RCAN并不能从正则化中收益。因为它会出现欠拟合，而不是过拟合。

热启动

  RCAN对于

×

2

，

×

3

，

×

4

\times2，\times3，\times4

×2，×3，×4模型的主体结构是一样的，除了最后的预测模块（一个卷积和pixel shuffle）。所以可以使用

×

2

\times2

×2的权重为

×

3

\times3

×3模型和

×

4

\times4

×4模型进行初始化。

  训练的时候，由于尾部的预测模块不同。所以可以先将主体结构进行冻结，只finetune尾部的预测模块（速度快，只需要不到

1

1

1小时），然后再一起finetune整个模型。

论文实验

原论文实验管道和超参数更变

  使用DF2K数据集用于训练，DF2K由DIV2K和Flickr2K组成，总共3550张图像。验证集为Set5、Set14、B100、Urban100、Manga109。指标评价选择PSNR和SSIM。指标评估的颜色空间为YCbCr空间的Y通道。损失函数都采用

L

1

L1

L1函数。使用随机水平和垂直翻转

  模型选择的是RCAN，有

10

10

10个残差组（residual groups, RG），每个残差组有20个残差模块和一个卷积层。所有卷积层的通道数为

64

64

64，除了输入和上采样层。

  原始训练策略是batchSize为

16

16

16，学习率为

η

=

1

0

−

4

\eta=10^{-4}

η=10−4，优化器为Adam（

β

1

=

0.9

,

β

2

=

0.999

\beta_1=0.9,\beta_2=0.999

β1​=0.9,β2​=0.999），训练

1725

K

1725K

1725K次迭代，每经过

20

%

20\%

20%次迭代衰减一半的学习率。   本文的训练策略更改为batchSize为

64

64

64，学习率

η

\eta

η使用线性所发规则。为了训练的稳定性，将Adam优化器更改为Lamb优化器。原始训练策略使用1张V100的GPU，作者使用4张。经过了

80

K

80K

80K次迭代，训练了1.6天。

  由下表的对比可以看出，如果学习率

η

\eta

η是严格遵守线性缩放规则（

0.0016

=

256

16

∗

1

0

−

4

0.0016=\frac{256}{16}*10^{-4}

0.0016=16256​∗10−4），那么对比原有的管道，会有指标上的性能差异。但如果使用

2

∗

1

0

−

4

2*10^{-4}

2∗10−4作为起始点，即

0.0032

=

256

16

∗

2

∗

1

0

−

4

0.0032=\frac{256}{16}*2*10^{-4}

0.0032=16256​∗2∗10−4，那么就有和原始管道相近的性能，但只使用

23

%

23\%

23%的时间。所以，本文的baseline超参数为

B

S

=

16

，

η

=

0.0032

BS=16，\eta=0.0032

BS=16，η=0.0032。需要注意的是，这个RCAN指标是比原论文高的。因为其使用了更大的数据集（DF2K），原文只使用了DIV2K数据集。黑盒测试数值，无实际参考意义。

  另外，作者注意到 ，使用更大的学习率会造成训练的不稳定。比如当

η

=

0.0064

\eta=0.0064

η=0.0064时，在大约

2

K

2K

2K次迭代之后，会陷入无法收敛阶段（NaN）。当

η

=

0.0048

\eta=0.0048

η=0.0048时，在大约

16

K

16K

16K次迭代后会陷入无法收敛阶段（NaN）。

训练管道修改

消融学习

  下表展示了架构修改、训练策略修改、正则化变化的消融学习。   对PSNR指标的增长有用的训练策略调整为：激活函数从ReLU改为SiLU，更长的训练周期（训练RCAN共

160

K

160K

160K，是baseline的两倍），使用更大patchSize输入进行finetune。这三个更改，对五个验证集都有指标的提升，且是相互独立的。三个更改平均能带来

0.042

d

B

0.042dB

0.042dB的提升。

  同时，从上表可以看出，一些数据增强，都是会降低验证集的PSNR指标的。

集成效果

  三个训练策略的组合带来的指标效果如下表所示：组合起来也带来提升。最后一行 Oracle结果，是在每个测试集上分别finetune的结果，也就是过拟合的结果，用以查看RCAN的上限值的。本文最好的RCAN效果和Oracle对比，仍有

0.388

0.388

0.388的PSNR指标差距。这表明，即使使用相对“过时”的RCAN架构，仍有很大的改进空间。

  另外，已知Set5数据集有JPEG伪影，Manga数据集由漫画图像组成（合并本封面，是彩色的）。

相关训练结果

  warm start的训练，以及扩大训练迭代次数的结果如下表。

  RCAN、RCAN-it与当时其他的SOTA超分算法进行定量对比。

  在公开数据集上的可视化对比。

  具体来说，RCAN-it 重建了具有更高对比度的条带图案，而其他方法往往会产生不切实际的伪影（图 3，第 4 行）。 此外，在以前的模型中可以消除背景对比度较低的结构，而本文的 RCAN-it 可以保留它们（图 3，第一行）。 请注意，除了激活函数的小修改之外，RCAN-it 与现有方法相比，只需更好的训练即可重建高频细节，而不是引入专门用于学习高频分量的新模块或结构。

推荐阅读

评论可见，请评论后查看内容，谢谢！！！
 您阅读本篇文章共花了：