系列文章目录

文章目录

系列文章目录【阅读笔记】【知识蒸馏】Self-Knowledge Distillation with Progressive Refinement of TargetsAbstractIntroduction相关工作自知识蒸馏（Self-Knowledge Distillation）3.1 知识蒸馏作为软目标3.2 从上一次预测中蒸馏知识理论支持实现

4 实验结果4.1 CIFAR-100 分类实验设置实验Metrics实验结果

4.2 ImageNet 分类任务实验设置结果

4.3 目标检测4.4 机器翻译

5 结论

【阅读笔记】【知识蒸馏】Self-Knowledge Distillation with Progressive Refinement of Targets

阅读笔记，非全文翻译

问题

KL散度

Abstract

提出了一个简单有效的正则方法：Progressive self-knowledge distillation (PS-KD)，在训练过程中蒸馏自己的知识。一个模型既是教师，也是学生，即自己教自己。训练目标是由ground-truth和模型自己之前预测的结果组合而成的除了提升accuracy准确率，PS-KD还对calibration等指标有帮助开源代码

Introduction

标签平滑LS的问题：有无更有效的方法来平滑标签，以获得更informative的标签作者提出PS-KD，从模型自身中蒸馏出知识来软化标签，再训练自己即使教师不如学生，学生也可以被加强PS-KD可以被用在任意监督学习上，只要他的方法是使用groundtruth作为硬标签

相关工作

KD是用更大更好的网络产生软目标来训练学生网络有人尝试用学生自己训练自己，称为self-knowledge distillation有人尝试以减小相似图片特征的距离来训练网络有人提出class-wise self KD，关注同类别的样本，最小化两个样本在训练过程中的KL散度，该方法过拟合严重有人提出再生神经网络BANs有人提出TF-KD方法，用预训练的学生作为一个老师有人把DNN划分成几个块，然后分别加上辅助的分类器有人在特定epoch做一个snapshot作为老师本文的PS-KD：①不需要pretrained，如BANs和TFKD；②可以简单应用到监督学习上；③即使学生被一个poor的教师知道，KD也能起作用，使学生表现（更？）好

自知识蒸馏（Self-Knowledge Distillation）

3.1 知识蒸馏作为软目标

3.2 从上一次预测中蒸馏知识

加强泛化能力使用t-1代的模型作为老师，因为它能提供最有价值的信息α控制了我们有多相信从老师那里获取的知识PS-KD（本文方法）中，老师的可信赖度是在变化的，因此alpha要变化，逐渐增加最终的Loss：

理论支持

略

实现

用上一轮的模型，而不是保存上一轮的预测结果（太大了）

4 实验结果

4.1 CIFAR-100 分类

实验设置

实验Metrics

top1、top5作为准确率NLL，ECE，AURC（越低越好）作为confidence的度量

实验结果

4.2 ImageNet 分类任务

尽管t-1代的知识可能过时了（因为t代会使用很多数据再学习一遍），但还是观察到了PS-KD对结果的提升。

实验设置

ResNet深度152，其他略

结果

PS-KD不管是分类对了还是错了，在看起来相似的类别上，都有更高的预测概率baseline过度自信，分类错了

4.3 目标检测

DatasetBaseline：Faster R-CNN，VGG-16换成ResNet-152Methods：ResNet-152，with LS，PSKD，CSKD，TFKD，PSKD+CutMix ResNet-152 with PSKD显著提升性能。PSKD with CutMix效果更好。以上结果，只是替换了检测算法中的backbone network （VGG16–>Resnet152），PSKD使backbone network更强壮

4.4 机器翻译

翻译实验（【疑问】分类在token级别，而不是input级别）Baseline：Transformer PSKD得到了最好的BLEU分数

5 结论

提供了理论证明

参考阅读

评论可见，请评论后查看内容，谢谢！！！
 您阅读本篇文章共花了：