noah,即插即用新卷积:提高CNN功能、速度翻倍,柳俊烈

admin 3个月前 ( 04-20 07:33 ) 0条评论
摘要: 即插即用新卷积:提升CNN性能、速度翻倍...

近期,来自 Faceboo暴食巫主k AI、新加坡国立大学、奇虎 360 的研讨人员联合提出了一种新的卷积操作 (OctConv),用于代替现有的通用卷楚乔传蒙枫结局积。这款新卷积不只占用更少的内存和核算,还有助于进步功用。

卷积神经网络(CNN)在许多核算机视觉使命中都取得了杰出的成果,可是高精确率的背面,冰饭的做法却是很高的冗余度和不行忽视的核算开支。

图 1. 现有的卷积操作(1x1 卷积)

关于一个卷积操作而言(图 1),每个方位都是由一个 D 维特征向量 标明,而特征提取,则是经过滑动卷积,对每个方位别离处理得到对应的特征。

可是,这种为每个方位都别离存储一份特征表达,并别离逐个处理的战略显着是不合理的。因为,关于图画而言,相邻方位往往描绘的是noah,即插即用新卷积:进步CNN功用、速度翻倍,柳俊烈同一个语义,然后同享一部分特征。

图 2. AlexNet 的第一层卷积核

于此同掼蛋团团转时,CNN 所学习到的卷刘桢梁甫行原文积核,也并非满是高频卷积核,如 图 2 所示。这意味着,一部分卷积专心于提取「低频特征」,而另一部分则专心于提取「高频特征」。关于低频卷积所对应的特征图而言,咱们或许只需要保存它的低频信号即可,没必要存储在高分辨率下的特征图。

图 3. 本文的:(a) 首要动机; (b,c女排新星颜值逆天) 新的特征表达方式;(d) OctConv

如图 3 所示,本文提出将 特征图分为两组:低频特征(蓝色)和 高频特征(橙红),并将空间上改变较为缓慢的「低频特征图」存储在低分辨率的张量中,共noah,即插即用新卷积:进步CNN功用、速度翻倍,柳俊烈享相邻方位间的特征。而本文所提出的 OctConv 则是一种可以直接作用在该特征表达下的卷积操作。它包含每个频率本身状况的更新(绿色箭头),以及频率间的信息交互(赤色箭头)。

图 4. OctConv 的规划细节

Octave Convolution(Oct郑州威威文娱广场Conv)的命名应该是受到了 SIFT 特征的启示。而 Octnoah,即插即用新卷积:进步CNN功用、速度翻倍,柳俊烈ave 是八个音阶的意思,音乐里降 8 个音阶代表频率折半。本文经过一个 Octave 将 高频 和 低频 特征阻隔到不同的组中,并将低频的分辨率折半。

研讨人员指出 OctConv 可以直接用于代替现有卷积,而且即插即用,无需调参,也不影响 CNN 的网络结构以及模型巨细。因为 OctConv 专心于下降 CNN 空间维度上的冗余,因而它与现有专心于网络拓补结构规划,以及削减网络特征简单的办法是正交和互补的。

试验标明,用 OctConv 代替一般卷积可以安稳进步现有的 2D CNN 网络(包含 ResNet、ResNeXt、DenseNet、MobileNet、SE-Net)进步其在 ImageNet 上的图画辨认的功用,此外也可以安稳进步 3D CNN 网络(C2D、 I3D)并在 Kinetics(行视频动作辨认数据集)上取得了更佳的功用。装备了 OctConv 的 Oct-ResNet-152 乃至可以比美当时最佳的主动查找的网络 (NAS, 铃木隼和六眼魔神谁快PNAS 等)。

论文:Drop an Octave: Reducing Spatial Redundancy in Convolutional Neural Networks with Octave Convolution

  • 论文地址:https://export.arxiv.org/pnoah,即插即用新卷积:进步CNN功用、速度翻倍,柳俊烈df/1904.05049
  • 第三方复现成果:https枪恋33天://github.com/terrychenism/OctaveConv

在天然图画中,信息以不同的频率传输,其间较高频率通常以细节进行编码,而较低频率通常以全体结构进行编码。同样地,一个卷积层的输出特征图也可视为不同频率的信息混合。

在本文中,研讨人员提出根据频率对混合特征图进行分化,并规划了一种新的 Octave 卷积(OctConv)操作,以存储和处理较低空间芙蓉王妃花轿错嫁分辨率下空间改变「较慢」的特征图,然后下降内存和核算成本。

与现有多标准办法不同,OctConv 是一种单一、通用和即插即用的卷积单元,可以直接代替(一般)卷积,而无需对网络架构进行noah,即插即用新卷积:进步CNN功用、速度翻倍,柳俊烈任何调整。OctConv 与那些用于构建更优拓扑或许削减分组或深度卷积中通道冗余的办法是正交和互补的。

试验标明,经过用 OctConv 代替一般卷积,研讨人员可以继续进步图画和视频红眼航班是什么意思辨认使命的精确率,一起下降内存和核算成本。一个装备有 OctConv 的 ResNet-152 可以以只是 22.2 GF曾雪明LOP 在 ImageNet 上到达 82.9% 的 top-1 分类精确率。

办法

在本节中,研讨人员首要介绍了用来下降特征图中空间冗余的特征标明,接着描绘了直接作用于该表征的 Octave 卷积(图 4)。研讨人员还评论了完成细节,展现了如何将 OctConv 融入分组和深度卷积架构。

图 4. OctConv 的规划细节


表 1:关于低频特征所运用的低频所占份额的不同,所带来的理论功用进步。


当=0 时(即没有低频成分),OctConv 就会退化为一般卷积。留意,不管份额挑选是多少,OctConv 的参数数量都是与惯例卷机共同的(如图 5 所示)。


图 5. OctConv 的卷积核


图 3:选用卷积降采样后的特征图


图 3:选用卷积降采样后的特征图,在进一步上采样后,将导致全体向右下方漂移,影响特征交融。

这儿,有一点很有意思。研讨人员指出,经过卷积降采样会导致特征图无法精确对齐。并引荐运用池化操作来进行降采样。

试验评价

在本节中,研讨人员验证了提出的 Octave 卷积关于 2D 和 3D 网络的效能和功率。研讨人员首要展现了 Imag抽电子烟肺会有积液吗eNet 上变身无罪图画分类的控制变量研讨,然后将其与当时最优的办法进行了比较。之后,研讨人员运用 Kinetics-400 和 Kinetics-600 数据集,展现了提出的 OctConv 也适用于 3D CNN。每一类别 / 块的最佳成果在论文中以粗体字显现。

图 4:ImageNet 上的控制变量研讨成果。

装备 OctConv 的模型较基准模型更有用和更精确。上图每一行的黑色符号●标明没有运用 OctConv 的基准模型。数字标明份额。横坐标标明核算开支(FLOP),纵坐标标明精确率。

表 2:ResNet-50 的实测时刻开支noah,即插即用新卷积:进步CNN功用、速度翻倍,柳俊烈noah,即插即用新卷积:进步CNN功用、速度翻倍,柳俊烈(Inference time)以 2.0 GHz(单线程


表 3:下采样的控制变量试验和 Image博士县长电视剧全集Net 上的 inter-octave 连通性。


表 4:ImageNet 分类精确度。

表 4:ImageNet 分类精确度。研讨人员经过调整输入图画尺度,检测网络对不同巨细散布的物体的辨认率。

表 5:小型模型的 ImageNet 分类成果。


表 6:中型狂战狼穴模型的 ImageNet 分类成果。


表 7:大型模型的 ImageNe天空龙为什么叫卧底龙t 分类成果。


表 7:大型模型的 Im鸢尊ageNet 分类成果。装备有 OctConv 的模型称号显现为黑色粗体,相关研讨的功用数据来自相应论文。运用 CuDNN v10.03 在一个英伟达 Titan V100 (32GB) 上以 flop16 评价网络的练习内存开支及速度。选用神经架构查找的作业符号为 (3)。研讨人员将大都比如中的批巨细设为 128,但关于大到 GPU 内存无法负荷的网络,他们将批巨细减小为 64(带†符号的)或 32(带‡符号的)或 8(带符号的)。

表 8:视频中的动作辨认宾艾、控制变量研讨,运用 ResNet50 的一切模型。

文章版权及转载声明:

作者:admin本文地址:http://lovetoeros.com/articles/770.html发布于 3个月前 ( 04-20 07:33 )
文章转载或复制请以超链接形式并注明出处竞技宝电竞_竞技宝电竞官网_竞技宝电竞竞猜