【批示与把握学报论文】基于学问自蒸馏的轻量化繁复遥感图像细密分类设施

发布时间:2022-05-11 20:57:39 来源:lol比赛在哪里压注 作者:lol比赛在哪里押注 

  原题目:【领导与掌握学报论文】基于学问自蒸馏的轻量化庞杂遥感图像周密分类设施

  孙显, 杨竹君, 李俊希, 刁文辉, 付琨. 基于学问自蒸馏的轻量化庞杂遥感图像周密分类设施[J]. 领导与掌握学报, 2021, 7(4): 365-373.

  基于遥感图像发展地物因素分类和提取,是构修数字化沙场境遇的时间根蒂,面对着场景多变、种别多样、噪声滋扰等挑衅。经典深度研习模子构造庞杂、估计安排量大,难以餍足低职能、低功耗边沿估计安排境遇下的及时讯息收拾恳求。提出了一种基于学问自蒸馏的轻量化庞杂遥感图像周密分类设施,通过构修一步式自蒸馏框架,完毕收集从高层到低层的学问转移。同时通过金字塔池化调解差异标准的特性讯息,明显擢升全体上下文讯息的使用率,办理轻量化分类模子因为参数较少、庞杂度低,导致场景周密分类精度低的困难。正在Vaihingen等公然遥感数据集和我国高分遥感数据集上发展试验,较国际同类设施拥有更优的分类职能。

  跟着人类逐渐迈入智能+时间,讯息与智能时间催生的打仗正大白出物理、收集和社会编造内情互动、协同共生的发扬态势[1-2]。数字化沙场树立举动沙场讯息保证编造的首要劳动和决策打仗输赢的枢纽身分,正在将来的长久作战中起到至闭首要的效率。遥感图像遮盖区域广、探测领域大,而且可能返回差异工夫的地表形态,是数字化沙场的首要讯息传输引子。基于遥感图像发展地物因素周密分类,获取真正场景的多维及时沙场数据和敌我对立讯息,是构修数字化沙场境遇的时间根蒂。

  守旧基于深度神经收集的遥感图像周密分类设施往往存正在参数目大、估计安排资源恳求上等题目,难以安置和运用正在低功耗、低职能的边沿估计安排设置上[3],极大限度了深度研习等智能设施的运用。基于此题目,轻量化收集模子策画渐渐受到琢磨职员的眷注。轻量化收集模子正在仍旧收集模子高预测精度的同时,低重智能模子的参数目和估计安排资源花费,从而使智能模子或许正在边沿设置上安置和运用。

  完毕模子轻量化的首要办法囊括剪枝[4-7]、量化[8-10]等,然而此类设施往往伴跟着模子精度清楚低重题目,而学问蒸馏是办理以上题方针有用设施。学问蒸馏的首要思念是从参数目多、模子构造庞杂、特性表征才具更强的西席收会集提炼学问,从而磨练并擢升轻量级学生收集的精度。守旧学问蒸馏设施由Hinton正在2015年头度提出[11],陈闭州等初度将学问蒸馏引入遥感场景分类中[12],以普及幼而浅的收集模子的职能。文件[13]使用高职能但估计安排量大的庞杂收集和学问蒸馏,对西席模子运用自编码器特性,对学生模子运用适配单位来适配西席模子的特性,普及了轻量级收集的豆割职能。

  守旧学问蒸馏[14-15]设施中,学生收集的职能高度依赖于西席收集,且西席收集的策画和磨练必要豪爽的时分,给模子压缩带来特地职守。针对以上题目,文件[16-17]采用学问自蒸馏框架,其举动守旧学问蒸馏的延长设施,不只低重了守旧深度模子的参数目,同时无需西席收集,其与守旧学问蒸馏设施的区别如图1所示。

  基于以上题目剖析,提出了一种基于学问自蒸馏框架的轻量化庞杂遥感图像周密分类设施,将学问自蒸馏框架和金字塔池化模块相连接,擢升轻量化收集的周密分类精度。一方面,金字塔池化模块通过调解差异标准特性讯息,完毕全体上下文讯息的有用使用;另一方面,运用学问自蒸馏框架避免了对西席收集的磨练,可能正在仍旧较低的模子参数方针同时,完毕遥感图像周密分类的精度擢升。试验说明,所提出的设施可能相对有用地避免修筑物暗影形成的误判,并正在修筑物周密分类细节上显示优异,正在大周围庞杂遥感数据集的周密分类上拥有更优职能。

  遥感图像周密分类是遥感范畴的一个首要题目。Long等提出全卷积收集(fully convolutional networks,FCN),完毕对输入图像举行像素级分类,从而办理了语义级其余图像周密分类题目[18]。自此自此,琢磨职员针对FCN拥有差异目标的更始:其一,因为增添感触野可能获取加倍丰裕的特性,于是,Chen等提出DeepLab模子,将DCNNs层的反映和完整衔接的条目随机场调解,从而改观周密分类功效[19],文件[20]正在守旧的FCN模子上增添两品种型的提神力模块,将提神力模块的结果举行相加,从而改观特性呈现,DANet进一步擢升了周密分类功效;其二,针对FCN模子拥有无法无误运用全体场景中的种别线索的题目,Zhao等提出了金字塔场景解析收集(pyramid scene parsing network,PSPNet) [21],该收集通过金字塔池化模块举行有用的全体先验表。

上一篇:病理切片主动扫描 “云病理”落户 下一篇:14分+的愚弄深度练习从切除淋市
二维码