首页天道酬勤遥感图像语义分割数据集(遥感 动物数据集)

遥感图像语义分割数据集(遥感 动物数据集)

admin 11-29 17:42 312次浏览

作者:hxddy/p来源:微信微信官方账号|3D视觉工坊(部门投稿)

文章:利用端到端边缘增强的gan和目标检测器网络进行遥感图像中的小目标检测

摘要:

与大目标相比,遥感图像中小目标的检测性能并不理想,尤其是在低分辨率和有噪声的图像中。基于生成对抗网络的增强超分辨率图像增强模型具有良好的图像增强性能,但重建图像通常会丢失高频边缘信息。因此,目标检测性能表现为恢复的噪声和低分辨率遥感图像中小目标目标的退化。受边缘增强GAN(EEGAN)和ESRGAN成功的启发,本研究采用了一种新型的边缘增强超分辨率GAN(EESRGAN)来提高遥感图像的质量,并以端到端的方式使用不同的探测器网络,从而将探测器损耗传播回EESRGAN以提高探测性能。研究人员提出了一种具有三个组件的体系结构:ESRGAN、EEN(边缘增强网络)和检测网络。对于ESRGAN和EEN,使用RRDB(剩余密集块),对于探测器网络,我们使用更快的基于区域的FRCNN(两级探测器)和SSD(一级探测器)。在相关数据集上的大量实验表明,该方法具有良好的性能。

研究背景和问题:

遥感图像目标检测在环境监管、监测、军事、国家安全、交通运输、林业、油气活动监测等领域具有广阔的应用前景。然而,对于有噪声、分辨率低的遥感图像,尤其是图像中的小目标,检测效果并不理想,甚至对于高分辨率图像,小目标的检测性能远低于大目标。其次,大面积高分辨率图像成本高,很多机构都在利用高分辨率卫星图像来实现自己的目标。例如,当出于监管或交通目的持续监控大面积区域时,频繁购买高分辨率图像的成本非常高,这对于频繁更新的大面积区域来说非常昂贵。因此,需要一种解决方案来提高低分辨率图像中小目标的检测精度。

研究:

研究人员提出的体系结构由两部分组成:EESRGAN网络和探测器网络。受EEGAN和ESRGAN网络的启发,研究人员采用了生成子网络、区分子网络和边缘增强子网络作为超分辨率网络。对于发电机和边缘增强网络,研究人员使用RRDB。这些块包含多层且密集连接的残差网络,具有良好的图像增强性能。本研究用相对论鉴别器代替普通鉴别器。除了GAN损耗和鉴别器损耗,Charbonnier损耗也用于边缘增强网络。最后,使用不同的检测器从SR图像中检测小物体。当检测损失传播回SR网络时,检测器就像一个鉴别器,从而提高SR图像的质量。

数据集:研究人员基于卫星图像(Bing地图)创建了OGST(石油和天然气储罐)数据集,数据集的GSD为30厘米和1.2米。该数据集包含来自加拿大阿尔伯塔省的标记石油和天然气储罐,研究人员在SR图像中检测到了这些储罐。储罐的检测和计数对于艾伯塔省能源监管机构确保安全、高效、有序和对环境负责的能源开发非常重要。除了OGST数据集,研究人员还将该方法应用于COWC数据集(带上下文的Cars Overhead),以比较不同用例的检测性能。对于两个数据集,该方法优于最新的独立研究成果。

研究过程:

为了提高遥感图像中小目标的检测性能,作者提出了一种端到端的网络结构,该结构由基于GAN的SR网络和检测网络两个模块组成,整个网络采用端到端的方式进行训练。其中,基于GAN的SR网络由发生器、鉴别器和EEN三部分组成。该方法使用端到端训练将检测损耗梯度从检测板反向传播到发生器。因此,探测器也像鉴频器一样工作,促使发生器产生一个真正类似于地面的真实图像。整个网络结构可以分为两部分:由EEN组成的发生器和由DRa和检测器网络组成的鉴别器。

g生成器生成中间超分辨率图像,然后应用EEN网络生成最终的超分辨率图像。鉴别器将人力资源图像与ISR区分开来。DRa的逆梯度传播回发生器,生成SR图像,从而实现精确的目标检测。从ISR中提取边缘信息,EEN网络将增强这些边缘。然后,将增强后的边缘再次加入到ISR中,减去拉普拉斯算子提取的原始边缘,得到边缘增强后的输出SR图像。最后,研究人员使用探测器网络从SR图像中探测物体。

在本研究中,对EEN采用了两种不同的损失函数:一种是比较SR和地面真实图像之间的差异,另一种是比较从ISR和地面真实图像中提取的边缘之间的差异。研究人员还使用VGG19网络提取损失感知的特征。因此,可以生成具有更精确边缘信息的更逼真的图像。

>生成器

边缘增强网络

研究结果:

本研究首先进行模型单独训练,通过训练SR网络直到收敛,然后基于SR图像训练检测器网络。再进行端到端训练,也采用了单独的训练作为训练前的初始化权重步骤,然后联合训练SR和目标检测网络,将来自目标检测器的梯度值传递到生成器网络中。在训练过程中,学习率被设置为0.0001,每50 K迭代减半,批次大小设置为5,使用Adam[1]作为优化器,β1 = 0.9,β2 = 0.999,并更新整个架构的权值直到收敛,然后为生成器创建23个残差密集块,为EEN网络创建5个RRDB块。在COWC 数据集的训练过程中,端到端模型训练历时96小时,共200个批次,在测试过程中,使用快速基于区域卷积神经网络的平均推理耗时大约是0.25秒,SSD (Single-Shot MultiBox Detector) 是0.14秒。通过该模型进行小目标检测过程如下图所示。

总结:

本文提出了一种以低分辨率 (Low-Resolution, LR) 卫星图像为输入,以目标检测结果为输出的端到端检测模型。该模型包含SR网络和检测器网络,使用SR系统和检测器的不同组合来比较使用两个不同数据集进行检测的平均精确度 (Average Precision, AP), 实验结果表明,本文所提出的基于快速R-CNN模型的SR网络对卫星图像上的小目标识别具有较好的检测效果。然而,本文还需要在OGST (Oil and Gas Storage Tank) 数据集中添加更多样化的训练数据,以使分类模型在检测油气储罐方面具有更好的鲁棒性。同时还需要探索不同的数据集和技术,以创造更真实的LR图像。总之,本文提出的方法结合了不同的策略,为LR图像上的小目标检测任务提供了更好的解决方案。

备注:作者也是我们「3D视觉从入门到精通」特邀嘉宾:一个超干货的3D视觉学习社区本文仅做学术分享,如有侵权,请联系删文。

球拍:在合同中使用的自定义谓词c#实现汉诺塔问题示例
led自适应大灯什么意思(led灯无极调光是什么意思) windows2019(微软office2019)
相关内容