北京普天同创生物科技有限公司

  • CNAS实验室认可证书
  • 标准物质定级证书
  • 豫南检测资质认定证书
  • 质量管理体系认证证书
  • 农产品资质证书
  • 伟业计量高企认证证书
  • 中国计量测试学会合作单位
新闻
  • 产品
  • 仪器
  • 新闻
  • 帖子
  • 课堂

在线客服

CNN发展历程

发布时间:2018-10-18 00:00 作者:中国标准物质网 阅读量:1551

CNN是近年发展起来的,CNN已经成为众多科学领域的研究热点之一,特别是在模式分类领域,由于该网络避免了对图像的复杂‘前期预处理,可以直接输入原始图像,因而得到了更为广泛的应用。以下是对CNN的发展历程的回顾。

1. AlexNet

Alex Krizhevsky, Ilya Sutskever和Geoffrey Hinton创造了一个“大型的DCNN",赢得了2012 ILSVRC(2012年ImageNet大规模视觉识别挑战赛),全球最权威的计算机视觉竞赛。2012年是CNN首次实现前5名错误率为15.4%的一年,当时的次优项误差率为26.2%。这个表现不用说震惊了整个计算机视觉界。可以说,是自那时起,CNN才成了家喻户晓的名字。

网络的架构(名为AlexNet)如图13-12所示。相比现代架构,它们使用了一种相对简单的布局,整个网络由5层卷积层组成,最大池化层、退出层和3层全卷积层。网络能够对1000种潜在类别进行分类。

2.ZF Net

2013年的冠军是纽约大学Matthew Zeiler和Rob Fergus设计的网络ZF Net,错误率为11.2%。

图13-12 AlexNet架构

如图13-13所示,ZF Net模型更像是AlexNet架构的微调优化版,但还是提出了有关优化性能的一些关键想法。Zeiler和Fergus从大数据和GPU计算力让人们重拾对CNN的兴趣讲起,讨论了研究人员对模型内在机制知之甚少,一针见血地指出“发展更好的模型实际上是不断试错的过程”,还提供了一些制作可视化特征图值得借鉴的方法。ZF Net不仅是2013年比赛的冠军,还对CNN的运作机制提供了极好的直观信息,展示了更多提升性能的方法。

图13-13ZF Net架构

3.VGG Net

简单、有深度,这就是2014年错误率为7.3%的模型VGG Net。牛津大学的Karen Simonyan和Andrew Zisserman Main Points创造了一个19层的CNN,严格使用3×3的过滤器(stride =1,pad=1)和2×2的maxpooling层(stride=2)。 VGG Net是最重要的模型之一,因为它再次强调CNN必须够深,视觉数据的层次化表示才有用。深的同时结构简单。

4. GoogLeNet

GoogLeNet是一个22层的CNN,在2014年的ILSVRC上凭借6.7%的错误率进入前5名。这是第一个真正不使用通用方法的CNN架构,传统的CNN的方法是简单堆叠卷积层,然后把各层以序列结构堆积起来。这种新的模型重点考虑了内存和能量消耗。把所有的层都堆叠、增加大量的滤波器,在计算和内存上消耗很大,过拟合的风险也会增加。因此,GoogLeNet设计了Incep-tion模块,如图13-14所示,能同时并行发生反应。

5. ResNet

微软公司的152层ResNet架构,是2015 ILSVRC冠军。除了在层数上面创纪录,ResNet的错误率也低得惊人,达到了3.6%,人类都在5%~10%的水平。主要的创新在残差网络,如图13-15所示,其实这个网络的提出本质上还是要解决层次比较深时无法训练的问题。ResNet通过short connections将低层的特征图x直接映射到高层的网络中。假设原本网络的非线性映射为

图13-14 Inception模块

F(x),那么通过short connection连接之后的映射关系就变为了F(x)+x 。

F(x)+x的优化相比F(x)会更加容易。因为从极端角度考虑,如果x已经是一个优化的映射,那么short connection之间的网络映射经过训练后就会更趋近于0。这就意味着数据的前向传导可以在一定程度上通过short connection跳过一些没有经过完善训练的层次,从而提高网络性能。

图13-15 残差网络图

6.区域CNN (R-CNN、Fast R-CNN、Faster R-CNN)

R-CNN的目标是解决物体识别的难题。在获得特定的一张图像后人们希望能够绘制图像中所有物体的边缘。这一过程可以分为两个组成部分:一个是区域建议;另一个是分类。

Selective Search专用于RCNN, Selective Search的作用是聚合2000个不同的区域,这些区域有最高的可能性会包含一个物体。在设计出一系列的区域建议之后,这些建议被汇合到一个图像大小的区域,能被填入经过训练的CNN,能为每一个区域提取出一个对应的特征。这个向量随后被用于作为一个线性SVM的输入,SVM经过了每一种类型和输出分类训练。向量还可以被填入一个有边界的回归区域,获得最精准的一致性。图13-16所示为R-CNN架构。

图13-16 R-CNN架构

Fast R-CNN是从R-CNN改进而来,改进原因:训练需要多个步骤,这在计算上成本过高,而且速度很慢。Fast R-CNN通过从根本上在不同的建议中分析卷积层的计算,同时打乱生成区域建议的窗口以及运行CNN,能够快速地解决问题。图13-17所示为Fast R-CNN架构。

图13-17 Fast R-CNN架构

Fast R-CNN取得了接近实时的物体检测速度,而Faster R-CNN则是通过利用端到端的CNN实现了对于物体的实时检测。在最后一个卷积层上引入了一个区域建议框网络(RPN)。这一网络能够只看最后一层的特征就产出区域建议。图13-18为Faster R-CNN架构。

文章来源:《多光谱食品品质检测技术与信息处理研究》

版权与免责声明:转载目的在于传递更多信息。

如其他媒体、网站或个人从本网下载使用,必须保留本网注明的"稿件来源",并自负版权等法律责任。

如涉及作品内容、版权等问题,请在作品发表之日起两周内与本网联系,否则视为放弃相关权利。

评论

登录后才可以评论

立即登录
分享到微信
关闭
普天同创
请告知您的电话号码,我们将立即回电

通话对您免费,请放心接听

温馨提示:

1.手机直接输入,座机前请加区号 如18601949136,010-58103629

2.我们将根据您提供的电话号码,立即回电,请注意接听

3.因为您是被叫方,通话对您免费,请放心接听