深度学习算法原理——经典CNN结构之AlexNet

论文地址:ImageNet Classification with Deep Convolutional Neural Networks

AlexNet卷积神经网络在CNN的发展过程中起着非常重要的作用,AlexNet是由加拿大多伦多大学的Alex Krizhevsky等人提出。

1、AlexNet的网络结构

AlexNet的网络结构如下图所示:
这里写图片描述
抛开两个GPU的结构不说,这主要是因为受当时的计算环境的影响。对于AlexNet的结构,从上面的图可以看出,AlexNet网络中包含5个卷积层和3个全连接层。

2、AlexNet网络结构的主要特点

2.1、ReLU激活函数

在神经网络中,使用的激活函数通常有:Sigmoid函数,Tanh函数。这两个激活函数属于饱和非线性(saturating nonlinearities),在训练的过程中会出现梯度弥散的现象(反向传播时梯度接近为0),在梯度下降法过程中比非饱和非线性的激活函数的训练速度慢,而Rectified Linear Units(ReLUs) 。

ReLu激活函数的具体形式为:

f ( x ) = m a x ( 0 , x ) f\left ( x \right )=max\left ( 0,x \right ) f(x)=max(0,x)

其函数的图像如下图所示:
这里写图片描述

已标记关键词 清除标记
©️2020 CSDN 皮肤主题: 编程工作室 设计师:CSDN官方博客 返回首页