原文地址：http://blog.csdn.net/hjimce/article/details/49255013
作者：hjimce
一、相关理论
本篇博文主要讲解2015年一篇paper《Age and Gender Classification using Convolutional Neural Networks》，个人感觉这篇文献没啥难度，只要懂得Alexnet，实现这篇文献的算法，会比较容易。其实读完这篇paper之后，我一直在想paper的创新点在哪里？因为我实在没有看出paper的创新点在哪里，估计是自己水平太lower了，看文献没
抓到文献的创新点。
难道是因为利用CNN做年龄和性别分类的paper很少吗？网上搜索了一下，性别预测，以前很多都是用SVM算法，用CNN搞性别分类就只搜索到这一篇文章。个人感觉利用CNN进行图片分类已经不是什么新鲜事了，年龄、和性别预测，随便搞个CNN网络，然后开始训练跑起来，也可以获得不错的精度。
性别分类自然而然是二分类问题，然而对于年龄怎么搞？年龄预测是回归问题吗？paper采用的方法是把年龄划分为多个年龄段，每个年龄段相当于一个类别，这样性别也就多分类问题了。所以我们不要觉得现在的一些APP，功能好像很牛逼，什么性别、年龄、衣服类型、是否佩戴眼镜等识别问题，其实这种识别对于CNN来说，基本上是松松搞定的事，当然你如果要达到非常高的识别精度，是另外一回事了，就需要各种调参了。
言归正传，下面开始讲解2015年paper《Age and Gender Classification using Convolutional Neural Networks》的网络结构，这篇文章没有什么新算法，只有调参，改变网络层数、卷积核大小等……所以如果已经对Alexnet比较熟悉的，可能会觉得看起来没啥意思，这篇papar的相关源码和训练数据，文献作者有给我们提供，可以到Caffe zoo model：https://github.com/BVLC/caffe/wiki/Model-Zoo 或者文献的主页：http://www.openu.ac.il/home/hassner/projects/cnn_agegender/。下载相关训练好的模型，paper性别、年龄预测的应用场景比较复杂，都是一些非常糟糕的图片，比较模糊的图片等，所以如果我们想要直接利用paper训练好的模型，用到我们自己的项目上，可能精度会比较低，后面我将会具体讲一下利用paper的模型进行fine-tuning，以适应我们的应用，提高我们自己项目的识别精度。
二、算法实现
因为paper的主页，有提供网络结构的源码，我将结合网络结构文件进行讲解。
1、 网络结构
Paper所用的网络包含：3个卷积层，还有2个全连接层。这个算是层数比较少的CNN网络模型了，这样可以避免过拟合。对于年龄的识别，paper仅仅有8个年龄段，相当于8分类模型；然后对于性别识别自然而然是二分类问题了。
然后图像处理直接采用3通道彩色图像进行处理，图片6都统一缩放到256256，然后再进行裁剪，为227227（训练过程随机裁剪，验证测试过程通过矩形的四个角+中心裁剪），也就是说网络的输入时227*227的3通道彩色图像，总之基本上跟Alexnet一样。
网络模型：
(1)第一层：采用96个卷积核，每个卷积核参数个数为377，这个就相当于3个77大小的卷积核在每个通道进行卷积。激活函数采用ReLU，池化采用最大重叠池化，池化的size选择33，strides选择2。然后接着再来一个局部响应归一化层。什么叫局部响应归一化，自己可以查看一下文献：《ImageNet Classification with Deep Convolutional Neural Networks》，局部响应归一化可以提高网络的泛化能力。
局部响应归一化，这个分成两种情况，一种是3D的归一化，也就是特征图之间对应像素点的一个归一化。还有一种是2D归一化，就是对特征图的每个像素的局部做归一化。局部响应归一化其实这个可有可无，精度提高不了多少，如果你还不懂上面那个公式也没有关系。我们可以利用最新的算法：Batch Normalize ，这个才牛逼呢，2015年，我觉得最牛逼的算法之一，不仅提高了训练速度，连精度也提高了。过程：通过77大小的卷积核，对227227图片卷积，然后特征图的个数为96个，每个特征图都是三通道的,这个作者没有讲到卷积层的stride大小，不过我们大体可以推测出来，因为paper的网络结构是模仿：ImageNet Classification with Deep Convolutional Neural Networks的网络结构的，连输入图片的大小也是一样的，这篇文献的第一层如下所示：
我们可以推测出，paper选择的卷积步长为4，这样经过卷积后，然后pad为2，这样经过卷积后图片的大小为：(227-7)/4+1=56。然后经过33，且步长为2的大小，进行重叠池化，可以得到：56/2=2828大小的图片，具体边界需要补齐。下面是原文的第一层结构示意图：
[python] view plain copy 在CODE上查看代码片派生到我的代码片
layers {
name: “conv1”
type: CONVOLUTION
bottom: “data”
top: “conv1”
blobs_lr: 1
blobs_lr: 2
weight_decay: 1
weight_decay: 0
convolution_param {
num_output: 96
kernel_size: 7
stride: 4
weight_filler {
type: “gaussian”
std: 0.01
}
bias_filler {
type: “constant”
value: 0
}
}
}
layers {
name: “relu1”
type: RELU
bottom: “conv1”
top: “conv1”
}
layers {
name: “pool1”
type: POOLING
bottom: “conv1”
top: “pool1”
pooling_param {
pool: MAX
kernel_size: 3
stride: 2
}
}
layers {
name: “norm1”
type: LRN
bottom: “pool1”
top: “norm1”
lrn_param {
local_size: 5
alpha: 0.0001
beta: 0.75
}
}
(2)第二层：第二层的输入也就是962828的单通道图片，因为我们上一步已经把三通道合在一起进行卷积了。第二层结构，选择256个滤波器，滤波器大小为5*5，卷积步长为1，这个也可以参考AlexNet的结构。池化也是选择跟上面的一样的参数。
[python] view plain copy 在CODE上查看代码片派生到我的代码片
layers {
name: “conv2”
type: CONVOLUTION
bottom: “norm1”
top: “conv2”
blobs_lr: 1
blobs_lr: 2
weight_decay: 1
weight_decay: 0
convolution_param {
num_output: 256
pad: 2
kernel_size: 5
weight_filler {
type: “gaussian”
std: 0.01
}
bias_filler {
type: “constant”
value: 1
}
}
}
layers {
name: “relu2”
type: RELU
bottom: “conv2”
top: “conv2”
}
layers {
name: “pool2”
type: POOLING
bottom: “conv2”
top: “pool2”
pooling_param {
pool: MAX
kernel_size: 3
stride: 2
}
}
layers {
name: “norm2”
type: LRN
bottom: “pool2”
top: “norm2”
lrn_param {
local_size: 5
alpha: 0.0001
beta: 0.75
}
}
(3)第三层：滤波器个数选择384，卷积核大小为3*3。
[python] view plain copy 在CODE上查看代码片派生到我的代码片
layers {
name: “conv3”
type: CONVOLUTION
bottom: “norm2”
top: “conv3”
blobs_lr: 1
blobs_lr: 2
weight_decay: 1
weight_decay: 0
convolution_param {
num_output: 384
pad: 1
kernel_size: 3
weight_filler {
type: “gaussian”
std: 0.01
}
bias_filler {
type: “constant”
value: 0
}
}
}
layers {
name: “relu3”
type: RELU
bottom: “conv3”
top: “conv3”
}
layers {
name: “pool5”
type: POOLING
bottom: “conv3”
top: “pool5”
pooling_param {
pool: MAX
kernel_size: 3
stride: 2
}
}
(4)第四层：第一个全连接层，神经元个数选择512。
[python] view plain copy 在CODE上查看代码片派生到我的代码片
layers {
name: “fc6”
type: INNER_PRODUCT
bottom: “pool5”
top: “fc6”
blobs_lr: 1
blobs_lr: 2
weight_decay: 1
weight_decay: 0
inner_product_param {
num_output: 512
weight_filler {
type: “gaussian”
std: 0.005
}
bias_filler {
type: “constant”
value: 1
}
}
}
layers {
name: “relu6”
type: RELU
bottom: “fc6”
top: “fc6”
}
layers {
name: “drop6”
type: DROPOUT
bottom: “fc6”
top: “fc6”
dropout_param {
dropout_ratio: 0.5
}
}
(5)第五层：第二个全连接层，神经元个数也是选择512。
[python] view plain copy 在CODE上查看代码片派生到我的代码片
layers {
name: “fc7”
type: INNER_PRODUCT
bottom: “fc6”
top: “fc7”
blobs_lr: 1
blobs_lr: 2
weight_decay: 1
weight_decay: 0
inner_product_param {
num_output: 512
weight_filler {
type: “gaussian”
std: 0.005
}
bias_filler {
type: “constant”
value: 1
}
}
}
layers {
name: “relu7”
type: RELU
bottom: “fc7”
top: “fc7”
}
layers {
name: “drop7”
type: DROPOUT
bottom: “fc7”
top: “fc7”
dropout_param {
dropout_ratio: 0.5
}
}
(6)第六次：输出层，对于性别来说是二分类，输入神经元个数为2。
[python] view plain copy 在CODE上查看代码片派生到我的代码片
layers {
name: “fc8”
type: INNER_PRODUCT
bottom: “fc7”
top: “fc8”
blobs_lr: 10
blobs_lr: 20
weight_decay: 1
weight_decay: 0
inner_product_param {
num_output: 2
weight_filler {
type: “gaussian”
std: 0.01
}
bias_filler {
type: “constant”
value: 0
}
}
}
layers {
name: “accuracy”
type: ACCURACY
bottom: “fc8”
bottom: “label”
top: “accuracy”
include: { phase: TEST }
}
layers {
name: “loss”
type: SOFTMAX_LOSS
bottom: “fc8”
bottom: “label”
top: “loss”
}
网络方面，paper没有什么创新点，模仿AlexNet结构。
2、网络训练
(1)初始化参数：权重初始化方法采用标准差为0.01，均值为0的高斯正太分布。
(2)网络训练：采用dropout，来限制过拟合。Drop out比例采用0.5，还有就是数据扩充，数据扩充石通过输入256256的图片，然后进行随机裁剪，裁剪为227227的图片，当然裁剪要以face中心为基础，进行裁剪。
(3)训练方法采用，随机梯度下降法，min-batch 大小选择50，学习率大小0.001，然后当迭代到10000次以后，把学习率调为0.0001。
(4)结果预测：预测方法采用输入一张256256的图片，然后进行裁剪5张图片为227227大小，其中四张图片的裁剪方法分别采用以256*256的图片的4个角为基点点，进行裁剪。然后最后一张，以人脸的中心为基点进行裁剪。然后对这5张图片进行预测，最后对预测结果进行平均。
三、实际应用
文献作者给我们提供，可以到Caffe zoo model：https://github.com/BVLC/caffe/wiki/Model-Zoo 或者文献的主页：http://www.openu.ac.il/home/hassner/projects/cnn_agegender/。下载相关训练好的模型，paper性别、年龄预测的应用场景比较复杂，都是一些非常糟糕的图片，比较模糊的图片等，所以如果我们想要直接利用paper训练好的模型，用到我们自己的项目上，可能精度会比较低。我测试了一下，直接使用paper给的模型，在我的数据上进行测试，我的数据是中国人、，然后也比较清晰，直接用作者训练好的模型，精度为0.82左右，这个精度对于我们实际的工程应用还差很远。后面就要发挥自己的调参、技巧把精度提高上去，才能达到95%以上的精度，具体因为项目保密，所以不再啰嗦。最后预测结果如下：
测试精度：
总结：看完这篇文献，感觉没看到什么比较牛逼的创新点，只是把Alexnet网络改一改而已，个人感觉AlexNet的一些算法已经过时了，现在各种最新牛逼文献的算法一大堆，随便找一个，调一调参，应该可以得到更高的精度，因为毕竟图片分类的算法更新太快了。年龄预测方面，因为自己的项目用不到，而且年龄预测这个东西，精度一向很低，很容易受光照、拍摄角度等因素影响，即便是我们人类，也很难精确判断一个人的年龄，有的人五十几岁了，但是看起来却很年轻……
PS：赶紧研究深度学习算法去，现在大部分深度学习的文章，有的文献只是稍微改一下参数、改一下结构，然后发现精度state-of-art，于是发表paper，很容易就被录用了。
参考文献：
1、《Age and Gender Classification using Convolutional Neural Networks》
2、《ImageNet Classification with Deep Convolutional Neural Networks》
3、http://www.openu.ac.il/home/hassner/projects/cnn_agegender/
４、https://github.com/BVLC/caffe/wiki/Model-Zoo
***作者：hjimce 时间：2015.10.15 联系QQ：1393852684 ***
**原创文章，转载请保留原文地址、作者等信息***
附：基于 CNN的年龄和性别检测
CNN年龄、性别、表情识别
Age and Gender Classification using Convolutional Neural Networks
project link：http://www.openu.ac.il/home/hassner/projects/cnn_agegender/