年龄性别预测2：Pytorch实现年龄性别预测和识别(含训练代码和数据)

guduadmin22小时前

年龄性别预测2：Pytorch实现年龄性别预测和识别(含训练代码和数据)

1.年龄性别预测和识别方法

2.年龄性别预测和识别数据集

3.人脸检测模型

4.年龄性别预测和识别模型训练

（1）项目安装

（2）准备数据

（3）年龄性别模型训练(Pytorch)

（4）可视化训练过程

（5）年龄性别预测和识别效果

（6）一些优化建议

（7）一些运行错误处理方法

5.项目源码下载（Python版）

（1）年龄性别预测和识别项目源码下载(推理版本)

（2）年龄性别预测和识别项目源码下载(训练版本)

6.项目源码下载（C++版）

7.项目源码下载（Android版）

本项目将实现年龄性别预测和识别，整套方案采用二阶段方法实现，即首先使用通用的人脸检测算法(Face Detection)定位人脸区域，裁剪人脸，再构建多任务模型，分别进行年龄预测(Age)和性别识别(Gender)。项目分为数据集说明，Pytorch模型训练和C++/Android部署等多个章节，本篇是项目《年龄性别预测》系列文章之Pytorch实现年龄性别预测和识别；为了方便后续模型工程化和Android平台部署，项目骨干网络backbone支持resnet18/resnet50，以及轻量化模型MobilenetV2模型训练和测试，并提供Python/C++/Android多个版本；

年龄性别预测2：Pytorch实现年龄性别预测和识别(含训练代码和数据),第1张

项目基于深度学习Pytorch，构建了整套年龄性别预测和识别模型训练和测试框架；项目源码backbone模型支持的有resnet18,resnet50,以及轻量化模型mobilenet_v2等常见的深度学习模型，用户也可自定义进行训练；准确率还挺高的，采用轻量级mobilenet_v2模型的性别识别准确率0.9603左右，年龄预测MAE(平均绝对误差:)3.1935左右,CS5(预测年龄与真实年龄的绝对误差不过5年的准确率)0.8021左右，基本满足业务性能需求。

模型	input size	性别准确率	年龄MAE	年龄CS3	年龄CS5
AE_mobilenet_v2	112×112	0.9603	3.1935	0.5969	0.8021
AE_resnet18	112×112	0.9606	3.1795	0.5956	0.8010
AE_resnet50	112×112	0.9609	3.2008	0.5900	0.8035

先展示一下，Python版本的年龄性别识别Demo效果

年龄性别预测2：Pytorch实现年龄性别预测和识别(含训练代码和数据),第2张

【尊重原创，转载请注明出处】 https://blog.csdn.net/guyuealian/article/details/135556789

更多项目《年龄性别预测》和《面部表情识别》系列文章请参考：

面部表情识别1：表情识别数据集(含下载链接)
面部表情识别2：Pytorch实现表情识别(含表情识别数据集和训练代码)
面部表情识别3：Android实现表情识别(含源码，可实时检测)
面部表情识别4：C++实现表情识别(含源码，可实时检测)
年龄性别预测1：年龄性别数据集说明(含下载地址)
年龄性别预测2：Pytorch实现年龄性别预测和识别(含训练代码和数据)
年龄性别预测3：Android实现年龄性别预测和识别(含源码，可实时预测)
年龄性别预测4：C/C++实现年龄性别预测和识别(含源码，可实时预测)

年龄性别预测2：Pytorch实现年龄性别预测和识别(含训练代码和数据),第3张

1.年龄性别预测和识别方法

年龄性别预测和识别方法有多种实现方案，这里采用最常规的二阶段方法实现，即首先使用通用的人脸检测算法(Face Detection)定位人脸区域，裁剪人脸，再构建多任务模型，分别进行年龄预测(Age)和性别识别(Gender)。

人脸检测：人脸检测算法已经有很多成熟开源项目了，本项目不作分析，可以参考使用MTCNN，DSFD，FaceBoxes，RFB等方法。
性别识别：性别识别是一个简单二分类，训练使用交叉熵损失函数即可

年龄预测：可以采用年龄分类方法，如SSR-Net模型，也可以结合回归的方法，如Label Distribution。就调研而言，基于Label Distribution的方法会比分类方法准确率会高一些。

下图本项目构建的年龄性别预测和识别模型，其中

Backbone：主杆网络，用于提取人脸图像特征，可以使用任意的骨干网络，如resnet18,resnet34,resnet50以及轻量化模型mobilenet_v2等
Gender-branch：性别识别分支，用于对性别进行分类识别，损失函数使用交叉熵

Age-branch：年龄预测分支，对年龄进行预测，损失函数可以使用交叉熵或者Label Distribution，项目设定最大周岁是70周岁，训练数据中年龄大于70的lalel,会重置为70。

年龄性别预测2：Pytorch实现年龄性别预测和识别(含训练代码和数据),第4张

2.年龄性别预测和识别数据集

项目主要使用了三个数据集：MegaAge_Asian，MORPH以及IMDB-WIKI，考虑到IMDB-WIKI人脸数据集不够干净，实际模型训练，仅使用MegaAge_Asian和MORPH两个数据集

关于年龄性别数据集的使用说明，请参考我的一篇博客：年龄性别预测1：年龄性别数据集说明(含下载地址)https://blog.csdn.net/guyuealian/article/details/135127124

年龄性别预测2：Pytorch实现年龄性别预测和识别(含训练代码和数据),第5张

3.人脸检测模型

本项目人脸检测训练代码请参考：https://github.com/Linzaer/Ultra-Light-Fast-Generic-Face-Detector-1MB

这是一个基于SSD改进且轻量化后人脸检测模型，很轻巧，整个模型仅仅1.7M左右，在普通Android手机都可以实时检测。人脸检测方法在网上有一大堆现成的方法可以使用，如MTCNN，DSFD，FaceBoxes，完全可以不局限我这个方法。

年龄性别预测2：Pytorch实现年龄性别预测和识别(含训练代码和数据),第6张

关于人脸检测的方法，可以参考我的另一篇博客：

行人检测和人脸检测和人脸关键点检测（C++/Android源码）

4.年龄性别预测和识别模型训练

项目模型支持resnet18,resnet50以及mobilenet_v2等常见的深度学习模型，考虑到后续我们需要将年龄性别识别模型部署到Android平台中，因此项目选择计算量比较小的轻量化模型mobilenet_v2作为样例进行验证和测试；如果不用端上部署，完全可以使用参数量更大的模型，如resnet50等模型。

整套工程项目基本结构如下：

.
├── classifier                 # 训练模型相关工具
├── configs                    # 训练配置文件
├── data                       # 训练数据
├── libs           
│   ├── convert                # 将模型转换为ONNX工具
│   ├── detector               # 人脸检测
│   └── README.md               
├── demo.py              # demo
├── README.md            # 项目工程说明文档
├── requirements.txt     # 项目相关依赖包
└── train.py             # 训练文件

（1）项目安装

推荐使用Python3.8或Python3.7，更高版本可能存在版本差异问题，项目依赖python包请参考requirements.txt，使用pip安装即可：

# python3.8
numpy==1.21.6
matplotlib==3.1.0
Pillow==6.0.0
easydict==1.9
onnx==1.14.0
onnx-simplifier==0.4.33
onnxruntime==1.15.1
onnxruntime-gpu==1.15.1
onnxsim==0.4.33
opencv-contrib-python==4.8.1.78
opencv-python==4.8.0.76
pandas==1.1.5
PyYAML==5.3.1
Pillow==9.5.0
scikit-image==0.21.0
scikit-learn==1.2.2
scipy==1.10.1
seaborn==0.12.2
tensorboard==2.13.0
tensorboardX==2.6.1
torch==1.13.1+cu117
torchvision==0.14.1+cu117
tqdm==4.55.1
xmltodict==0.12.0
basetrainer==0.7.9
pybaseutils==0.9.7

项目安装教程请参考（初学者入门，麻烦先看完下面教程，配置好开发环境）：

项目开发使用教程和常见问题和解决方法
视频教程：1 手把手教你安装CUDA和cuDNN(1)
视频教程：2 手把手教你安装CUDA和cuDNN(2)
视频教程：3 如何用Anaconda创建pycharm环境
视频教程：4 如何在pycharm中使用Anaconda创建的python环境
推荐使用Python3.8或Python3.7，更高版本可能存在版本差异问题

（2）准备数据

下载年龄性别数据集：MegaAge_Asian，MORPH以及IMDB-WIKI，关于年龄性别数据的使用说明请参考我的一篇博客：https://blog.csdn.net/guyuealian/article/details/135127124

注意：可以参考数据格式，增加自己的业务场景数据；采集同一个人不同年龄阶段的人脸数据加入模型训练，可以有效提升年龄预测的精准度。

（3）年龄性别模型训练(Pytorch)

项目在《Pytorch基础训练库Pytorch-Base-Trainer(支持模型剪枝分布式训练)》基础上实现了年龄性别模型训练和测试，整套训练代码非常简单操作，用户只需要将相同类别的图片数据放在同一个目录下，并填写好对应的数据路径，即可开始训练了。

训练框架采用Pytorch，整套训练代码支持的内容主要有：

目前支持的backbone有：resnet[18,34,50], ,mobilenet_v2等，其他backbone可以自定义添加
训练参数可以通过(configs/config.yaml)配置文件进行设置
损失函数使用Label Distribution方法进行训练，也会比直接使用交叉熵损失函数效果要好。

修改配置文件的数据路径：configs/config.yaml：

train_data和test_data修改为自己的数据路径
注意数据路径分隔符使用【/】,不是【\】

项目不要出现含有中文字符的目录文件或路径，否则会出现很多异常！

# 训练数据集，可支持多个数据集(不要出现中文路径)
data_type: "age_gender"
train_data:
  - "D:/age_gender/megaage_asian/train.txt"
  - "D:/age_gender/morph/train.txt"
# 测试数据集(不要出现中文路径)
test_data:
  - "D:/age_gender/megaage_asian/test.txt"
# 类别文件
class_name: [ "female","male" ]
gender_class: 2                # 性别类别数
gender_loss: "CrossEntropyLoss"# 选择性别损失函数：支持CrossEntropyLoss
age_class: 70                  # 年龄类别数
age_loss: "L1Loss"             # 选择年龄损失函数：支持KLDivLoss,L1Loss
use_age_ld: True               # 是否使用Label Distribution，如use_age_ld=True，则age_loss="L1Loss"
#age_loss: "CrossEntropyLoss"  # 选择年龄损失函数：支持CrossEntropyLoss
#use_age_ld: False             # 是否使用Label Distribution，如use_age_ld=False，则age_loss="CrossEntropyLoss"
train_transform: "train"       # 训练使用的数据增强方法
test_transform: "val"          # 测试使用的数据增强方法
work_dir: "work_space/"        # 保存输出模型的目录
net_type: "AE_mobilenet_v2"    # 骨干网络,支持：AE_resnet18/50,AE_mobilenet_v2
width_mult: 1.0                # 模型宽度因子
input_size: [ 112,112 ]        # 模型输入大小
rgb_mean: [ 0.5, 0.5, 0.5 ]    # for normalize inputs to [-1, 1],Sequence of means for each channel.
rgb_std: [ 0.5, 0.5, 0.5 ]     # for normalize,Sequence of standard deviations for each channel.
batch_size: 64                 # batch_size
lr: 0.01                       # 初始学习率
optim_type: "SGD"              # 选择优化器，SGD,Adam
momentum: 0.9                  # SGD momentum
num_epochs: 150                # 训练循环次数
num_warn_up: 5                 # warn-up次数
num_workers: 8                 # 加载数据工作进程数
weight_decay: 0.0005           # weight_decay，默认5e-4
scheduler: "ExpLR"             # 学习率调整策略
milestones: [30,80,120]        # 下调学习率方式
gpu_id: [ 0 ]                  # GPU ID
log_freq: 50                   # LOG打印频率
progress: True                 # 是否显示进度条
pretrained: True               # 是否使用pretrained模型
finetune: False                # 是否进行finetune

开始训练，在终端输入：

python train.py -c configs/config.yaml

年龄性别预测2：Pytorch实现年龄性别预测和识别(含训练代码和数据),第7张

训练完成后，采用轻量级mobilenet_v2模型的性别识别准确率0.96左右，年龄预测MAE(平均绝对误差:)3.2左右,CS5(预测年龄与真实年龄的绝对误差不过5年的准确率)0.8左右

（4）可视化训练过程

训练过程可视化工具是使用Tensorboard，在终端(Terminal)输入命令：

使用教程，请参考：项目开发使用教程和常见问题和解决方法

# 需要安装tensorboard==2.5.0和tensorboardX==2.1
# 基本方法
tensorboard --logdir=path/to/log/
# 例如
tensorboard --logdir=work_space/AE_mobilenet_v2_1.0_L1Loss_20240105_181151_9813/log

可视化效果

年龄性别预测2：Pytorch实现年龄性别预测和识别(含训练代码和数据),第8张

年龄性别预测2：Pytorch实现年龄性别预测和识别(含训练代码和数据),第10张

（5）年龄性别预测和识别效果

下表给出已经训练好的三个模型mobilenet_v2，resnet18和resnet50训练后的性能指标，其中采用轻量级mobilenet_v2模型的性别识别准确率0.9603左右，年龄预测MAE(平均绝对误差:)3.1935左右,CS5(预测年龄与真实年龄的绝对误差不过5年的准确率)0.8021左右，基本满足业务性能需求。

模型	input size	性别准确率	年龄MAE	年龄CS3	年龄CS5
AE_mobilenet_v2	112×112	0.9603	3.1935	0.5969	0.8021
AE_resnet18	112×112	0.9606	3.1795	0.5956	0.8010
AE_resnet50	112×112	0.9609	3.2008	0.5900	0.8035

```
测试图片文件
```
```
# 测试图片文件
python demo.py --image_dir data/test_image --model_file work_space/AE_mobilenet_v2_1.0_L1Loss_20240105_181151_9813/model/best_model_082_0.8021.pth  --out_dir output/
```
- ```
测试视频文件
```
```
# 测试视频文件
python demo.py --video_file data/video-test.mp4 --model_file work_space/AE_mobilenet_v2_1.0_L1Loss_20240105_181151_9813/model/best_model_082_0.8021.pth --out_dir output/
```
  - ```
  测试摄像头
```
```
  # 测试摄像头
  python demo.py --video_file 0 --model_file work_space/AE_mobilenet_v2_1.0_L1Loss_20240105_181151_9813/model/best_model_082_0.8021.pth --out_dir output/
```
  下面是年龄性别预测和识别的效果
  
  （6）一些优化建议
  
  如果想进一步提高模型的性能，可以尝试：
  1. 关于性别识别的问题：目前性别识别的准确率约96%，识别错误的主要有两种情况，(1)儿童性别容易误识别，特别是1~3岁左右的儿童，性别识别比较困难 (2) 长头发的男生或者短头发的女生的，也容易误识别；其他情况，正常穿着打扮的男士女生识别准确率可以达到99%左右。
  2. 关于年龄预测的问题：现有数据年龄部分不均匀，大部分人脸数据年龄分布在20-40岁之间的年轻人，而儿童和老年人的数据比较少；导致儿童和老年人年龄预测精准度比较差；另外，也是强烈建议的：采集同一个人不同年龄阶段的人脸数据加入模型训练，可以有效提升年龄预测的精准度。损失函数使用Label Distribution方法进行训练，也会比直接使用交叉熵损失函数效果要好。
  3. 当人脸存在遮挡时，如戴眼镜，戴口罩，头发遮挡，年龄预测的误差较大，建议实际使用过程中，尽量采集正脸，无遮挡的人脸图片进行测试
  4. 清洗数据集(最重要)：尽管鄙人已经清洗一部分了，但还是建议你，训练前，再次清洗数据集，不然会影响模型的识别的准确率。
  5. 增加训练的样本数据：建议根据自己的业务场景，采集相关数据，提高模型泛化能力
  6. 使用参数量更大的模型：本教程使用的是mobilenet_v2模型，属于比较轻量级的分类模型，采用更大的模型（如resnet50），理论上其精度更高，但推理速度也较慢。
  7. 尝试不同数据增强的组合进行训练
  8. 增加数据增强：已经支持：随机裁剪，随机翻转，随机旋转，颜色变换等数据增强方式，可以尝试诸如mixup，CutMix等更复杂的数据增强方式
  9. 样本均衡：原始数据年龄类别数据并不均衡，类别20-40岁的数据偏多，而老年人和小孩的数据偏少，这会导致训练的模型会偏向于样本数较多的类别。建议进行样本均衡处理。
  10. 调超参：比如学习率调整策略，优化器（SGD,Adam等）
  11. 损失函数：目前训练代码已经支持：交叉熵，LabelSmoothing，可以尝试FocalLoss等损失函数
  （7）一些运行错误处理方法
  - 项目不要出现含有中文字符的目录文件或路径，否则会出现很多异常！！！！！！！！
  - cannot import name 'load_state_dict_from_url'
    
    由于一些版本升级，会导致部分接口函数不能使用，请确保版本对应
    
    torch==1.7.1
    
    torchvision==0.8.2
    
    或者将对应python文件将
```
  from torchvision.models.resnet import model_urls, load_state_dict_from_url
```
    修改为：
```
  from torch.hub import load_state_dict_from_url
  model_urls = {
      'mobilenet_v2': 'https://download.pytorch.org/models/mobilenet_v2-b0353104.pth',
      'resnet18': 'https://download.pytorch.org/models/resnet18-5c106cde.pth',
      'resnet34': 'https://download.pytorch.org/models/resnet34-333f7ec4.pth',
      'resnet50': 'https://download.pytorch.org/models/resnet50-19c8e357.pth',
      'resnet101': 'https://download.pytorch.org/models/resnet101-5d3b4d8f.pth',
      'resnet152': 'https://download.pytorch.org/models/resnet152-b121ed2d.pth',
      'resnext50_32x4d': 'https://download.pytorch.org/models/resnext50_32x4d-7cdf4587.pth',
      'resnext101_32x8d': 'https://download.pytorch.org/models/resnext101_32x8d-8ba56ff5.pth',
      'wide_resnet50_2': 'https://download.pytorch.org/models/wide_resnet50_2-95faca4d.pth',
      'wide_resnet101_2': 'https://download.pytorch.org/models/wide_resnet101_2-32ee1156.pth',
  }
```
    5.项目源码下载（Python版）
    
    （1）年龄性别预测和识别项目源码下载(推理版本)
    
    项目源码下载地址：可公众号【AI吃大瓜】咨询联系
    
    整套项目源码内容包含：
    这是推理版本，不含训练代码，可作为模型测试使用
    提供年龄性别预测和识别模型的测试代码：demo.py
    Demo支持图片，视频和摄像头测试
    项目支持模型：AG_resnet18,AG_resnet50以及AG_mobilenet_v2等常见的深度学习模型
    项目源码自带训练好的模型文件，配置好依赖环境，可直接运行测试: python demo.py
    在普通电脑CPU/GPU上可以实时检测和识别
    （2）年龄性别预测和识别项目源码下载(训练版本)
    
    项目源码下载地址：可公众号【AI吃大瓜】咨询联系
    
    整套项目源码内容包含：
    这是训练版本，在推理版本的基础上增加了训练代码，以及配套的训练数据集，可复现文章的训练效果
    提供年龄性别数据集：MegaAge_Asian，MORPH以及IMDB-WIKI，标注了年龄和性别标签，总数约28W+的人脸图片。
    提供年龄性别预测和识别模型的训练代码：train.py，训练代码支持Label Distribution，效果比直接使用交叉熵损失函数要好；数据加载也支持样本重采用(Resample)
    提供年龄性别预测和识别模型的测试代码：demo.py
    Demo支持图片，视频和摄像头测试
    项目支持模型：AG_resnet18,AG_resnet50以及AG_mobilenet_v2等常见的深度学习模型
    项目源码自带训练好的模型文件，配置好依赖环境，可直接运行测试: python demo.py
    在普通电脑CPU/GPU上可以实时检测和识别
    6.项目源码下载（C++版）
    
    年龄性别预测4：C/C++实现年龄性别预测和识别(含源码，可实时预测)
    
    7.项目源码下载（Android版）
    
    目前已经实现Android版本的年龄性别预测和识别，详细项目请参考：
    
    年龄性别预测和识别Android APP Demo体验：https://download.csdn.net/download/guyuealian/88743711