CMT: Convolutional Neural Networks Meet Vision Transformers,CIFAR100数据集复现

CMT: Convolutional Neural Networks Meet Vision Transformers

论文地址：https://arxiv.org/abs/2107.06263

 复现设备：单卡V100 32G

复现数据集：CIFAR100

数据集地址：链接：https://pan.baidu.com/s/1BPt7kUO6ACo_2bQN_hwVkw 
提取码：1qqz 
训练流程：下载代码Efficient-AI-Backbones/cmt_pytorch at master · huawei-noah/Efficient-AI-Backbones · GitHub

安装：

- python==3.6
- cuda==10.0

pip install torch==1.7.0 torchvision==0.8.1;
pip install timm==0.3.2;
pip install torchprofile;

下载数据集，将数据集放在 CIFAR_100文件夹下，解压数据集。

本实验采用CIFAR100数据集，epoch=300,batchsize=128,GPU为单卡V100 32G。

执行：python -m torch.distributed.launch --nproc_per_node=1 train.py --data-set CIFAR100 --data-path CIFAR_100/ --output_dir output/ --model cmt_s --batch-size 128 --apex-amp --input-size 224 --num_workers 16 --weight-decay 0.05 --drop-path 0.1 --epochs 300 --test_freq 100 --test_epoch 260 --warmup-lr 1e-7 --warmup-epochs 20 

参数：

--nproc_per_node ：GPU个数

--data-set ： 训练数据集类型（数据集类型选择CIFAR100，原代码中可能没有这个类型，可以自己更改代码文件）

--data-path ： 训练数据集放置地址（下载数据集放在CIFAR_100文件夹下并解压）

--output_dir ：输出文件地址（创建output文件夹）

--model ： 训练网络类型（本实验采用cmt_s）

--batch-size ： 设置批处理大小

--epochs ： 设置训练轮数

训练结果：

 

Model	Dataset	Acc@1	Acc@5
CMT_S	CIFAR100	82.9%	96.3%

训练时长1天9小时