caffe（八）——layer

2019-01-10 2019-01-10 view times

官网 tutorial：http://caffe.berkeleyvision.org/tutorial/

官网 layer 解析：http://caffe.berkeleyvision.org/tutorial/layers.html

参考该博主的caffe学习系列，写得很详细，超赞的：https://www.cnblogs.com/denny402/tag/caffe/

一、数据层

提供其它格式转换为Blobs输入，也提供数据从Blobs转换成别的格式保存输出

数据来源
高效的数据库的 LevelDB 和 LMDB
直接来自于内存
来自磁盘的 hdf5 文件和图片格式文件

layer {
  name: "cifar"
  type: "Data"
  top: "data"
  top: "label"
  include {
    phase: TRAIN
  }
  transform_param {
    # scale为0.00390625，实际上就是1/255, 即将输入数据由0-255归一化到0-1之间
    scale: 0.00390625

    # 用一个配置文件来进行均值操作
    mean_file_size: "examples/cifar10/mean.binaryproto"

    # 1表示开启镜像，0表示关闭，也可用ture和false来表示
    mirror: 1  

    # 剪裁一个 227*227的图块，在训练阶段随机剪裁，在测试阶段从中间裁剪
    crop_size: 227
  }
  data_param {
    source: "examples/cifar10/cifar10_train_lmdb"
    batch_size: 100
    backend: LMDB
  }
}

(1)top、bottom: 用bottom来输入数据，用top来输出数据，只有top没有bottom，则只有输出，没有输入

(2)data、label: 在数据层，(data,label)是分类模型所必需的

(3)transform_param：数据预处理

(4)data_param：不同数据来源，这里只考虑数据来源于数据库 backend: LMDB

二、视觉层

1.卷积层 type: “Convolution”

layer {
  name: "conv1"
  type: "Convolution"
  bottom: "data"
  top: "conv1"
  param {
    lr_mult: 1
  }
  param {
    lr_mult: 2
  }
  convolution_param {
    num_output: 20
    kernel_size: 5
    stride: 1
    weight_filler {
      type: "xavier"
    }
    bias_filler {
      type: "constant"
    }
  }
}

(1)param

lr_mult: 学习率的系数，最终的学习率是 lr_mult*base_lr
如果有两个lr_mult, 则第一个表示权值的学习率，第二个表示偏置项的学习率，一般偏置项的学习率是权值学习率的两倍

(2)convolution_param:

num_output: 卷积核的个数，fearure map的个数
kernel_size: 卷积核的大小，也可以用kernel_h和kernel_w设定
stride: 卷积核的步长，也可以用stride_h和stride_w来设定
pad: 扩充边缘，默认为0，不扩充，扩充的时候是左右、上下对称的，也可以通过pad_h和pad_w来设定（注意，扩充是对图像边缘，而不是卷积核）
weight_filler: 权值初始化，默认为“constant”，全为0，一般用”xavier”或”gaussian”
bias_filler: 偏置项初始化，一般设置为”constant”，全为0
bias_term: 是否开启偏置项，默认为true, 开启
group: 分组卷积，默认为1组（减少运算量，但groups之间不share feature map）

输入输出尺寸计算

输入：nc0w0h0
输出：nc1w1h1(c1就是num_output)
w1=(w0+2pad-kernel_size)/stride+1;
h1=(h0+2pad-kernel_size)/stride+1;
(如果设置stride为1，pad=(kernel_size-1)/2，则宽度和高度不变）

2.池化层 type: “Pooling”

与卷积层相同

pool: 池化方法，有MAX、AVE、TOCHASTIC

3.LRN type: LRN

Local Response Normalization局部响应归一化，侧抑制，在通道方向上

4.im2col

将矩阵重叠划分为多个子矩阵，将其序列化为向量

在caffe中，卷积计算就是先进行im2col，再进行内积计算

三、激活层

1.Sigmoid
2.ReLU
3.TanH
4.AbsVal: 绝对值
5.Power：幂运算

四、其它层

1.softmax-loss层 type: “SoftmaxWithLoss”

2.softmax type: “Softmax”

3.全连接层 type: “InnerProduct”

4.精确度 type: “Accuracy”

预测精确度，只有test阶段才有，因此需要加入include参数

layer {
  name: "accuracy"
  type: "Accuracy"
  bottom: "ip2"
  bottom: "label"
  top: "accuracy"

  # Test阶段的预测精确度
  include {
    phase: TEST
  }
}

5.reshape type: “Reshape”

改变维度

6.Dropout

设置dropout_ratio