Layer Shape Propagation

Convolution 和 Pooling 基本属于 case 1.1, 但有一个例外: padding

同样的 padding 搭配不同的 input shape 有时会因为 (input+padding-filter) 无法整除 stride 而出错, 例如:

input=10, padding=1, stride=3, filter=3 时, ouput=(10+2-3)/3+1=4

当 input 变为 11 时, (11+2-3)/3 无法整除, 导致出错.

ps. 某些 framework 如 tensorflow, pytorch 在定义模型时可以通过 `same` 或 `valid` padding 自动计算 padding 值, 但是最终导出的模型里 padding 会变成计算后的结果.

case 1.2, 因为它是根据 input shape 计算它的 stride, 以保证 output shape 是确定的. 所以 SPP 会导致 input shape 的变化无法向后传递.

case 1.2, 它的 output shape 总是由 crop 的参数决定的

LSTM Layer 的 input 为 [B, L, C], 输出为 [B, L, H], C 转换为 H 是由多个全连接完成的, 所以它属于 case 2

属于 case 2, 因为它的 input/output shape 是固定的.

即使修改了它的 input shape 使它能与前一层的输出匹配, 它对后续的层也有会类似于 1.2 的效果, 因为的它输出尺寸是固定的.

Batch Normalization 都属于 case 1.1, 虽然有的实现 (例如 tensorflow, pytorch) 会包含额外的 alpha, beta 参数, 用来做 scale 和 bias, 但这两个参数的 shape 与 channel 一致, 并不会变化.

Reshape 如果 reshape_param 包含 -1, 则属于 case 1.1, 否则属于 case 2

slice 会把 input 按下标分割为几份, 例如总数为 50, 下标为 10, 20, 30, 40, 就会分割成 5 份, 每份 10 个. 如果 slice 的 axis 是 feature map, 则 slice 可以认为属于 case 2, 否则属于 case 1.1

case 1.1

若 axis 为 channel, 则属于 case 1.1, 否则属于 case 1.2

以上列举的是 caffe 的常用算子, 除些以外还有一些自定义或其它框架包含的算子:

1. ROIFilter/ROIAlign

   case 1.2

2. GolbalAveragePooling

   和 SPP 类似, case 1.2

3. NMS

   case 1.2

另外, 有些框架例如 pytorch 在定义模型时看起来像是 case 1.1, 但因为它导出成 torchscript/onnx 时一般通过 trace 方式, 所以导出的模型会变成 case 2, 例如:

for slice in input:
    output[i] = conv2d(slice)

看起来 input 是支持任意长度, 但通过 trace 导出时会变成这样:

# 假设导出时提供的 input 长度为 3
slice_1 = input[0]
slice_2 = input[1]
slice_3 = input[2]
output_1 = conv2d(slice_1)
output_2 = conv2d(slice_2)
output_3 = conv2d(slice_3)
# ...