Global Average Pooling (GAP)

Max Pooling

• Pooling layer는 CNN 모델에서 파라미터의 수를 줄이고, 차원을 감소시키는 역할을 하게 됩니다.
• 일반적으로 가장 많이 사용되는 max pooling은 아래의 그림 처럼 convolutional layer의 지정된 커널 크기 내에서 가장 큰 값을 선택해 새로운 feature를 형성합니다.

Average Pooling

• Average pooling은 max pooling과는 다르게, 그림 처럼 convolutional layer의 지정된 커널 크기내의 평균 값을 계산해 새로운 feature를 형성합니다.

Global Average Pooling

• Global average pooling은 앞의 두 방법보다 feature를 더 많이 감소시킵니다.
• 아래의 그림처럼 각 convolution layer에 대한 값들의 평균 값이 벡터를 이루게 되어, 이는 최종적으로 1차원의 feature 벡터를 만들게 됩니다.
• 이는 fully connected layer에서 너무 많은 파라미터와 연산이 필요하기 때문에, 이를 없애기 위한 방법으로 제시되었습니다.
• 또한 fully connected의 경우 크기가 정해져 있기 때문에 입력 값의 크기가 정해져있어야 하지만, gap을 사용하는 경우에는 입력 값의 크기가 달라져도 된다는 장점이 있습니다.