CNN(Convolution Netural Network)

Convolution

합성곱층, 컨볼루션 연산을 통해서 이입력 데이터로 부터 특징을 추출한다. 

특징 추출기능인 필터와, 이 필터의 값을 비선형 값으로 바꾸어주는 액티베이션 함수로 이루어진다.

stride(컨볼루션 연산시 건너뛰는 정도)

Pooling

차원을 축소하는 연산을 수행한다. (연산량 감소, 가장 강한 특징만을 추출하는 특징 선별효과)

Convolution으로 추출된 특징들을 샘플링(압축)한다. max pooling, average pooling 등이 있다. 

 

Fully Conneted 

분류 문제를 위한 CNN의 경우, 컨볼루션층과 풀링층을 거쳐서 추출된 활성화 맵들은 마지막에 Flattening으로 펼친 다음 우리가 배운 ANN 구조인 완전연결층(Fully connected Layer)의 인풋으로 들어가서 Softmax 분류를 수행

convolution 계층에서 추출된 특징 값을 기존의 뉴럴 네트워크(인공 신경 지능망)에 넣어서 분류한다.

이전 볼륨의 모둔 요소와 연결되어 있다.

output 전.

Convolution 레이어에서 일어나는 연산에 대해 설명하시오.

(Feature Map이 4x4인 이유, stride의 크기는 얼마인지 & 사이즈의 근거 등)

stride 크기는 1

6x6 입력에서 3x3 필터 적용을위해 맨왼쪽위에서부터 3x3 1칸(stride)씩 오른쪽 으로 이동

오른쪽 이동이끝나면 한칸 아래로 이동, 맨왼쪽부터 다시 시작

=> Feature Map 크기는 4 x 4 가 나옴

 

Feature Map에서 Polling의 과정을 설명. (4x4 -> 2x2의 과정과 Polling의 특징 2가지)

유닛 4개를 하나로 압축, 

4x4 에서 제일 높은 숫자 (max polling) 을 추출 -> 2x2

활성화 함수는 항등함수다.

일반 유닛이 이전 층의 유닛에게 가중입력을 받는다면 풀링층의 유닛은 가중치와 편향 개념이 없다.

 

11. Polling에서 출력을 거쳐 Loss 값을 얻기까지의 과정

제곱오차를 구한다

Ck=1/2{(t1-a10)^2 + (t2-a20)^2 + (t3-a30)^2)}

Ct=C1+C2+.....Cn

Ct가 최소값이 되는 파라미터를 구한다. 최소값이 되는 가중치, 편향, 합성공 신경망의 특징이 되는 필터의 성분을 구한다.

 

12. 이미지 크기가 28x28 커널사이즈 4x4 stride=3 어느 크기의 FeatureMap이 생성되는가

9x9

 

14. 경사하강법