전체 글111 RNN - 1편 (RNN구조, RNN의 Backpropagation) Index TDNN (Time Delayed Neural Network)RNN이 개발되기 전에는 temporal pattern을 갖는 문제를 해결하기 위해 기존의 DNN 구조에 input 으로 시계열 데이터를 시퀀스를 가지고 투입하는 TDNN 이 활용되었다. 특정 사이즈(n)의 window를 sliding 시켜가며 시계열 input data를 받는다. (마치 1stride 1D Convolution 같이) Input 데이터 안에 window size 만큼의 데이터간에는 순서,dependency가 있을 수 있지만, Input끼리는 independent하다. 즉 input(t) 와 input(t-1)은 shuffle 가능하다. 단점window size 가 너무 작으면 longer dependency 포착을 .. 2023. 7. 1. CNN - 3편 (Up-sampling, U-Net) IndexUp-Sampling앞서 convolution - maxpooling 과정은 dimension reduction 즉 down-sampling 이라고 했다. Up-sampling (≒Decoing)은 Down-sampling (≒Encoding) 의 반대방향 변환이다.CNN 관점에서 Up-sampling은 압축된 low resolution feature map으로 high resolution image를 generate하는 것이다. UP-sampling의 대표적인 non-learnable한 방식이 interpolation(보간) 기법이다. 반면, 대표적인 Convolution을 이용한 learnable 방법이 ①Transpose convolution ②Fractionally-strided-conv.. 2023. 6. 30. CNN - 2편 (Bottleneck, ResNet,Dropout) Index1×1 filter, Bottleneck 구조1×1 filter는 receptive field에는 영향을 미치지 않지만 nonlineariry를 추가해주고, feature map의 개수를 늘리거나 줄일수 있는, 사실상은 weight sharing을 하는 FC layer 역할을 하는 구조이다. 최소한의 변경으로 feature map 개수를 바꾸고 싶을 때 유용하며, 아래 그림과 같이 앞서 다뤘던 작은 size의 filter를 여러층 쓰는것이 유리하다는 내용과 비슷한 개념이다. Bottleneck구조는 1×1 filter를 앞/뒤로 이용해 동일한 receptive field에 계산량은 줄이고, nonlinearity는 늘리는 방식 ResNet (Residual Network)ResNet은 CNN.. 2023. 6. 29. CNN - 1편 (CNN의 구조) IndexCNN 개요CNN은 이미지, 영상 데이터와 같이 huge dimension 이며, 객체의 위치가 바뀌더라도 인식할 수 있는 문제를 해결하기 위해 등장한 모델이다. CNN의 가장 큰 두 특징은 ① Weight sharing ② Translation invariance 이다. Weight sharing : 아래 비교 그림과 같이 일반적인 FC 구조의 DNN은 항상 입력값으로 이전layer의 모든 노드를 사용하며 입력노드×출력노드 개수 만큼의 weight 파라미터가 필요한 반면, CNN에서는 입력값으로 이전노드의 정해진 사이즈만큼의 노드만 사용하고 weight도 그 사이즈에 맞춘 커널 형식으로 sharing 하게 된다. Translation invariance: 객체의 위치가 바뀌거나 조금의 변동이.. 2023. 6. 29. 이전 1 ··· 17 18 19 20 21 22 23 ··· 28 다음
