전체 글118 Auto Encoder IndexAuto Encoder 구조 오토인코더는 대표적인 Unspervised Learning 으로 Data Reconstruction을 목적으로 하는 인코더-디코더 결합모델Input data를 lower dimension vector (=Latent vector)로 압축(다운샘플링)한뒤 다시 Input의 모습과 비슷한 output으로 reconstruction(업샘플링)하는 과정. 즉, Input 이 Target이 된다. AE의 목적은, 'Dimensionality Reduction' : Input 정보를 최대한 잃지 않는 선에서 저차원 Latent vector를 찾는것 AE의 주요 특징 두가지는 ① Data-Specific ② LossyData-Specific : 학습할 Input data끼리, 그.. 2023. 7. 1. Attention Mechanism IndexAttention mechanism은 인간이 주의를 집중하는 방식과 유사하게 특정 정보와 가장 관련있는 입력 데이터의 특정 부분에 집중할 수 있는 기능을 위한 매커니즘이다. Attention mechanism이 CNN(visual image)측면과, LSTM(sequence)측면에서 어떻게 활용되는지를 정리해본다. Attention for Image dataCNN 에서의 Attention (Visual Attention) 활용구조를 보기전에, CNN-LSTM 결합모델을 통한 Image Captioning (이미지를 보고 설명문장을 써주는) 과정을 그려보면 아래와 같다. CNN - LSTM model for Image CaptioningImage로 부터 feature를 학습/추출하기 위해 CNN.. 2023. 7. 1. RNN - 2편 (LSTM) IndexLSTM (Long Short Term Memory)LSTM은 Long-term dependency를 capture하면서도 RNN의 vanishing/exploding grdaient problem을 극복하는 목적Simple RNN과 다르게 LSTM은 Memory를 위해 Cell state c(t) 와 Hidden state h(t) 2개의 벡터를 가지는데, 개괄적으로는 Cell state가 Long term, Hidden state가 Short term 메모리를 담당하고, 이 둘을 합쳐 Memory cell이라고 한다. Cell State 의 구성Input gate: 어떤 input을 cell state에 얼만큼 저장할지Forget gate: Memory unit (Cell state)에거 얼.. 2023. 7. 1. RNN - 1편 (RNN구조, RNN의 Backpropagation) Index TDNN (Time Delayed Neural Network)RNN이 개발되기 전에는 temporal pattern을 갖는 문제를 해결하기 위해 기존의 DNN 구조에 input 으로 시계열 데이터를 시퀀스를 가지고 투입하는 TDNN 이 활용되었다. 특정 사이즈(n)의 window를 sliding 시켜가며 시계열 input data를 받는다. (마치 1stride 1D Convolution 같이) Input 데이터 안에 window size 만큼의 데이터간에는 순서,dependency가 있을 수 있지만, Input끼리는 independent하다. 즉 input(t) 와 input(t-1)은 shuffle 가능하다. 단점window size 가 너무 작으면 longer dependency 포착을 .. 2023. 7. 1. 이전 1 ··· 18 19 20 21 22 23 24 ··· 30 다음
