전체 글111 Variational Auto Encoder (VAE) IndexAE의 목적은 Input을 대변할 수 있는 low dimension latent vector를 추출하는 것이라면, VAE는 input의 많은 variations를 generating 하는, generaing 모델이다. VAE 모델 구조Encoder 가 직접적으로 Latent vector를 추출하는 대신 아래와 같은 절차를 거친다. mean(μ), standard deviation(σ) 2개의 latent vector를 생성한다.μ,σ 에 해당하는 Gaussian 분포로 input의 분포를 approximate한다 - Latent distributionGassian을 따르는 Latent distribution으로부터 sample을 추출하여 sampled latent vector 생성 Decode.. 2023. 7. 1. Auto Encoder IndexAuto Encoder 구조 오토인코더는 대표적인 Unspervised Learning 으로 Data Reconstruction을 목적으로 하는 인코더-디코더 결합모델Input data를 lower dimension vector (=Latent vector)로 압축(다운샘플링)한뒤 다시 Input의 모습과 비슷한 output으로 reconstruction(업샘플링)하는 과정. 즉, Input 이 Target이 된다. AE의 목적은, 'Dimensionality Reduction' : Input 정보를 최대한 잃지 않는 선에서 저차원 Latent vector를 찾는것 AE의 주요 특징 두가지는 ① Data-Specific ② LossyData-Specific : 학습할 Input data끼리, 그.. 2023. 7. 1. Attention Mechanism IndexAttention mechanism은 인간이 주의를 집중하는 방식과 유사하게 특정 정보와 가장 관련있는 입력 데이터의 특정 부분에 집중할 수 있는 기능을 위한 매커니즘이다. Attention mechanism이 CNN(visual image)측면과, LSTM(sequence)측면에서 어떻게 활용되는지를 정리해본다. Attention for Image dataCNN 에서의 Attention (Visual Attention) 활용구조를 보기전에, CNN-LSTM 결합모델을 통한 Image Captioning (이미지를 보고 설명문장을 써주는) 과정을 그려보면 아래와 같다. CNN - LSTM model for Image CaptioningImage로 부터 feature를 학습/추출하기 위해 CNN.. 2023. 7. 1. RNN - 2편 (LSTM) IndexLSTM (Long Short Term Memory)LSTM은 Long-term dependency를 capture하면서도 RNN의 vanishing/exploding grdaient problem을 극복하는 목적Simple RNN과 다르게 LSTM은 Memory를 위해 Cell state c(t) 와 Hidden state h(t) 2개의 벡터를 가지는데, 개괄적으로는 Cell state가 Long term, Hidden state가 Short term 메모리를 담당하고, 이 둘을 합쳐 Memory cell이라고 한다. Cell State 의 구성Input gate: 어떤 input을 cell state에 얼만큼 저장할지Forget gate: Memory unit (Cell state)에거 얼.. 2023. 7. 1. 이전 1 ··· 16 17 18 19 20 21 22 ··· 28 다음
