전체 글111 8. (Transformer-2편) Transormer : Self-Attention 트랜스포머의 전반적인 구조와 Self-attention에 대해.. 대부분의 이미지는 Jay Alammar 의 블로그에서 가져왔다. 트랜스포머의 전체적인 구조는 인코더와 디코더를 여러 개 (보통은 같은 개수만큼) 쌓은 구조이다. 직전 포스팅에서 설명한 S2S+attention 에서는 인코더/디코더가 1개였던 것과 대조된다. 또한 S2S 와는 다르게, 한번에 하나의 토큰씩 순차적으로 시퀀셜 하게 토큰을 처리하지 않는다. RNN 구조를 완전히 벗어나기 때문에 그럴 필요가 없다. 전체 문장(시계열에서는 타임스텝)을 한 번에 집어넣고 처리한다. Encoding vs Decoding block 차이점 : Encoder 는 한번에 모든 시퀀스를 다 사용함 (Unmasked), Decoder는 단어를 생성해야하니 순차.. 2024. 7. 24. 7. (Transformer-1편) RNN 과 Attention 이번 포스팅부터 2~3편으로 나누어 Transformer와 관련한 내용을 정리하려고 한다. 첫 번째 포스팅은 Transformer 모델이 나오게 된 배경? 흐름에 대해 정리하고, 시계열, 자연어 분야에서 트랜스포머 전까지 가장 많이 쓰였던 RNN 기반의 S2S + Attention 구조에 대해 다루려고 한다. 딥러닝 기반의 시계열 예측모델 흐름 시계열 예측 모델을 큰 카테고리로 나눠보면 3가지로 분류해볼 수 있다. 전통적인 통계기반의 시계열 분석 방법들 (Moving average, Exponential smoothing, ARIMA, Prophet 등..) 머신러닝 기반의 시계열 분석 방법들 (SVM, Random foreset, Boosting 등..) 딥러닝 기반의 시계열 분석 방법들 (RNN, .. 2024. 7. 24. 비트코인 온체인지표 (2) - 시장지표 비트코인, 암호화폐 투자의 가장 큰 특징 중에 하나는 블록체인을 통한 온체인 지표를 활용할 수 있다는 점이다. 온체인 지표는 블록체인 네트워크 상에 오픈된 여러 가지 종류의 데이터를 분석하여 네트워크의 상태, 사용자 행동, 거래 패턴 등을 평가하는 지표다. 온체인지표에 대한 포스팅은 총 3편으로 나누어 정리하고자 한다. ① 펀더맨털 : 비트코인을 네트워크, 화폐, 디지털 금 등의 관점으로 생각했을 때 내재적인 가치를 판단할 수 있는 지표들 ② 시장분위기 : 현재 시장의 과매수/과매도 등의 분위기를 나타내는 지표. 중/장기적인 가치를 판단하기 좋다. ③ 가격신호 : 단기적인 고점/저점 가격신호에 대한 기술적 분석 지표. 이번 두 번째 포스팅은 정량적인 방법으로 중기적인 가치를 평가해 볼 수 있는 시장의 .. 2024. 7. 21. 비트코인 온체인지표 (1) - 펀더맨털 비트코인, 암호화폐 투자의 가장 큰 특징 중에 하나는 블록체인을 통한 온체인 지표를 활용할 수 있다는 점이다. 온체인 지표는 블록체인 네트워크 상에 오픈된 여러 가지 종류의 데이터를 분석하여 네트워크의 상태, 사용자 행동, 거래 패턴 등을 평가하는 지표다. 온체인지표에 대한 포스팅은 총 3편으로 나누어 정리하고자 한다. ① 펀더맨털 : 비트코인을 네트워크, 화폐, 디지털 금 등의 관점으로 생각했을 때 내재적인 가치를 판단할 수 있는 지표들 ② 시장분위기 : 현재 시장의 과매수/과매도 등의 분위기를 나타내는 지표. 중/장기적인 가치를 판단하기 좋다. ③ 가격신호 : 단기적인 고점/저점 가격신호에 대한 기술적 분석 지표. 첫 번째 포스팅은 비트코인의 내재적인 가치를 판단해 볼 수 있는 지표다. 이름부터 가.. 2024. 7. 21. 이전 1 2 3 4 5 6 7 8 ··· 28 다음
