구글
-
트랜스포머 모델기술 2022. 7. 1. 16:58
트랜스포머(Transformer)는 2017년 구글이 발표한 논문인 “Attention is all you need”에서 나온 모델로 기존의 seq2seq의 구조인 인코더-디코더를 따르면서도, attention만으로 구현한 모델이다. 이 모델의 목적은 saving computing cost, solving long-range dependencies이다. 트랜스포머 모델은 문장 속 단어와 같은 순차 데이터 내의 관계를 추적해 매각과 의미를 학습하는 신경망이다. attention or self-attention이라 불리며 진화를 거듭하는 수학적 기법을 응용해 서로 떨어져있는 데이터 요소들의 의미가 관계에 따라 미묘하게 달라지는 부분까지 감지해낸다. 이 모델은 지금까지 개발된 모델 중 가장 새롭고 강력한 성능..