트랜스포머 모델

트랜스포머(Transformer)는 2017년 구글이 발표한 논문인 “Attention is all you need”에서 나온 모델로 기존의 seq2seq의 구조인 인코더-디코더를 따르면서도, attention만으로 구현한 모델이다. 이 모델의 목적은 saving computing cost, solving long-range dependencies이다. 

 

트랜스포머 모델은 문장 속 단어와 같은 순차 데이터 내의 관계를 추적해 매각과 의미를 학습하는 신경망이다. attention or self-attention이라 불리며 진화를 거듭하는 수학적 기법을 응용해 서로 떨어져있는 데이터 요소들의 의미가 관계에 따라 미묘하게 달라지는 부분까지 감지해낸다. 이 모델은 지금까지 개발된 모델 중 가장 새롭고 강력한 성능을 보여주며, 트랜스포머AI라 불리는 머신러닝 생태계의 혁신을 주도하고 있다.  처음에는 자연어처리(LNP)를 위해 개발되었지만 컴퓨터 비전, 약물 발견등 전산업에서 활용돼 혁신을 가속하고 있다.

기능

트랜스포머는 텍스트와 음성을 거의 실시간으로 옮겨 청각 장애인 등 다양한 청중의 회의와 강의 참여를 지원한다. DNA의 유전자 사슬과 단백질의 아미노산에 대한 이해를 도와 신약 디자인을 가속하기도 한다. 트랜스포머는 트렌드와 이상 징후를 감지해 부정 방지, 제조 간소화, 온라인 추천, 헬스케어 개선 등에 기여한다. MS bing, 구글에서 검색할 때도 트랜스포머를 사용한다.

→ 순차적 텍스트나 이미지, 비디오 데이터를 사용하는 애플리케이션은 무엇이든 트랜스포머 모델이 될 수 있다.

 

https://blogs.nvidia.co.kr/2022/04/01/what-is-a-transformer-model/

트랜스포머 모델이란 무엇인가? (1) | NVIDIA Blog