인코더/디코더 입력 생성 - 트랜스포머
- 토큰 시퀀스에 위치 정보(문장 내에서 몇번째 위치)를 추가하여 벡터 시퀀스로 변환하는 것
- 다음 인코더/디코더 블록의 입력은 이전 블록의 출력 -> 이를 시퀀스 개수(N) 만큼 반복
트랜스포머 출력층(output layer)
- 출력층의 입력은 디코더 마지막 블록의 출력 벡터 시퀀스
- 출력층의 출력은 타킷 언어의 어휘 수만큼의 차원을 갖는 벡터
- 타깃 언어의 어휘가 3만개면, 3만 개의 차원수를 가지며 3만 개 요소값을 전부 더하면 그 합은 1
셀프 어텐션 내부 동작
(1) 쿼리, 키, 값 만들기
'CS > NLP' 카테고리의 다른 글
| 이론 3-5. BERT와 GPT 비교 (0) | 2023.11.13 |
|---|---|
| 이론 3-4. 트랜스포머에 적용된 기술 (0) | 2023.11.13 |
| 이론 3-2. 트랜스포머 (0) | 2023.11.11 |
| 이론 3-1. 사전 학습된 모델 (0) | 2023.11.10 |
| 이론 2-3. 실습 - 어휘 집합 구축 (0) | 2023.11.10 |