트랜스포머 아키텍처를 뼈대로 사용하는 BERT와 GPT의 공통점과 차이점 학습
| GPT | BERT | |
|---|---|---|
| 학습 태스크 | 다음 문장 맞히기 | 빈칸 맞히기 |
| 방향성 | 일방향(unidirectional) | 양방향(bidirectional) |
| 강점 | 문장 생성에 강점을 가짐 | 문장의 의미를 추출하는 데 강점을 가짐 |
| 구조 | 트랜스포머에서 디코더만 사용(인코더x) | 트랜스포머에서 인코더만 사용(디코더x) |
'CS > NLP' 카테고리의 다른 글
| 이론 4. 문서 분류 모델 (0) | 2023.11.13 |
|---|---|
| 이론 3-6. 단어/문장을 벡터로 변환(임베딩) (0) | 2023.11.13 |
| 이론 3-4. 트랜스포머에 적용된 기술 (0) | 2023.11.13 |
| 이론 3-3 셀프 어텐션 동작 원리 (0) | 2023.11.13 |
| 이론 3-2. 트랜스포머 (0) | 2023.11.11 |