CS/NLP
이론 3-5. BERT와 GPT 비교
초코chip
2023. 11. 13. 18:55
트랜스포머 아키텍처를 뼈대로 사용하는 BERT와 GPT의 공통점과 차이점 학습
| GPT | BERT | |
|---|---|---|
| 학습 태스크 | 다음 문장 맞히기 | 빈칸 맞히기 |
| 방향성 | 일방향(unidirectional) | 양방향(bidirectional) |
| 강점 | 문장 생성에 강점을 가짐 | 문장의 의미를 추출하는 데 강점을 가짐 |
| 구조 | 트랜스포머에서 디코더만 사용(인코더x) | 트랜스포머에서 인코더만 사용(디코더x) |