실습 목표허깅페이스 tokenizers 라이브러리를 활용하여 BPE 기반의 토크나이저 생성 실습 어휘 집합 구축BPE 기반 토크나이저를 사용하려면 어휘 집합(token.json)부터 구축 1st - 말뭉치 준비 ( 다운 및 전처리 )from Korpora import Korporansmc = Korpora.load("nsmc", force_download=True) import osdef write_lines(path, lines): with open(path, 'w', encoding='utf-8') as f: for line in lines: f.write(f'{line}\n')write_lines("/content/train.txt", nsmc.train.get..