NLP trends and models
전이학습 : 레이블되어 있지 않는 굉장히 큰 텍스트 데이터에서 self-supervised task(언어모델링, 누락된 단어 채우기)를 학습하여(pre-training) 모델을 만듦. 그 다음 레이블 된 텍스트 데이터로 파인 튜닝을 함. ex) GPT, UNMFit, ELMo, BERT, XLNet, RoBERTa, ALBERT, Reformer, MT-DNN BERT기반의 모델들은 태스크 별로 출력을 다르게 할 수 있음. 기존 데이터셋에는 퀄리티 이슈나 데이터의 다양성에 대한 이슈가 있음. pretrained language model의 중요성 처음부터 모델을 학습시킬 필요없이, 기존의 대량의 데이터로 학습된 모델(Pre-trained model)을 가지고 우리의 태스크에 맞게 fine-tuning하면..