ML DL DS/NLP
-
Seq2Seq Learning & Pre-trained Models - (2)ML DL DS/NLP 2022. 6. 5. 17:36
⛓️Seq2Seq Learning & Pre-trained Models - (2) BERT - Bidirectional Encoder Representation from TransformerBERT Summary이름과 같이 transformer의 인코더 부분만을 사용. 좋은 Pre-trained Language Representation & downstream task에 대한 쉬운 fine tuning. 사전학습 시, 두 입력문장에 대하여 random masking된 토큰을 예측하는 분류(MLM) 문제와, 두 문장이 이어지는 문장인지에 대한 분류문제(Next Sentence)를 함께 학습.(https://github.com/google-research/bert/blob/master/run_pretrain..
-
Seq2Seq Learning & Pre-trained Models - (1)ML DL DS/NLP 2022. 6. 5. 17:36
⛓️Seq2Seq Learning & Pre-trained Models - (1) Sequence to Sequence learningseq2seq의 2 논문 (Sutskever et al.,2014, Cho et al., 2014)과 Jay Alamar의 블로그( https://jalammar.github.io/)를 추천핵심 구성 아이디어인코더: 입력 정보를 처리해 저장. 출력을 context vector라고도 함.디코더: 인코더의 결과를 입력으로 받아 시퀀스로 출력. RNN시퀀스 데이터를 처리하기 위해 개발된 뉴럴 빌딩 블락.입력 시퀀스와 출력 시퀀스의 길이에 따라 one2one, one2many, many2one, many2many로 나눌 수 있으며, 현재 timestamp에 대한 은닉층은 이전 t..