오뚝이개발자

오늘 소개할 논문은 "ELECTRA: PRE-TRAINING TEXT ENCODERS AS DISCRIMINATORS RATHER THAN GENERATORS"이다.(원논문 링크) What is ELECTRA? ELECTRA는 구글 리서치 팀에서 발표한 논문으로 LM의 새로운 pre-training 기법을 제안하였다. ELECTRA는 Efficiently Learning an Encoder that Classifies Token Replacements Accurately의 약자이다. 기존의 MLM(Masked Language Model) 태스트를 통한 pre-training 방식은 많은 연산량을 필요로 한다. 이로 인해 충분한 컴퓨팅 리소스가 없는 연구자들에게 LM을 학습시키기가 점점 어려워지고 있다. ..

BERT 원논문 링크 What is BERT? Bidirectional Encoder Representations from Transformers Can be fine-tuned with jus one additional output layer for a wide range of task Don't need task-specific architecture Motive BERT는 left to right LM이 sentence level task에서 sub-optimal이라는 점을 지적 기존 LTR LM은 주로 양방향으로부터의 문맥정보를 incorporate하는 것이 중요한 경우 취약(e.g. question answering) Transformer에서 착안한 BERT Encoder Attention을 사..