ep50 (ICLR): ELECTRA: Pre-training Text Encoders as Discriminators Rather Than Generators
ICLR 2020より,Replaced Token Detectionタスクによる事前学習によってGLUEとSQuADでSOTAを獲得したStanford x Googleのモデルを解説しました.
今回紹介した記事はこちらのissueで解説しています.
https://github.com/jojonki/arXivNotes/issues/391
サポーターも募集中です.
https://www.patreon.com/jojonki
Create your
podcast in
minutes
It is Free