2018/08/04

朝10時に起きた。今日も朝から研究室。

午前中は ELMo を入れてみて試しに word embedding を出してみる。ELMo の現論文 (下) は NAACL 2018 の best paper だったらしい。これは bi-LSTM を2層にしたモデルで、上位層・下位層でとらえる特徴が違うことは応用できそう。

Matthew E. Peters, Mark Neumann, Mohit Iyyer, Matt Gardner, Christopher Clark, Kenton Lee, Luke Zettlemoyer. Deep contextualized word representations. NAACL 2018.

まだ実タスクに応用はできていないけど...