2019/01/09

今日は一日図書館で勉強の日。

今日も雑多に気になった NLP の技術を勉強した。キーワードとしては GloVe, ELMo, Hierarchical Softmax など (本当に雑多)。

GloVe は一時期盛り上がったときに勉強したけど忘れたのでもう一度復習。GloVe は SVD とかとアプローチは似ていて、
最適化関数は

(これにバイアス項が入ったりする)
Word2Vec との違いは共起行列の部分。

ELMo は Stacked Bi-directional LSTM の層間の隠れ層の線形結合によって word embedding を得る。エンドタスクを切り替える際も線形結合の重みだけ変えればいいらしい。

Hierarchical Softmax は NLP において Softmax の計算コストがしばしば大きくなってしまう問題の解決策の1つで、クラスを2分木で階層的にして分母 (正則化項) の計算量を減らしている。

今日は勉強ログのみ。