2018/06/13
朝7時に起きた。今日も朝から研究室。
午前中は情報収集。NLP 界隈の Twitter を見ているとこんなレポートが話題になっていた。
これは様々な言語理解タスクで state-of-the-art を達成したモデルの報告で、教師なし学習かつタスクに特化したチューニングをほとんどしていないというのが驚き。
午後は研究。今日は評価を行うためのモジュールを作成。最初は提案手法を Query Expansion の手法として適用してみたが、どうもうまくいかない (まぁこれについては大体の予想はしていた)。次は Query Reformulation で実験しないと。
夕方は研究室の全体ミーティング。最初は#さんで、NMF とか Holt-winter とかを合わせたモデルのハイパーパラメータを推定する話。NMF は欠損値保管という文脈でも使えるというのが新鮮だった (どうしても行列分解のイメージが強かったので)。
次は$さんで、次の論文を紹介してくれた。
Wang, Yansen, et al. Learning to Ask Questions in Open-domain Conversational Systems with Typed Decoders. ACL. 2018.
これは対話で質問文を生成する方法で、質問文の要素を3タイプに分けてから生成しているところがキモ。
最後は%さんで、Graph Based Convolutional Neural Network について説明してもらった。これは、畳み込みの考え方をグラフに適用するために、Graph Fourier 変化というものを提唱 (Fourier 変換のアナロジー) したというもの。
論文の本筋とは全然関係ないけど、Graph Laplacian の固有ベクトルが Graph Fourier 変換での基底になる、という定理の証明が気になる。%さんいわく、Graph Laplacian の定義はいくつか種類があって、そのうちの1つの定義を用いれば証明しやすいそう。
その後は研究室のメンバーで夕食を食べてから家に帰った。
夜はランニング+縄跳び。
