2019/09/02-2019/09/08 - いないち日記

修論を書き始めた。いつものように目標は高い方がいいということで、関連分野でネットに上がっている Ph.D. thesis なんかを読んで様式を学ぶ。今週はほとんどを論文執筆に費やした。

位相・集合・多様体勉強会 (学内) で発表した。自分の担当範囲は一様連続を位相的に定義した後、距離空間の完備性やプレコンパクトを定義していく箇所。メインは $(\mathbf{R}, d^1)$ は完備であるという証明。教科書の証明方法がすごくて、 $N(x) = \{ n | n \in \mathbf{N}, a_n \leq x\}$ なる $N(x)$ が有限集合となる $x$ の集合 $M = \{ x | x \in \mathbf{R}, \mathrm{card} < \aleph_0\}$ の上限が実は $(a_n)$ の $n \to \infty$ 極限であるという示し方を取っている。この集合の定義の裏にあるアイデアがなかなかわからない。

研究の方はいくつか新しい側面を思いつく。1つは query expansion と embedding search の関係。query expansion が word embedding + k-NN で実装されているなら、もしかして実は両者は等価だったり、あるいは何らかの包含関係があったりするんじゃないかなぁ。だとしたら何かパラダイムシフトを起こせるんじゃないかなぁ。とか。もう1つはパラメトリックな手法について。先週は alignment をとって半ば強制的に部分空間をとっていたけど、もっとシンプルに、文書中のすべての embedding をプロットしてパラメトリックに分布を推定したらいいんじゃないかなぁという話。例えば word embedding とかは方向のみ意味を持つ (ノルムには多分意味がない、少なくとも最適化はされていない) ので、von Mises Fisher 分布で最尤推定とかして分布同士の KL divergence とかとればどうなるんだろう。少なくともグラスマン多様体のアプローチでうまくいっているなら筋は悪くなさそう。とか、そんなことを考えていた。NTT のインターンで von Mises Fisher 分布のパラメータ推定式は導出したはずなんだけど、すっかり忘れたので以下の論文で復習。

Clustering on the Unit Hypersphere using von Mises-Fisher Distributions. JMLR. 2005.