かなり忙しい一週間だった。作らなければならないスライドが3枚たまっていて (修士の中間報告、位相勉強会のスライド作成、輪講の課題) かなり忙しかった。忙しいと研究の進み具合が微妙になる、、と思っていたところで上保さんが下のような tweet をしてい…

BERT で CLEF-IP の特許の description を丸々 embedding しているんだけど、これがすごく時間がかかる。1~2sec/doc なので、単純に * 100万文書 / # GPU = ... という感じ。 50万文書ほど embedding できた時点で、いろいろな手法を試してみる。やはり単純…

Berkeley で会った先端医療イノベーションセンタの@教授が日本に戻ってきて講義をするので、15分ぐらい学部生の前で海外経験を話してくれないかと頼まれ話してきた。豊中でしかも一限で、最悪なことに30分ほど遅刻してしまった。ちなみに一限にもかかわらず…

大規模コーパスでトピックモデルをやるのはどうも大変そうなので、ELMo や BERT で embedding をして次元縮退をすることにする (本来やりたかったベイズ推定ではないけど)。ここら辺が重い限りベイズ推定というのはなかなか使いにくい。Sentence embedding …