2019/01/28-2019/02/01
アメリカに少しは慣れてきた。今までメインの食料は歩くと 30 分ほどかかる日系スーパーにいたんだけど、最近は近くの現地スーパーにも行くようになった。少しずつ現地に適応している感じがする。
インターンの仕事は、ひたすら実験を積んでいっている。まだ自分の中で研究の overview が見えておらず、手探り状態。印象的だったのが、こちらは実験においては定性的な evidence (具体例) が重要視されること。自分は日本では数字を出して話を進めることにこだわりすぎて、定性的な現象の把握を怠っていたことを痛感させられる。
お金がとにかくなくて (クレジットカードが上限に来ていて上げられない)。見かねた上司が貸してくれてなんとか窮地を脱する。。。
Airbnb のルームメイトとたまたま話をしていると、自然言語処理の Ph.D. candidate ということがわかった。今は Google Brain のインターンの打ち合わせでこっちに来たらしい。Mountain view は石を投げれば Google 社員に当たるんじゃないか。日曜日はラーメンを一緒に食べに行った。
2019/01/22-2019/01/27
アメリカに来て1週間と少し。
仕事は慣れてきて、自分のできなさが浮き彫りになってきて、ところどころ研究が受動的になってしまっている。これは良くない。Github の issue base な研究の進め方は初めて試してみたけど、これは良い (毎回目にするので、going my way してしまうことが少なくなる)。
土曜日、Cupertino で Apple で働いている $ さんと会っていろいろ話を聞いた。特に印象的だったのは、Engineer と Researcher が (会社によっては) そこまで差がないということと、Ph.D に要求される能力が自分の思っていたことと少し違っていたことと (writing papers は会社によっては二の次っぽい)、Professionalism がアメリカのほうが圧倒的に必要とされること。
クレジットカードが上限に来てしまうも、国際電話がややこしくて上げてもらうことができていない。唯一残っているのが JCB のカードなんだけど、アメリカでは本当に JCB が使えない。。今のところ使えたのは Nijiya (日本食マーケット) と Uber だけ。
2019/01/18-2019/01/21
ホテル暮らしが終わり、Airbnb での生活が始まった。
今週末は Martin Luther King Jr. の生誕日ということで、アメリカでは少ない3連休。ということでいくつか有名所を観光してみる。
土曜日は Stanford Shopping Center に行った。荷物の関係で服を最小限しか持ってこなかったので主に服を買いに行った。ここから近い服屋さんは Stanford か Millpitas になるっぽい。
Stanford によったついでに、 Stanford University に行ってみた。キャンパスが恐ろしく広く、キャンパスがもはや街をなしている。一番驚いたのは購買で、キャンパスグッズの力の入れ方がすごい (例えばバスケグッズはプロ並みのプロモーションをしていたり、大学Tシャツは Champion や NIKE とコラボをしていておしゃれ)。日本だと大学グッズを身に着けている大学生はほぼいないので、結構衝撃だった。
日曜日は引きこもって (Castro St. にある韓国料理店のビビンバが辛くて辛かった)、月曜日は tech company をいくつか見に行った。まずは Cupertino にある Apple によって (open to public なものはなかった)、次に NASA Research Center に (こちらも open to public なものはない) 。
明日からは本格的に仕事が始まる。楽しみ。
2019/01/09
今日は一日図書館で勉強の日。
今日も雑多に気になった NLP の技術を勉強した。キーワードとしては GloVe, ELMo, Hierarchical Softmax など (本当に雑多)。
GloVe は一時期盛り上がったときに勉強したけど忘れたのでもう一度復習。GloVe は SVD とかとアプローチは似ていて、
最適化関数は
(これにバイアス項が入ったりする)
Word2Vec との違いは共起行列の部分。
ELMo は Stacked Bi-directional LSTM の層間の隠れ層の線形結合によって word embedding を得る。エンドタスクを切り替える際も線形結合の重みだけ変えればいいらしい。
Hierarchical Softmax は NLP において Softmax の計算コストがしばしば大きくなってしまう問題の解決策の1つで、クラスを2分木で階層的にして分母 (正則化項) の計算量を減らしている。
今日は勉強ログのみ。
2019/01/05-2019/01/08
別に一週間ごとの日記を書かなくてもいいや。
今週は忙しかった。主にビザの取得のための事務処理と、インターンのための事前サーベイをしていた。本もいくつか読んだ。
ビザは 1/8 に面接があった。特殊な経験だったので書き留めておきたい。やったことは大阪の天満にあるアメリカ領事館で J1 ビザの申請。かなり厳しい持ち物制限があったので、北新地駅のロッカールームにいらない荷物は入れていった。が、途中でイヤフォンを置き忘れていたことがわかり、これは大丈夫なのかどきどきしていた (なんせ持ち物制限が厳しく書かれていたので)。イヤフォンは OK だったっぽい。金属探知機を抜けて、最初に書類を簡単に審査されて、次に指紋採取。ついで面接。面接では生活費はどこから出すの? とか、今大学何年生? とか聞かれた。全部日本語。面接が終わると approved が告げられる。一安心。
サーベイの方は順調に進んでいる。読んでいるのは Cross-lingual word embedding のサーベイ論文。 https://arxiv.org/abs/1706.04902 今読んでいるところだと、parallel corpus の文対を word alignment して辞書を作り、辞書の key と value の embedding が近くなるような loss をかませるというやり方が多い。一番シンプルなものは monolingual な embedding を学習した後に source から target の空間への線形変換をかますもので (loss は )、これをとりあえず自分で実装してみようかなと思っている。
2018/12/25 - 2019/01/04
この日記は (特に最近は) 研究ログに近いつもりで書いていたけど、これ以外に自分の日記もないのでたまには研究外のことも書こうと思う。1 パラグラフ 1 トピック。
地元の友だちと忘年会をした。年の瀬だから忘年会という名前がついているけど、中身は飲んで近況を報告しあったりする普通の飲み会。この年になるとみんながみんな違うことをしているので面白い。
研究 Ib (授業) の発表。年明けからのインターンの関係で、個別に % 先生のところに発表しにいく。プレゼンは自分が趣旨を思い違いしていてイマイチな評価。まぁ仕方ないか。
駿台時代のプリントをパラパラ見返してみた。竹岡先生の最終講義とか、石川先生の熱い化学とか、終始みんな熱中していて楽しかったなぁ。
新しい iPad (Pro, 11inch) を買った。これでやっと論文を印刷せずにすむ。新しい Apple Pencil はタップでモードを切り替えられてすごく便利。来週からはまた鬼の量のサーベイをしないといけないので、こいつとともに頑張りたい。
