いないち日記

大阪で Information Retrieval を勉強する大学生の日記。

2019/02/11-2019/02/17

引き続き仕事は忙しい。

今週はスキがないと思われていた既存手法にも実は本質的な (重箱の隅ではない) 問題が残っていることがメンターさんの実験でわかって、それについて自分でも大きな発見をする。この発見は我ながらよく見つけたと思う。こういうのが研究の楽しさなんだろうな。

さいきん英語力不足を痛感する。ぜんぜん聞けていないし、話せてもいない。自分なりに Error analysis をしてみると、聞く方は個々の単語は聞き取れるんだけど、それに精一杯で文意を取れていない。話す方は日本語でまだまだ思案してしまっているので "英文" として出てくるのにかなりのタイムロスがある。話したいことが話せない時は (特に抽象的なアイデアとか) 本当に惨め。

初任給を Check でもらったので Bank of America に預けると、2週間ほど hold された。聞きに行くと、最近口座開設した人が多額の check を預けた場合はそうなるらしい。またお金がない...

2019/02/04-2019/02/10

今週から朝輪というものをメンターと始めている。これは毎朝1本論文を読んで、その内容について話し合うというもの。これまで輪講の経験はあっても、同じ論文を他の人と読む経験はやってこなかった。これがかなりいい勉強になって、経験豊富な人がどういうふうに論文に目を通すのかがわかってきた。

インターンの仕事はかなり忙しい。連日新たな手法を実装したり、実験結果をまとめたり。どうやってきれいに実装するかを考えていろいろ試行錯誤していたら、リファクタリングはあとでもいいと怒られる (時間は無限にはない)。

アメリカで仕事をする上で感じたこと and メンターにも言われたこととして、日本は slide 文化、アメリカは writing 文化という違いがある。これはどちらがいいという話ではないけど、郷に入りては郷に従えで、writing を練習してみることにする。メンターに進められたのは "snack writing" というもので、襟を正さずにとにかく毎日書くという練習法。試しに一日の作業を毎日1パラグラフで書いてみることにする。

土曜日は朝から San Fransisco に行って、昼からは UC Berkeley に行って鬼塚研にインターンで来ていた$にキャンパスを案内してもらう。

2019/01/28-2019/02/01

アメリカに少しは慣れてきた。今までメインの食料は歩くと 30 分ほどかかる日系スーパーにいたんだけど、最近は近くの現地スーパーにも行くようになった。少しずつ現地に適応している感じがする。

インターンの仕事は、ひたすら実験を積んでいっている。まだ自分の中で研究の overview が見えておらず、手探り状態。印象的だったのが、こちらは実験においては定性的な evidence (具体例) が重要視されること。自分は日本では数字を出して話を進めることにこだわりすぎて、定性的な現象の把握を怠っていたことを痛感させられる。

お金がとにかくなくて (クレジットカードが上限に来ていて上げられない)。見かねた上司が貸してくれてなんとか窮地を脱する。。。

Airbnb のルームメイトとたまたま話をしていると、自然言語処理Ph.D. candidate ということがわかった。今は Google Brain のインターンの打ち合わせでこっちに来たらしい。Mountain view は石を投げれば Google 社員に当たるんじゃないか。日曜日はラーメンを一緒に食べに行った。

2019/01/22-2019/01/27

アメリカに来て1週間と少し。

仕事は慣れてきて、自分のできなさが浮き彫りになってきて、ところどころ研究が受動的になってしまっている。これは良くない。Github の issue base な研究の進め方は初めて試してみたけど、これは良い (毎回目にするので、going my way してしまうことが少なくなる)。

土曜日、Cupertino で Apple で働いている $ さんと会っていろいろ話を聞いた。特に印象的だったのは、Engineer と Researcher が (会社によっては) そこまで差がないということと、Ph.D に要求される能力が自分の思っていたことと少し違っていたことと (writing papers は会社によっては二の次っぽい)、Professionalism がアメリカのほうが圧倒的に必要とされること。

クレジットカードが上限に来てしまうも、国際電話がややこしくて上げてもらうことができていない。唯一残っているのが JCB のカードなんだけど、アメリカでは本当に JCB が使えない。。今のところ使えたのは Nijiya (日本食マーケット) と Uber だけ。

2019/01/18-2019/01/21

ホテル暮らしが終わり、Airbnb での生活が始まった。

今週末は Martin Luther King Jr. の生誕日ということで、アメリカでは少ない3連休。ということでいくつか有名所を観光してみる。

土曜日は Stanford Shopping Center に行った。荷物の関係で服を最小限しか持ってこなかったので主に服を買いに行った。ここから近い服屋さんは Stanford か Millpitas になるっぽい。

Stanford によったついでに、 Stanford University に行ってみた。キャンパスが恐ろしく広く、キャンパスがもはや街をなしている。一番驚いたのは購買で、キャンパスグッズの力の入れ方がすごい (例えばバスケグッズはプロ並みのプロモーションをしていたり、大学Tシャツは Champion や NIKE とコラボをしていておしゃれ)。日本だと大学グッズを身に着けている大学生はほぼいないので、結構衝撃だった。

日曜日は引きこもって (Castro St. にある韓国料理店のビビンバが辛くて辛かった)、月曜日は tech company をいくつか見に行った。まずは Cupertino にある Apple によって (open to public なものはなかった)、次に NASA Research Center に (こちらも open to public なものはない) 。

明日からは本格的に仕事が始まる。楽しみ。

2019/01/15-2019/01/17

アメリカについた。とりあえず日記というか記録。

飛行機について。思ったより揺れが少なくて論文を読んでも酔わなかった。が、なにせエコノミーでスペースが狭いのでだいぶ窮屈 (まだ JAL はよかったけどハワイアン航空は本当に狭かった)... 睡眠もその関係であまり取れず。

ホテルはだいぶいいところで、その上広い。

出勤初日はなんと遅刻!してしまい、急いで Uber X に乗る。ついた頃にはちょうどうちの boss が講演していた。

2019/01/09

今日は一日図書館で勉強の日。

今日も雑多に気になった NLP の技術を勉強した。キーワードとしては GloVe, ELMo, Hierarchical Softmax など (本当に雑多)。

GloVe は一時期盛り上がったときに勉強したけど忘れたのでもう一度復習。GloVe は SVD とかとアプローチは似ていて、
最適化関数は
 {L = \frac{1}{2}\sum^{W}_{i,j=1}f(P_{ij})(u^{T}_{i}v_j - \log{P_{ij}})^2 }
(これにバイアス項が入ったりする)
Word2Vec との違いは共起行列の部分。

ELMo は Stacked Bi-directional LSTM の層間の隠れ層の線形結合によって word embedding を得る。エンドタスクを切り替える際も線形結合の重みだけ変えればいいらしい。

Hierarchical Softmax は NLP において Softmax の計算コストがしばしば大きくなってしまう問題の解決策の1つで、クラスを2分木で階層的にして分母 (正則化項) の計算量を減らしている。

今日は勉強ログのみ。