2019-01-01から1ヶ月間の記事一覧

All-but-the-top: 単語分散表現の上位主成分がノイズな件

Skip-gramやGloVeで学習した単語分散表現に簡単な後処理を施すことで後段タスクの性能を向上させる手法が提案されている。 この論文。論文タイトルが提案手法を一言で表現していて洒落ている。 All-but-the-Top: Simple and Effective Postprocessing for Wo…

ポアソン混合モデルのギブスサンプリング

以下の本の4章を実装していく。 機械学習スタートアップシリーズ ベイズ推論による機械学習入門 (KS情報科学専門書)作者: 須山敦志,杉山将出版社/メーカー: 講談社発売日: 2017/10/21メディア: 単行本(ソフトカバー)この商品を含むブログ (1件) を見る ま…

非負値行列分解で画像圧縮

非負値行列因子分解というものがある。 Non-negative matrix factorization、NMFとよばれる。 Lee and Seung, nature 1999 http://www.columbia.edu/~jwp2128/Teaching/E4903/papers/nmf_nature.pdf そもそも行列分解というのは、任意の行列に対して しばし…

2019年やるべきことリスト

就職 死んでしまうので 研究 国際会議に通したい 数学(機械学習の基礎的知識として) 微分幾何(細野さんの本) 情報幾何(甘利さんの本) 関数解析(未定) 物理 統計力学(引き続き田崎さん) 量子力学(上とセット) その他 PyTorchスラスラ書けるように…