Word Rotator’s Distance

Word Rotator’s Distance とは 2つの自然言語文あるいは文書が与えられたとき，それらの（非）類似度を測る尺度として Word Mover’s Distance (WMD)*1と呼ばれる手法が提案されている。これは文を構成する単語ベクトルのアラインメントを最適輸送コストに基…

2019-01-15

All-but-the-top: 単語分散表現の上位主成分がノイズな件

機械学習自然言語処理 python

Skip-gramやGloVeで学習した単語分散表現に簡単な後処理を施すことで後段タスクの性能を向上させる手法が提案されている。この論文。論文タイトルが提案手法を一言で表現していて洒落ている。 All-but-the-Top: Simple and Effective Postprocessing for Wo…

2019-01-14

ポアソン混合モデルのギブスサンプリング

機械学習ベイズ numpy python

以下の本の4章を実装していく。機械学習スタートアップシリーズベイズ推論による機械学習入門 (KS情報科学専門書)作者: 須山敦志,杉山将出版社/メーカー: 講談社発売日: 2017/10/21メディア: 単行本（ソフトカバー）この商品を含むブログ (1件) を見るま…

2019-01-10

非負値行列分解で画像圧縮

機械学習 numpy python

非負値行列因子分解というものがある。 Non-negative matrix factorization、NMFとよばれる。 Lee and Seung, nature 1999 http://www.columbia.edu/~jwp2128/Teaching/E4903/papers/nmf_nature.pdf そもそも行列分解というのは、任意の行列に対してしばし…

2018-12-02

ガウス過程と機械学習を読む1

機械学習

講談社の機械学習プロフェッショナルシリーズにガウス過程と機械学習が追加される。ガウス過程の専門家によるガウス過程に特化した日本語書籍ってこれが初なんじゃないだろうか。現在（2018/12/02）、著者の一人である統数研の持橋さんによるサポートサイ…

2018-10-21

numpy ndarray の行方向正規化

python 機械学習 scikit-learn numpy

行列の行（列）方向の正規化は機械学習のアルゴリズムでよく使う操作である。実装方法はいろいろあると思うが、私が良く使うやり方は以下。以下は行方向について。 numpy だけでやる方法 import numpy as np A = np.random.rand(N, N).astype('float64') # …