Coursera 機械学習 - Week8

[機械学習]

Week8

この章から教師なし学習を使っていく。ボリュームがありそうだ。

…と思ったら案外簡単にクリアできた。

  クラスタリング (Clustering)

K平均法 (K-Means Algorithm)

• Wikipedia - K平均法
  • 詳しくはWikipediaを見て欲しい

目的関数の最適化 (Optimization Objective)

無造作初期化 (Random Initialization)

クラスタの数を選択する (Choosing the Number of Clusters)

  動機づけ (Motivation)

PCAをやっていくのはなぜか？その動機づけについて説明

動機づけI: データ圧縮 (Motivation I: Data Compression)

例えば特徴値x1 (= 正方形の辺の長さ), x2 (= 正方形の面積)というものがあるとする。x1, x2はそれぞれ x1^2 = x2 と表すことができる。つまり、２次元あった特徴値を１次元に削減できる。

同じような理由と方法で、３次元のデータを２次元で表すことができる。

特徴値を で表すとして、次元削除されたものは で表す。

動機づけII: 見える化 (Motivation II: Visualization)

次元削除されたデータzをさらにグラフでプロットし直すという話。

  PCA - 主成分分析 (Principal Component Analysis)

PCAの問題定式化 (Principal Component Analysis Problem Formulation)

PCAは線形回帰ではない、ということ。

PCAのアルゴリズム (Principal Component Analysis Alogrithm)

トレーニングセット X ( x(1), x(2), ..., x(m) ) があるとする。

• データの前処理
  • で行列μを作成する
  • それぞれの要素xをxとμの差分で置き換える
• PCAのアルゴリズム
  • 分散共分散行列(covariance matrix)を計算する
  • 
• Octaveだとsvd関数が用意されているのでそれを使う

// Sigmaは対象のデータセットを表す行列をそれぞれ２乗して 1/m 倍したもの
[U, S, V] = svd(Sigma);

// 次元削除されたデータをUから取り出してUreduceと置く。kは取得する次元。
Ureduce = U(:,1:k);

// 次元削除したデータセットzは、Ureduceの転置行列と元の行列の積で求められる
z = Ureduce’ * x;

  PCAの適用 (Applying PCA)

圧縮された状態からのデータ再構築 (Reconstruction from Compressed Representation)

PCAの要素数を選択する (Choosing the Number of Principal Components)

PCAを適用する場合のアドバイス (Advice for Applying PCA)