このシミュレーターの説明(操作手順・式・条件・問い)
操作手順と観察する点
- ①を既定(データ「重なり」,K = 2,Gauss 混合の EM)のまま「E ステップ」を押します.見る点:点の形と色の濃さが変わり,読み出しに代表の 3 点 A,B,C の負担率 γnk が出ること.2 つの塊の間にある点 B の負担率は 0 と 1 の中間です.各行の和は 1 です.
- 続けて「M ステップ」を押します.見る点:平均と楕円が動き,対数尤度 ln p(X | θ) が増えること(下の図と「いまの数値を式に入れると」の更新前後の値).πk = Nk/N を数値で確かめてください.
- 「収束まで」を押します.見る点:対数尤度は 1 反復ごとに減らずに増え,やがて一定になること.
- 手法を「k-means」にして,データ「細長い」で「収束まで」を押し,次に Gauss 混合の EM に切り替えて同じことをします.見る点:k-means の境界(薄い色の領域の境目)は 2 つの平均の垂直二等分線で,細長い塊を横切って分けてしまうこと.Gauss 混合は楕円の向きで塊に沿って分けること.下の図の縦軸が k-means では目的関数 J,EM では対数尤度で,別の量であること.
- データ「分離」(K = 3)で,k-means の初期値の seed を 8 にして「収束まで」を押します.見る点:2 つの塊を 1 つの成分が受け持ち,1 つの塊を 2 つの成分で分ける局所解(J ≈ 411.6)に止まること.seed 1 なら J ≈ 83.45 です(初期値依存).
- データ「退化の例」を選び,「分散の下限を使う」を外して「収束まで」を押します.見る点:右上の孤立した 1 点に成分 2 が縮み,対数尤度が上がり続けて,分散が停止の目安を下回ったところで理由を表示して止まること.「分散の下限を使う」を戻すと(同じ seed で最初からやり直します),有限の値で収束すること.下の図の灰色の破線が前回の推移です.
- ②で「2 次元の点群」を選び,角 φ を動かします.「主軸に合わせる」を押します.見る点:uTSu が最大になる角が第 1 主軸の角で,そのとき uTSu = λ1,再構成誤差 = λ2 になること.
- 「x2 の単位を変える倍率 c」を 10 や 0.1 にし,次に「標準化する」を入れます.見る点:単位を変えるだけで主軸の向きが変わること.標準化すると固有値が 1 ± r(r は相関係数)になり,倍率によらなくなること.
- ②で「スペクトル」を選びます.見る点:成分の数が 2 なら大きな固有値が 2 つ,3 なら 3 つで,その後は雑音の目安の帯の上端の高さに並ぶこと.負荷量は純成分スペクトルと形が違い,負の値も持つこと.「再構成に使う主成分の数 k」を変えると,平均の再構成誤差が捨てた固有値の和に一致すること.
キーボードでは Tab でボタンとスライダーへ移り,Enter(または Space)で押し,矢印キーでスライダーを動かせます.タブは ←→ で切り替えられます.
計算している式とアルゴリズム
k-means:rnk ∈ {0, 1} は点 n を成分 k に割り当てるかどうかです.
E(割り当て):各点を最も近い平均の成分に割り当てます.M(更新):μk を割り当てた点の平均にします.どちらの半ステップも J を増やしません.割り当てが変わらなくなったら収束です.
Gauss 混合の EM 法:
E ステップで負担率 γnk を,M ステップで πk,μk,Σk を求めます.負担率と対数尤度は ln πk + ln 𝒩 を並べた値の log-sum-exp で計算し,桁あふれを避けています.ln 𝒩 は 2×2 の共分散行列の Cholesky 分解で求め,逆行列は作りません.1 反復ごとに対数尤度は減りません(本文 17.7 節の ELBO と KL の分解).
分散の下限:「分散の下限を使う」がオンのとき,M ステップで得た Σk の固有値 λ を max(λ, c) に置き換えます(固有ベクトルはそのまま).これは平均を固定したとき「固有値 ≥ c」という制約のもとで尤度を最大にする共分散行列なので,この場合も対数尤度は減りません.オフのときは,最小の固有値が 10−10 を下回る更新を採用せずに止め,理由を表示します.
PCA:データの平均 x̄ を引いた行列 X(N 行 D 列)を特異値分解します.分散は 1/N で定義します(1/(N − 1) で割る流儀とは固有値が N/(N − 1) 倍違います).
固有値・負荷量はすべて SVD(片側 Jacobi 法)から求めます.共分散行列 S は 2 次元の画面で uTSu を示すためにだけ作っています.
データと乱数の条件
- ①の点は教育用の合成データ(無次元の 2 つの特徴量.たとえば標準化した 2 つの測定値)です.各塊は x = m + R(θ)(s1z1, s2z2)T,z1,z2 ~ 𝒩(0, 1)(独立.R(θ) は角 θ の回転)で作ります.
- 分離:3 つの塊(各 1/3),m = (−2.0, −1.2),(2.0, −1.0),(0.0, 2.0),s1 = s2 = 0.55.
- 重なり:m = (−1.0, −0.4),s = (0.9, 0.6),θ = 20°(55 %)と m = (1.2, 0.6),s = (0.7, 0.7)(45 %).
- 細長い:m = (−0.7, 0.7) と (0.7, −0.7),s = (1.7, 0.22),θ = 45°(各 50 %).
- 大きさが違う:m = (−0.6, 0.0),s1 = s2 = 1.25(80 %)と m = (1.6, 0.4),s1 = s2 = 0.22(20 %).
- 退化の例:m = (0, 0),s = (0.8, 0.6),θ = 30° の 1 つの塊(N − 1 点)と,孤立した 1 点 (3.6, 3.0).
- 初期値:データ点から K 個を重複なく選んで平均にし(初期値の seed で並べ替えた先頭 K 個),共分散行列は (tr Sデータ/2) I,混合係数は 1/K です.k-means と EM は同じ初期の平均から始めます.退化の例では,最後の成分の初期の平均を孤立した点に置きます(退化が起きる初期値を意図的に選んでいます).
- 代表の 3 点 A,B,C は,各データで決めた 3 つの位置(塊の中心・塊の間など)に最も近いデータ点です.
- ②の 2 次元の点群も教育用の合成データです:m = (3.0, 1.5),s = (1.4, 0.45),θ = 35°.単位は「測定値 1 の単位」「測定値 2 の単位」で,倍率 c は測定値 2 の単位を変えたことに当たります(x2 → c x2).
- ②のスペクトルも教育用の合成データ(Raman 風.実在の物質ではありません)です.ラマンシフト ν = 200〜1100 cm−1 の 200 点.純成分は Gauss 型のピークの和 sk(ν) = Σ h exp[−(ν − ν0)2/(2w2)]:成分 1 は (ν0, w, h) = (320, 18, 1.0) と (610, 25, 0.55),成分 2 は (480, 20, 0.9) と (820, 30, 0.7),成分 3 は (700, 35, 0.8) と (1000, 22, 0.5)(ν0,w の単位は cm−1,h は任意単位).スペクトル n は xn(ν) = Σk In fnk sk(ν) + σ ε,全体の強さ In ~ U(0.7, 1.3),混合比 (fn1, …) ~ Dirichlet(1, …, 1),ε ~ 𝒩(0, 1)(独立).
- 乱数は seed つきの生成器(mulberry32)です.既定の seed は,①のデータが 20261113,①の初期値が 1,②の点群とスペクトルが 20261113.同じ seed でやり直すと同じ結果になります.
- 上限:①のデータは 10〜300 点,K は 1〜6,反復は 1000 回まで.EM は対数尤度の増分が 10−10×(|ln p| + 1) 以下になったら収束とします.②の点群は 2〜300 点.
簡略化している点
- ①は 2 次元だけです.本文 17.6 節の手計算は 1 次元ですが,式は同じです.
- 初期値はデータ点からの無作為な選択だけです(k-means++ などの工夫はしていません).EM の初期値を k-means の結果から作る実務的な方法も使っていません.
- 成分の数 K は手で選びます.BIC などによる選択は本文 17.10 節を見てください.
- ②の合成スペクトルは基線(バックグラウンド)やピークの移動を含みません.雑音は波数によらない Gauss 型です.
結果が不安定になる条件
- 分散の下限を使わないと,ある成分が 1 点(または 1 本の直線上の点)だけを受け持って共分散行列が特異に近づき,対数尤度がいくらでも大きくなります(退化).この装置では最小の固有値が 10−10 を下回る更新を採用せずに止め,理由を表示します.
- どの点もほとんど担当しない成分(Nk ≈ 0)が出ることがあります(K が大きいとき).このときその成分の平均と共分散は前の値のままにし,読み出しに注意を出します.k-means で点が 1 つも割り当てられない成分も同じ扱いです.
- EM 法も k-means も局所的な最適解に止まることがあります.初期値の seed を変えると結果が変わります.
- PCA で固有値がほぼ等しいと(円に近い点群),主軸の向きは雑音でふらつきます.データが 2 点だと第 2 固有値は 0 です.
本文の対応節
操作後に答える短い問い
- 既定の状態で「E ステップ」と「M ステップ」を 1 回ずつ押しました.対数尤度は増えましたか.M ステップのあとの π1 + π2 はいくつですか.
答えの例
対数尤度は −483.67 から −410.19 に増えます(既定のデータ 150 点,データの seed 20261113,初期値の seed 1).πk = Nk/N で,各点の負担率の和が 1 なので ΣkNk = N,したがって π1 + π2 = 1 です.
- データ「細長い」で k-means が塊を正しく分けられないのはなぜですか.Gauss 混合ではなぜ分けられますか.
答えの例
k-means は各点を(Euclid の距離で)最も近い平均に割り当てるので,境界は 2 つの平均の垂直二等分線(直線)で,すべての成分が同じ大きさの円形の塊を暗に仮定しています.細長い塊では,塊に沿った向きの遠い点が,隣の塊の平均のほうに近くなります.Gauss 混合は各成分の共分散行列で Mahalanobis 距離を測るので,塊の向きと細長さを表せます.
- 分散の下限を使わないと,対数尤度が上がり続けるのはなぜですか.それは「よいモデル」になったことを意味しますか.
答えの例
1 点 xn に平均を置き分散 σ2 を 0 に近づけると,その点の密度 𝒩(xn | xn, σ2I) = 1/(2πσ2) が際限なく大きくなり,ほかの点は別の成分が説明するので,対数尤度に上限がありません.これはデータの構造を表したのではなく,最尤推定の病的な解です.分散の下限・正則化・MAP 推定で防ぎます.下限 c を小さくするほど,収束したときの対数尤度は大きくなります.
- ②の 2 次元で,倍率 c を 1 から 10 にすると第 1 主軸の角はどう変わりますか.標準化するとどうなりますか.
答えの例
既定のデータ(100 点,seed 20261113)では c = 1 で約 36.0°,c = 10 で約 85.0°(ほぼ x2 の向き),c = 0.1 で約 3.2°(ほぼ x1 の向き)になります.x2 の分散が c2 倍になって全体の分散を支配するためです.標準化すると相関行列の PCA になり,2 次元では主軸は必ず 45° か 135° で,固有値は 1 ± r(ここでは r = 0.697 なので 1.697 と 0.303)で,倍率 c によりません.単位の選び方で結果が変わるので,単位がそろわない量には標準化を考えます.