正規化定数 Z = ∫ p̃(x) dx を知らなくても使える 2 つの方法を,1 次元の標的分布で確かめます.①では Laplace 近似と,KL ダイバージェンスを 2 つの向きで最小にした Gauss 分布を重ね,近似がどちらに歪むか,ELBO が ln Z の下界で差が KL(q‖p) であることを数値で見ます.②では Metropolis–Hastings 法の連鎖を走らせ,提案幅・受理率・自己相関・有効標本数・R̂ を読み,障壁の高い二重井戸では「落ち着いて見えるのに収束していない」ことを確かめます.
標的 p(x) と 3 つの Gauss 近似
Laplace 近似(モードでの 2 次の展開),KL(q‖p) を最小にする q,KL(p‖q) を最小にする q(平均と分散の一致)を同じ図に描きます.
横軸は nat(自然対数の単位).縦の実線が ln Z(格子の上の数値積分).各 q の ELBO(●)から ln Z までの斜線の帯の長さが KL(q‖p) です.どの q でも ELBO ≤ ln Z になります.Beta の標的では,ELBO と KL(q‖p) を 0 < x < 1 に切断して正規化した q で計算します.
標本のヒストグラムと真の密度
burn-in(捨てる初期の標本)の後の全連鎖の標本をまとめたヒストグラムです.
トレース図(連鎖ごとの x の推移)
自己相関関数 ρk
横軸は遅れ k(ステップ),縦軸は ρk(無次元).burn-in の後の標本で連鎖ごとに計算します.各連鎖の線の上の印は積分自己相関時間の打ち切り kc(Sokal の自動窓)です.
キーボードでは Tab でボタンとスライダーへ移り,Enter(または Space)で押し,矢印キーでスライダーを動かせます.タブは ←→ で切り替えられます.
標的は非正規化の密度 p̃(x) で与え,p(x) = p̃(x)/Z とします.これは第20章の事後分布 p(θ | 𝒟) = p(𝒟, θ)/p(𝒟) に当たります(x ↔ θ,p̃ ↔ p(𝒟, θ),Z ↔ p(𝒟)).
Laplace 近似は,選んだモード x* の周りで ln p̃ を 2 次まで展開したものです.周辺尤度 Z(第20章の p(𝒟))の近似もこの展開から出ます.曲率は Λ と書きます(第20章と同じ文字.Gauss 分布の精度に当たります).
KL ダイバージェンスは向きによって値も性質も違います(単位は nat).
KL(p‖q) を最小にする Gauss 分布 q = 𝒩(x | m, s2) は,m = 𝔼p[x],s2 = Varp[x](平均と分散の一致)です.KL(q‖p) を最小にする q(= ELBO を最大にする q)は閉じた式がないので,(m, ln s) について Nelder–Mead 法で数値的に探します.目的関数に局所的な最小が複数あれば,初期値によって行き先が変わります.
Metropolis–Hastings 法:いまの点 x から提案 x′ = x + sε(ε ~ 𝒩(0, 1))を作り,一様乱数 u ∈ [0, 1) が u < min(1, r) なら受理(x ← x′),そうでなければ棄却(x のまま.同じ値をもう一度標本に数える)します.提案が対称なので q(x | x′) = q(x′ | x) が約分され,Z も約分されて要りません.
自己相関関数 ρk は,連鎖の標本 x1, …, xS(burn-in の後)について,分母を S で割る標準的な推定量で計算します(FFT で計算.直接の和と一致することを試験で確かめています).積分自己相関時間 τint(第21章と同じ記号.τ だけだと第26・27章の temperature と紛れるので添字を付けます)と有効標本数は
打ち切りの規則:和の上限 kc は Sokal の自動窓で決めます.k = 1, 2, … と足していき,はじめて k ≥ 5 τint(k) となった k を kc とします(τint(k) はその k までの部分和).系列長の半分まで足しても条件を満たさないときは「系列が短すぎる」と表示し,τint と有効標本数は過小評価のおそれがあります.全連鎖の有効標本数は各連鎖の和です.平均の Monte Carlo 標準誤差(MCSE)は √(分散 / 有効標本数) です.
R̂ の定義:split-R̂(Gelman ら『Bayesian Data Analysis』第3版 11.4 節の形.順位による正規化はしない)です.burn-in の後の各連鎖を前半と後半に分けて M = 2 × 連鎖の数 本とし,その長さを n,連鎖内分散の平均を W,連鎖の平均のばらつきを B として
R̂ は連鎖が 2 本以上のときだけ表示します.連鎖が同じ分布を見ていれば 1 に近く,連鎖ごとに見ている所が違うと大きくなります.目安として 1.01 より大きければ収束を疑います(古い目安は 1.1).ただし R̂ ≈ 1 は収束の必要条件にすぎません.
3 状態の例では,提案 Qij = q(j | i)(ほかの 2 状態を 1/2 ずつ)から遷移行列 Tij = Qij min(1, p̃jQji / (p̃iQij))(j ≠ i),Tii = 1 − Σj≠i Tij を作ります.行が「いまの状態」,列が「次の状態」で,各行の和は 1 です.
モード x* = (a − 1)/(a + b − 2) = 2/10 = 0.2,Λ = 2/0.22 + 8/0.82 = 50 + 12.5 = 62.5 なので,平均 0.2,分散 1/62.5 = 0.016.真の平均は 3/12 = 0.25,分散は 27/1872 ≈ 0.01442.Laplace 近似は中心がモードにあるので,右に長い裾の重みを取りこぼして平均を小さく見積もります.しかも左の x < 0 に確率 0.0569 を置きます.KL(p‖q) は 0.12884 で,平均と分散を合わせた Gauss 分布(0.048117)より大きくなります.
KL(q‖p) は q による期待値なので,p がほぼ 0 の所に q が確率を置くと ln(q/p) が大きくなり,強く罰せられます.そのため片方の峰に寄り,分散も小さめになります(既定で左の峰:m = −2.988,s = 1.019).KL(p‖q) は p による期待値なので,p が確率を持つ所で q が 0 に近いと罰せられ,両方の峰を覆うように広がります(m = −0.6,s2 = 9.64.中心は確率の小さい谷にあります).
差は KL(q‖p) ≥ 0 です(ln Z = ELBO + KL(q‖p)).ln Z は q によらないので,ELBO を最大にすることは KL(q‖p) を最小にすることと同じです.Beta(3, 9) では ln Z = ln B(3, 9) = −6.2046,KL(q‖p) を最小にした(切断した)q の ELBO は −6.2437 で,差 0.039178 が KL(q‖p) です.
どの連鎖も出発した井戸の中だけを見ており,もう一方の井戸の確率(半分)を知りません.井戸の中ではよく混ざるので τint は小さく(約 4),burn-in を捨てても変わりません.R̂ は連鎖間のばらつき B と連鎖内の分散 W を比べ,連鎖の平均が −0.98 と +0.98 に分かれていることから約 9.9 と大きな値を示します.ただし,4 本とも同じ井戸から出発すると R̂ ≈ 1 なのに全体の平均は −0.98 で,R̂ でも気づけません.
機械学習 — 確率から GPT まで(目次)へ戻る | 本文:第20章 20.2 節,第21章 21.6 節 | 数式はブラウザ標準の MathML で組んでいます(外部ライブラリ不使用).