近似推論と MCMC — 解けない積分を,近似と乱数で扱う

正規化定数 Z = ∫ p̃(x) dx を知らなくても使える 2 つの方法を,1 次元の標的分布で確かめます.①では Laplace 近似と,KL ダイバージェンスを 2 つの向きで最小にした Gauss 分布を重ね,近似がどちらに歪むか,ELBO が ln Z の下界で差が KL(q‖p) であることを数値で見ます.②では Metropolis–Hastings 法の連鎖を走らせ,提案幅・受理率・自己相関・有効標本数・R̂ を読み,障壁の高い二重井戸では「落ち着いて見えるのに収束していない」ことを確かめます.

標的 p(x) と 3 つの Gauss 近似

Laplace 近似(モードでの 2 次の展開),KL(q‖p) を最小にする q,KL(p‖q) を最小にする q(平均と分散の一致)を同じ図に描きます.

横軸は nat(自然対数の単位).縦の実線が ln Z(格子の上の数値積分).各 q の ELBO(●)から ln Z までの斜線の帯の長さが KL(q‖p) です.どの q でも ELBO ≤ ln Z になります.Beta の標的では,ELBO と KL(q‖p) を 0 < x < 1 に切断して正規化した q で計算します.

近似の数値

いまの数値を式に入れると

このシミュレーターの説明(操作手順・式・条件・問い)

操作手順と観察する点

  1. ①を既定(歪んだ単峰 Beta(3, 9))のまま見ます.見る点:Laplace 近似はモード x* = 0.2 に中心を置き,分散は 1/Λ = 1/62.5 = 0.016.真の分布の平均は 0.25,分散は 0.01442 です.Laplace 近似は右の長い裾を取りこぼし,左の x < 0(p = 0 の範囲)に確率 0.0569 を置くので,KL(q‖p) は ∞ になります.
  2. 標的を「双峰」にし,「KL(q‖p) 最小化の初期値」を「左の峰の近くから」「右の峰の近くから」「広く中央から」と切り替えます.見る点:KL(q‖p) を最小にする q は出発点によって左の峰・右の峰・両方を覆う広い形の 3 つの局所解に分かれます(既定 w = 0.6,d = 6 で KL(q‖p) = 0.507,0.911,0.846).KL(p‖q) を最小にする q は 2 つの峰の間の確率の小さい所に中心を置き,両方を覆います.
  3. 「式に入れる q」を切り替え,下の「いまの数値を式に入れると」を読みます.見る点:ELBO + KL(q‖p) が,どの q でも同じ ln Z になること.ELBO の棒の図で,ln Z との差(斜線の帯)が KL(q‖p) であること.
  4. 「手で動かす q を重ねる」をオンにし,m と s を動かします.見る点:q を p に重ねるほど ELBO が ln Z に近づくこと.KL(q‖p) と KL(p‖q) は一般に違う値になること.
  5. ②を既定(二重井戸 b = 2,s = 0.3,連鎖 4 本)で「1000 ステップ進める」を 2 回押します.見る点:ヒストグラムが真の密度に近づくこと,受理率,τint,有効標本数,R̂.
  6. 提案幅 s を 0.01 と 10 にして,同じ seed でやり直します.見る点:小さすぎる s では受理率は高いのにトレースがゆっくり動き,τint が大きい.大きすぎる s では受理率が低く,トレースが平らな段になる.どちらも有効標本数が小さくなります.
  7. 「障壁の例(b = 12)」を押します(s = 0.3,4 本,散らした初期値,既定の seed で 2000 ステップ).見る点:4 本の連鎖がそれぞれ出発した井戸から出ず,各連鎖のトレースは落ち着いて τint も小さいのに,R̂ は約 9.9 と大きいこと.burn-in を 50 % にしても変わりません.初期値を「すべて同じ点」にすると R̂ ≈ 1.00 になりますが,平均は真の 0 から遠い −0.98 のままです.
  8. ②の下の「3 状態の離散分布で Metropolis 法の遷移行列を作る」を開きます.見る点:p̃ = (2, 3, 5) のとき遷移行列の各行の和が 1,piTij = pjTji(詳細釣り合い),pT = p(定常分布).

キーボードでは Tab でボタンとスライダーへ移り,Enter(または Space)で押し,矢印キーでスライダーを動かせます.タブは ←→ で切り替えられます.

計算している式とアルゴリズム

標的は非正規化の密度 p̃(x) で与え,p(x) = p̃(x)/Z とします.これは第20章の事後分布 p(θ | 𝒟) = p(𝒟, θ)/p(𝒟) に当たります(x ↔ θ,p̃ ↔ p(𝒟, θ),Z ↔ p(𝒟)).

歪んだ単峰:p~(x)=xa−1(1−x)b−1(0<x<1),Z=B(a,b)双峰:p~(x)=we−(x+d/2)2/2+(1−w)e−(x−d/2)2/2,Z=2π二重井戸:p~(x)=exp[−b(x2−1)2],b=EbkBT

Laplace 近似は,選んだモード x* の周りで ln p̃ を 2 次まで展開したものです.周辺尤度 Z(第20章の p(𝒟))の近似もこの展開から出ます.曲率は Λ と書きます(第20章と同じ文字.Gauss 分布の精度に当たります).

q(x)=𝒩(x∣x*,Λ−1),Λ=−d2dx2lnp~(x)|x=x*lnZ≈lnp~(x*)+12ln2πΛ

KL ダイバージェンスは向きによって値も性質も違います(単位は nat).

KL(q‖p)=∫q(x)lnq(x)p(x)dx,KL(p‖q)=∫p(x)lnp(x)q(x)dxlnZ=ELBO(q)+KL(q‖p),ELBO(q)=𝔼q[lnp~(x)]−𝔼q[lnq(x)]≤lnZ

KL(p‖q) を最小にする Gauss 分布 q = 𝒩(x | m, s2) は,m = 𝔼p[x],s2 = Varp[x](平均と分散の一致)です.KL(q‖p) を最小にする q(= ELBO を最大にする q)は閉じた式がないので,(m, ln s) について Nelder–Mead 法で数値的に探します.目的関数に局所的な最小が複数あれば,初期値によって行き先が変わります.

Metropolis–Hastings 法:いまの点 x から提案 x′ = x + sε(ε ~ 𝒩(0, 1))を作り,一様乱数 u ∈ [0, 1) が u < min(1, r) なら受理(x ← x′),そうでなければ棄却(x のまま.同じ値をもう一度標本に数える)します.提案が対称なので q(x | x′) = q(x′ | x) が約分され,Z も約分されて要りません.

r=p~(x′)q(x∣x′)p~(x)q(x′∣x)=p~(x′)p~(x),受理確率 min(1,r)

自己相関関数 ρk は,連鎖の標本 x1, …, xS(burn-in の後)について,分母を S で割る標準的な推定量で計算します(FFT で計算.直接の和と一致することを試験で確かめています).積分自己相関時間 τint(第21章と同じ記号.τ だけだと第26・27章の temperature と紛れるので添字を付けます)と有効標本数は

τint=1+2∑k=1kcρk,Seff=Sτint

打ち切りの規則:和の上限 kc は Sokal の自動窓で決めます.k = 1, 2, … と足していき,はじめて k ≥ 5 τint(k) となった k を kc とします(τint(k) はその k までの部分和).系列長の半分まで足しても条件を満たさないときは「系列が短すぎる」と表示し,τint と有効標本数は過小評価のおそれがあります.全連鎖の有効標本数は各連鎖の和です.平均の Monte Carlo 標準誤差(MCSE)は √(分散 / 有効標本数) です.

R̂ の定義:split-R̂(Gelman ら『Bayesian Data Analysis』第3版 11.4 節の形.順位による正規化はしない)です.burn-in の後の各連鎖を前半と後半に分けて M = 2 × 連鎖の数 本とし,その長さを n,連鎖内分散の平均を W,連鎖の平均のばらつきを B として

B=nM−1∑j=1M(x¯j−x¯)2,R^=n−1nW+BnW

R̂ は連鎖が 2 本以上のときだけ表示します.連鎖が同じ分布を見ていれば 1 に近く,連鎖ごとに見ている所が違うと大きくなります.目安として 1.01 より大きければ収束を疑います(古い目安は 1.1).ただし R̂ ≈ 1 は収束の必要条件にすぎません.

3 状態の例では,提案 Qij = q(j | i)(ほかの 2 状態を 1/2 ずつ)から遷移行列 Tij = Qij min(1, p̃jQji / (p̃iQij))(j ≠ i),Tii = 1 − Σj≠i Tij を作ります.行が「いまの状態」,列が「次の状態」で,各行の和は 1 です.

データと乱数の条件

  • 標的分布は式で与えた教育用の例で,実測のデータではありません.x は無次元です.既定:①は歪んだ単峰 Beta(3, 9),双峰は w = 0.6,d = 6(各成分の標準偏差 1),二重井戸は b = 3.②は二重井戸 b = 2.
  • 正規化定数 Z,平均,分散,KL,ELBO は格子(区間 4000 の Simpson 則)の上の数値積分です.Beta では x = u3(10 − 15u + 6u2) と変数を変えて端の特異性を弱めています.q の期待値は q の平均 ± 12 s の格子(区間 2000)で計算します.
  • ①には乱数を使いません.②の乱数は seed つきの生成器(mulberry32)です.既定の seed は 20261112.連鎖 k(k = 0, 1, 2, 3)は seed + 7919 k の生成器を使うので,連鎖の数を変えても連鎖 1 の列は同じです.1 ステップごとに ε(Gauss 乱数)と u(一様乱数)を 1 個ずつ引きます.同じ seed でやり直すと同じ列になります.
  • 初期値:「散らす」は真の分布の 5 %,95 %,30 %,70 % 点(連鎖 1〜4),「すべて同じ点」は 4 本とも 5 % 点です.初期値は標本に数えません.
  • 上限:1 本の連鎖は 20000 ステップまで,連鎖は 4 本まで.提案幅 s は 0.01〜10,a, b は 1.5〜20,w は 0.05〜0.95,d は 0〜8,障壁 b は 0.25〜15.

簡略化している点

  • 標的は 1 次元で,格子の上の数値積分で正規化できるものに限っています.実際の推論では Z が計算できないので近似や MCMC を使います.ここでは近似の良し悪しを確かめるために,あえて Z を数値積分で求めています.
  • 近似の族は 1 次元の Gauss 分布だけです.Beta の標的では,Gauss 分布が 0 < x < 1 の外に確率を置くと KL(q‖p) = ∞ になるので,KL(q‖p) の最小化と ELBO の棒では q を 0 < x < 1 に切断して正規化した分布を使います(表に「切断」と書きます).KL(p‖q) と Laplace 近似は切断しない Gauss 分布です.
  • MH の提案は Gauss 型のランダムウォークだけです(Gibbs サンプリング,レプリカ交換,ハミルトニアン Monte Carlo はありません).R̂ は順位による正規化をしない split-R̂ です.

結果が不安定になる条件

  • KL(q‖p) の最小化には局所解があり,初期値で結果が変わります(それ自体が観察の対象です).Nelder–Mead 法が 4000 回で収束しなければ表に書きます.
  • Beta の a や b が 1.5 に近いと,端の近くで密度の傾きが急になり,Laplace 近似は大きく外れます.
  • MH の連鎖が短いと,τint の打ち切りが系列長の半分に届き(「系列が短すぎる」),τint・有効標本数・R̂ は信頼できません.提案が台の外(Beta の x ≤ 0 または x ≥ 1)に出ると p̃ = 0 なので必ず棄却されます.
  • 計算の途中で NaN や無限大が出たら止めて理由を表示します.

本文の対応節

操作後に答える短い問い

  1. Beta(3, 9) の Laplace 近似の平均と分散はいくつですか.真の平均・分散と比べて,近似はどちらに歪んでいますか.
    答えの例

    モード x* = (a − 1)/(a + b − 2) = 2/10 = 0.2,Λ = 2/0.22 + 8/0.82 = 50 + 12.5 = 62.5 なので,平均 0.2,分散 1/62.5 = 0.016.真の平均は 3/12 = 0.25,分散は 27/1872 ≈ 0.01442.Laplace 近似は中心がモードにあるので,右に長い裾の重みを取りこぼして平均を小さく見積もります.しかも左の x < 0 に確率 0.0569 を置きます.KL(p‖q) は 0.12884 で,平均と分散を合わせた Gauss 分布(0.048117)より大きくなります.

  2. 双峰の標的で,KL(q‖p) を最小にする q と KL(p‖q) を最小にする q はそれぞれどこに置かれますか.なぜそうなりますか.
    答えの例

    KL(q‖p) は q による期待値なので,p がほぼ 0 の所に q が確率を置くと ln(q/p) が大きくなり,強く罰せられます.そのため片方の峰に寄り,分散も小さめになります(既定で左の峰:m = −2.988,s = 1.019).KL(p‖q) は p による期待値なので,p が確率を持つ所で q が 0 に近いと罰せられ,両方の峰を覆うように広がります(m = −0.6,s2 = 9.64.中心は確率の小さい谷にあります).

  3. ELBO と ln Z の差は何ですか.ELBO を最大にすることは何をすることになりますか.
    答えの例

    差は KL(q‖p) ≥ 0 です(ln Z = ELBO + KL(q‖p)).ln Z は q によらないので,ELBO を最大にすることは KL(q‖p) を最小にすることと同じです.Beta(3, 9) では ln Z = ln B(3, 9) = −6.2046,KL(q‖p) を最小にした(切断した)q の ELBO は −6.2437 で,差 0.039178 が KL(q‖p) です.

  4. 障壁の例(b = 12)で,各連鎖のトレースが落ち着いて見え,τint も小さいのに,なぜ収束したと言えないのですか.R̂ はそれをどう捉えていますか.
    答えの例

    どの連鎖も出発した井戸の中だけを見ており,もう一方の井戸の確率(半分)を知りません.井戸の中ではよく混ざるので τint は小さく(約 4),burn-in を捨てても変わりません.R̂ は連鎖間のばらつき B と連鎖内の分散 W を比べ,連鎖の平均が −0.98 と +0.98 に分かれていることから約 9.9 と大きな値を示します.ただし,4 本とも同じ井戸から出発すると R̂ ≈ 1 なのに全体の平均は −0.98 で,R̂ でも気づけません.

機械学習 — 確率から GPT まで(目次)へ戻る | 本文:第20章 20.2 節,第21章 21.6 節 | 数式はブラウザ標準の MathML で組んでいます(外部ライブラリ不使用).