成功率 μ や平均 μ について,データを見る前の知識(事前分布)が,観測を 1 個足すたびにどう変わるか(事後分布)を確かめます.最尤推定・MAP 推定・事後平均の違い,データが増えると事前分布の影響が薄れること,1 個ずつ更新しても一括で更新しても同じになること,予測の不確かさが 2 つの成分からなることを,式と数値を見比べながら確かめてください.
成功率 μ の事前分布・尤度・事後分布
観測ボタンを押すたびに,事後分布 Beta(μ | a+m, b+l) が描き直されます.
尤度 p(𝒟 | μ) = μm(1 − μ)l は μ の確率密度ではありません.事前分布・事後分布と形を比べるため,面積を 1 にそろえて(Beta(μ | m+1, l+1) と同じ形)表示しています.塗った範囲は事後分布の 95 % 信用区間(等裾)です.
横軸は観測の回数 N.N 個目まで観測したときの事後平均と 95 % 信用区間,最尤推定値 m/N の推移です.N = 0 の値は事前分布そのものです.
平均 μ の事前分布・尤度・事後分布と,次の観測値の予測分布
ノイズの標準偏差 σ は既知とします.観測を足すと事後分布 𝒩(μ | μN, σN2) が細くなります.
尤度は 𝒩(μ | x̄, σ2/N) と同じ形に面積を 1 にそろえて表示しています.事後予測分布は「次の観測値 x」の分布で,横軸を x と読みます(他の曲線の横軸は μ).下端の × は観測値(新しい 300 個まで)です.
予測分散 σ2 + σN2 の 2 つの成分を観測数 N の関数として描きます.データを増やして減るのは知識不足に由来する σN2 だけで,ノイズ由来の σ2 は減りません.
キーボードでは Tab でボタンとスライダーへ移り,Enter(または Space)で押し,矢印キーでスライダーを動かせます.タブは ←→ で切り替えられます.
Bayes の定理を成功率 μ に適用します(μ の関数として見るとき,分母の証拠 p(𝒟) は正規化定数です).
事前分布を Beta(μ | a, b) とし,成功 m 回・失敗 l 回(N = m + l)を観測すると,事後分布はふたたび Beta 分布になります(共役).
画面に出す 4 つの点推定と予測:
95 % 信用区間は事後分布の 2.5 % 点と 97.5 % 点(等裾の区間)です.正則化不完全ベータ関数 Ix(a, b) を連分数で計算し,その逆関数を Newton 法と二分法で求めています.
1 個ずつ更新するときは,直前の事後分布を次の事前分布として使います.成功なら a に 1,失敗なら b に 1 を足すだけなので,順序によらず一括の結果と同じになります.画面の数値による確認では,μ の格子(2001 点)の上で対数の密度に ln μ または ln(1 − μ) を 1 個ずつ足し,最後に正規化した密度を一括の解析解と比べています.
②の Gauss 分布の平均(ノイズの分散 σ2 は既知,事前分布 𝒩(μ | μ0, σ02))では,平方完成により
予測分散のうち σ2 はノイズ由来(偶然的な不確かさ),σN2 は μ を知らないことに由来する(認識的な不確かさ)成分です.
最尤 3/3 = 1,MAP (1+3−1)/(1+1+3−2) = 3/3 = 1,事後平均 (1+3)/(1+1+3) = 4/5 = 0.8.一様な事前分布では事前密度が一定なので,事後密度の最大の点(MAP)は尤度の最大の点(最尤)と同じです.事後平均は分布全体の重心で,μ < 1 の側にも確率が残っているので 1 より小さくなります.これは次の 1 回が成功する確率 p(x=1 | 𝒟) でもあります.
N = 10:Beta(20,20) では 27/50 = 0.54,Beta(1,1) では 8/12 ≈ 0.667.N = 1000:720/1040 ≈ 0.692 と 701/1002 ≈ 0.700(最尤推定値はどちらも 0.7).データの重み w = N/(a+b+N) は 10/50 = 0.2 から 1000/1040 ≈ 0.96 に増え,事前分布の影響が薄れます.
観測が独立なら尤度は 1 個ずつの尤度の積で,k 個目までの事後分布に k+1 個目の尤度を掛けて正規化すると,全体の積を正規化したものと同じになります.Beta–Bernoulli では成功なら a,失敗なら b に 1 を足すだけなので,順番を入れ替えても最後は Beta(a+m, b+l) です(途中の経過は変わります).
σN2 = 1/(1+N) なので 1,0.5,0.1,0.01.予測分散 1 + σN2 は 2,1.5,1.1,1.01 で,ノイズの分散 σ2 = 1 より小さくなりません.データを増やして減らせるのは知識不足に由来する成分だけです.
機械学習 — 確率から GPT まで(目次)へ戻る | 本文:第4章 4.4 節 | 数式はブラウザ標準の MathML で組んでいます(外部ライブラリ不使用).