焼成温度と相対密度の教育用の合成データ(データ A)に多項式や Gauss 基底の線形モデルを当てはめます.次数を上げると訓練誤差は下がり続けるのに検証誤差は途中から増えること(過学習),正則化 λ がそれを抑えること,その背後にあるバイアスと分散の兼ね合い,ベイズ線形回帰で予測の不確かさがノイズ由来と知識不足由来の 2 つに分かれることを,画面の数値を本文の式に入れて確かめてください.
多項式の当てはめ(データ A:焼成温度と相対密度)
次数 d の多項式 f(s; w) = w0 + w1s + … + wdsd(+ 基準値 88 %)を,最小二乗または Ridge 回帰で当てはめます.
横軸は多項式の次数 d(係数は d + 1 個),縦軸は RMSE(%,対数目盛).各次数を同じ訓練データ・同じ λ で当てはめ直した値です.縦の線が現在の次数.検証 RMSE はノイズの標準偏差 σ より小さくなりにくいことに注意してください.0.01 % 未満の値は下端に描きます.
目標値は y − 88 % です(w0 は 88 % からのずれ).過学習すると係数の絶対値が桁違いに大きくなり,正の項と負の項が打ち消しあって訓練データを通ります.
同じ条件のデータ集合を何組も作って当てはめを重ねる
データ A から N 点を引いて当てはめる,を L 組くり返します.当てはめの平均 f̄(s) と真の関数 g(s) のずれがバイアス,組ごとのばらつきが分散です.
ベイズ線形回帰の予測分布と 2 種類の帯
図をクリック(タップ)すると,その位置に観測点を足します.キーボードでは右の「この s で観測」を使います.
キーボードでは Tab でボタンとスライダーへ移り,Enter(または Space)で押し,矢印キーでスライダーを動かせます.タブは ←→ で切り替えられます.
入力は焼成温度 T(°C)を標準化した s = (T − 1300)/200 ∈ [−1, 1] です.次数 d の多項式の基底は φj(s) = sj(j = 0, …, d)の M = d + 1 個で,計画行列は Φ ∈ ℝN×M,Φnj = snj です.目標値は相対密度から固定の基準値 88 % を引いた値 yn − 88 % で,画面の曲線には 88 % を足して表示します(基準値はデータから計算しません).
①の Ridge 回帰は次の損失を最小にします(λ = 0 が最小二乗法).
正規方程式は作らず,λ = 0 では Φ を,λ > 0 では縦に積んだ行列 [Φ; √λ I] を Householder 法で QR 分解し,三角行列の後退代入で w を求めます([Φ; √λ I] の最小二乗解が Ridge の解に一致します).係数の数 M = d + 1 がデータ数 N より多く λ = 0 のときは,訓練誤差 0 の解が無数にあるので,特異値分解 Φ = U diag(si) VT による最小ノルム解を表示し,そのことを画面に書きます.RMSE は
で,訓練 RMSE は訓練データ,検証 RMSE は同じ分布から別に引いた 200 点で計算します.
②のバイアス–分散分解:l 組目(l = 1, …, L)のデータ集合での当てはめを f(l)(s),その平均を f̄(s) = (1/L) Σl=1L f(l)(s) とし,s について [−1, 1] の一様分布で平均 ⟨·⟩s を取ります(中点則 200 点).
交差項 2⟨(f̄ − g)(f(l) − f̄)⟩ は l について平均すると 0 になり,ノイズ ε は当てはめと独立なので,ノイズとの交差項も期待値が 0 になります.λ を掃引するときは,各データ集合で Φ の特異値分解を 1 回だけ行い,w(λ) = Σi vi si/(si2 + λ) uiTy で全部の λ の解を作ります(QR による解と丸め誤差の範囲で一致します).平均と分散は Welford 法で 1 組ずつ更新し,1 コマ 12 ms 以内に区切って計算します.
③のベイズ線形回帰:事前分布 p(w) = 𝒩(w | 0, σw2I),ノイズの分散 σ2.事後分布は 𝒩(w | mN, SN) で,予測分布は次のとおりです.
知識不足の帯は予測平均 ± 2(φ*TSNφ*)1/2,観測値の帯は ± 2(σ2 + φ*TSNφ*)1/2 です.SN は作らず,縦に積んだ行列 [Φ/σ; I/σw] の QR 分解から SN−1 = RTR を得て,φTSNφ = ‖R−Tφ‖2 を三角行列の代入で計算します.事後分布からの標本は w = mN + R−1z(z ~ 𝒩(0, I))です.MAP 推定値 mN は λ = σ2/σw2 の Ridge 回帰の解と一致します(画面で差を表示します).
Gauss 基底は φj(s) = exp[−(s − cj)2/(2r2)],中心 cj = −1, −0.75, …, 1 の 9 個,幅 r = 0.25(中心の間隔と同じ)です.定数の基底は入れていません.
係数が d + 1 = 10 個で,訓練データも 10 点なので,Φ は 10×10 の正則な行列になり,Φw = y を満たす多項式がちょうど 1 つあります(全点を通る補間).検証 RMSE は 14.8 % で,d = 3 の 1.23 % より 1 桁以上悪くなります.訓練データの間で曲線が大きく振れ,ノイズまで覚えてしまったためです.
検証 RMSE は 2.40 → 1.31 → 2.43 %,係数の最大の絶対値は 75.0 → 12.8 → 5.89 です.罰則 (λ/2)‖w‖2 が係数を小さく保つので振れが抑えられますが,大きすぎると真の関数の曲がりまで表せなくなり(バイアスが増え),訓練 RMSE も 1.68 % まで上がります.
ln λ ≈ −3 付近(バイアス2 ≈ 0.16,分散 ≈ 0.73,ノイズ 1.00 で合計 ≈ 1.89 %2).左(λ が小さい)では分散が,右(λ が大きい)ではバイアス2 が大きくなります.
観測値の予測分散 σ2 + φTSNφ のうち σ2 は測定のノイズで,データを増やしても減りません.SN−1 には観測ごとに σ−2φφT が足されるので,データのある所では φTSNφ が小さくなり,知識不足の帯は 0 に近づきます.
機械学習 — 確率から GPT まで(目次)へ戻る | 本文:第6章 6.2 節,第8章 8.6 節 | 数式はブラウザ標準の MathML で組んでいます(外部ライブラリ不使用).