回帰と過学習 — 次数・正則化・データ数で予測がどう変わるか

焼成温度と相対密度の教育用の合成データ(データ A)に多項式や Gauss 基底の線形モデルを当てはめます.次数を上げると訓練誤差は下がり続けるのに検証誤差は途中から増えること(過学習),正則化 λ がそれを抑えること,その背後にあるバイアスと分散の兼ね合い,ベイズ線形回帰で予測の不確かさがノイズ由来と知識不足由来の 2 つに分かれることを,画面の数値を本文の式に入れて確かめてください.

多項式の当てはめ(データ A:焼成温度と相対密度)

次数 d の多項式 f(s; w) = w0 + w1s + … + wdsd(+ 基準値 88 %)を,最小二乗または Ridge 回帰で当てはめます.

横軸は多項式の次数 d(係数は d + 1 個),縦軸は RMSE(%,対数目盛).各次数を同じ訓練データ・同じ λ で当てはめ直した値です.縦の線が現在の次数.検証 RMSE はノイズの標準偏差 σ より小さくなりにくいことに注意してください.0.01 % 未満の値は下端に描きます.

いまの数値を式に入れると

読み出し

係数 wj の大きさ

目標値は y − 88 % です(w0 は 88 % からのずれ).過学習すると係数の絶対値が桁違いに大きくなり,正の項と負の項が打ち消しあって訓練データを通ります.

このシミュレーターの説明(操作手順・式・条件・問い)

操作手順と観察する点

  1. ①は既定(N = 10,ノイズ 1.0 %,正則化なし,seed 20261112)のまま,次数 d を 0,1,3,9 と変えます.見る点:訓練 RMSE は 6.10 → 1.60 → 0.855 % → ほぼ 0(10−13 程度)と下がり続けるのに,検証 RMSE は 6.48 → 1.95 → 1.23 → 14.8 % と d = 3 で最小になり,d = 9 で急に悪化すること(下の図の U 字).d = 9 では係数の最大の絶対値が 3160(3.16×103)になります.
  2. d = 9 のまま「正則化なし」を外し,ln λ を −10 から 0 まで動かします.見る点:ln λ = −5 で検証 RMSE が 1.31 % まで下がり,係数が十数程度に縮むこと.λ を大きくしすぎると(ln λ = 0)曲線が平らになり,訓練・検証の両方が悪くなること.
  3. 訓練データ数 N を 10 から 50 に増やします(d = 9,正則化なし).見る点:同じ次数でも,検証 RMSE が 14.8 %(N = 10)→ 5.25 %(N = 20)→ 1.13 %(N = 50)と下がり,過学習が目立たなくなること.
  4. ②で横軸「ln λ」のまま,d = 9,N = 15 の既定で計算を待ちます.見る点:λ が小さいと分散が,大きいとバイアスが大きく,その和(+ノイズ)が途中で最小になること.上の図で,λ を小さくすると灰色の当てはめの束が広がること.
  5. ③で「データ A から 1 点」を何回か押し,注目する点 s* をデータの無い所(たとえば 1.3)へ動かします.見る点:知識不足の帯 ±2(φTSNφ)1/2 はデータの近くで細く,離れると太くなること.観測値の帯はどこでもノイズの ±2σ より細くならないこと.
  6. ③で基底を「Gauss 基底」にして s* を 1.4 にします.見る点:基底関数の無い所では φ ≈ 0 になり,知識不足の帯まで細くなること(データが無いのに自信があるように見える.基底の選び方の限界).

キーボードでは Tab でボタンとスライダーへ移り,Enter(または Space)で押し,矢印キーでスライダーを動かせます.タブは ←→ で切り替えられます.

計算している式とアルゴリズム

入力は焼成温度 T(°C)を標準化した s = (T − 1300)/200 ∈ [−1, 1] です.次数 d の多項式の基底は φj(s) = sj(j = 0, …, d)の M = d + 1 個で,計画行列は Φ ∈ ℝN×M,Φnj = snj です.目標値は相対密度から固定の基準値 88 % を引いた値 yn − 88 % で,画面の曲線には 88 % を足して表示します(基準値はデータから計算しません).

①の Ridge 回帰は次の損失を最小にします(λ = 0 が最小二乗法).

L(𝒘)=12‖𝒚−𝚽𝒘‖2+λ2‖𝒘‖2,(𝚽T𝚽+λ𝑰)𝒘=𝚽T𝒚

正規方程式は作らず,λ = 0 では Φ を,λ > 0 では縦に積んだ行列 [Φ; √λ I] を Householder 法で QR 分解し,三角行列の後退代入で w を求めます([Φ; √λ I] の最小二乗解が Ridge の解に一致します).係数の数 M = d + 1 がデータ数 N より多く λ = 0 のときは,訓練誤差 0 の解が無数にあるので,特異値分解 Φ = U diag(si) VT による最小ノルム解を表示し,そのことを画面に書きます.RMSE は

RMSE=1N∑n=1N(yn−f(sn;𝒘))2

で,訓練 RMSE は訓練データ,検証 RMSE は同じ分布から別に引いた 200 点で計算します.

②のバイアス–分散分解:l 組目(l = 1, …, L)のデータ集合での当てはめを f(l)(s),その平均を f̄(s) = (1/L) Σl=1L f(l)(s) とし,s について [−1, 1] の一様分布で平均 ⟨·⟩s を取ります(中点則 200 点).

𝔼[(y−f^(s))2]=⟨(f¯(s)−g(s))2⟩s⏟(バイアス)2+⟨1L∑l=1L(f(l)(s)−f¯(s))2⟩s⏟分散+σ2⏟ノイズ

交差項 2⟨(f̄ − g)(f(l) − f̄)⟩ は l について平均すると 0 になり,ノイズ ε は当てはめと独立なので,ノイズとの交差項も期待値が 0 になります.λ を掃引するときは,各データ集合で Φ の特異値分解を 1 回だけ行い,w(λ) = Σi vi si/(si2 + λ) uiTy で全部の λ の解を作ります(QR による解と丸め誤差の範囲で一致します).平均と分散は Welford 法で 1 組ずつ更新し,1 コマ 12 ms 以内に区切って計算します.

③のベイズ線形回帰:事前分布 p(w) = 𝒩(w | 0, σw2I),ノイズの分散 σ2.事後分布は 𝒩(w | mN, SN) で,予測分布は次のとおりです.

𝑺N−1=σw−2𝑰+σ−2𝚽T𝚽,𝒎N=σ−2𝑺N𝚽T𝒚p(y*∣s*,𝒟)=𝒩(y*∣𝒎NT𝝓*,σ2⏟ノイズ+𝝓*T𝑺N𝝓*⏟知識不足)

知識不足の帯は予測平均 ± 2(φ*TSNφ*)1/2,観測値の帯は ± 2(σ2 + φ*TSNφ*)1/2 です.SN は作らず,縦に積んだ行列 [Φ/σ; I/σw] の QR 分解から SN−1 = RTR を得て,φTSNφ = ‖R−Tφ‖2 を三角行列の代入で計算します.事後分布からの標本は w = mN + R−1z(z ~ 𝒩(0, I))です.MAP 推定値 mN は λ = σ2/σw2 の Ridge 回帰の解と一致します(画面で差を表示します).

Gauss 基底は φj(s) = exp[−(s − cj)2/(2r2)],中心 cj = −1, −0.75, …, 1 の 9 個,幅 r = 0.25(中心の間隔と同じ)です.定数の基底は入れていません.

データと乱数の条件

  • 教育用の合成データ(データ A「焼成温度と相対密度」.実在の物質のデータではありません):s を [−1, 1] の一様分布から引き,y = g(s) + ε,g(s) = 88 + 8s − 5s2 + 2 sin 3s(相対密度 %),ε ~ 𝒩(0, σ2).焼成温度は T = 1300 + 200s(°C)で 1100〜1500 °C に当たります.ノイズの標準偏差の既定は 1.0 %(①,②では 0〜3 % で変えられます.③の「データ A から引く」点は 1.0 % で固定).
  • 点は 1 個ずつ(s → ε の順に)引くので,同じ seed なら N を増やしても前からの点は変わりません.検証データ 200 点は seed + 1000003 の別の乱数列から引きます.
  • 乱数は seed つきの生成器(mulberry32)です.既定の seed は ①②③とも 20261112.同じ seed でやり直すと同じデータになります.③の事後分布の標本は seed + 7 の乱数列から作った z を固定して使うので,データを足すと標本が連続的に変わります.
  • 上限:訓練データ 5〜50 点,次数 0〜12,データ集合 10〜200 組,③の観測点 100 点,事後分布の標本 10 本.

簡略化している点

  • 目標値から固定の 88 % を引いて回帰し,w のすべての成分(定数項 w0 も)に同じ罰則 (λ/2)‖w‖2 または事前分布 𝒩(0, σw2I) をかけています.λ を大きくすると当てはめは 88 % の水平線に近づきます.実務では定数項に罰則をかけないことも多く,その場合は結果が少し変わります.
  • ②のバイアスと分散は有限の L 組から推定した値で,バイアス2 には分散/L 程度の推定の誤差が含まれます.s についての平均は [−1, 1] の一様分布(訓練データと同じ分布)で取っています.
  • ③のノイズの分散 σ2 と事前分布の σw は与えたものとし,データから推定(第8章のエビデンス最大化など)はしていません.
  • 多項式の基底は単項式 sj です.直交多項式にすると次数が高いときの条件数が改善しますが,ここでは本文の式との対応を優先しました.

結果が不安定になる条件

  • 正則化なしで次数が高いと,Φ の条件数が 104〜108 程度になり,係数が桁違いに大きくなります.QR 分解で解いているので計算そのものは安定ですが,データの小さな違いで曲線が大きく変わります(②の分散).
  • d + 1 > N かつ λ = 0 では解が一つに決まりません(最小ノルム解を表示).②でこの条件になると,分散が 1010 を超えることがあり,図の上端で切れます.
  • ③で σ を小さく,σw を大きくすると,予測平均が観測点をほぼ通り,多項式の次数が高いとデータの外で大きく振れます.計算が NaN や無限大になったら止めて理由を表示します.
  • ③の Gauss 基底では,基底関数の中心から離れると φ ≈ 0 となり,知識不足の帯が 0 に近づきます.データが無いのに不確かさが小さく見えるのはモデルの仮定(基底の置き方)によるもので,外挿の信頼性を表しません.

本文の対応節

操作後に答える短い問い

  1. ①の既定(N = 10,seed 20261112,正則化なし)で d = 9 にすると訓練 RMSE はほぼ 0 になります.なぜですか.このとき検証 RMSE はいくつで,d = 3 と比べてどうですか.
    答えの例

    係数が d + 1 = 10 個で,訓練データも 10 点なので,Φ は 10×10 の正則な行列になり,Φw = y を満たす多項式がちょうど 1 つあります(全点を通る補間).検証 RMSE は 14.8 % で,d = 3 の 1.23 % より 1 桁以上悪くなります.訓練データの間で曲線が大きく振れ,ノイズまで覚えてしまったためです.

  2. d = 9 で ln λ を −10,−5,0 としたとき,検証 RMSE と係数の最大の絶対値はどう変わりますか.λ を大きくしすぎるとなぜ悪くなりますか.
    答えの例

    検証 RMSE は 2.40 → 1.31 → 2.43 %,係数の最大の絶対値は 75.0 → 12.8 → 5.89 です.罰則 (λ/2)‖w‖2 が係数を小さく保つので振れが抑えられますが,大きすぎると真の関数の曲がりまで表せなくなり(バイアスが増え),訓練 RMSE も 1.68 % まで上がります.

  3. ②の既定(d = 9,N = 15,L = 100)で,バイアス2 + 分散 + ノイズが最小になる ln λ はどのあたりですか.そこより左と右で,大きい成分はどちらですか.
    答えの例

    ln λ ≈ −3 付近(バイアス2 ≈ 0.16,分散 ≈ 0.73,ノイズ 1.00 で合計 ≈ 1.89 %2).左(λ が小さい)では分散が,右(λ が大きい)ではバイアス2 が大きくなります.

  4. ③で,観測点をいくら増やしても観測値の帯の幅が ±2σ より狭くならないのはなぜですか.知識不足の帯の幅はどうなりますか.
    答えの例

    観測値の予測分散 σ2 + φTSNφ のうち σ2 は測定のノイズで,データを増やしても減りません.SN−1 には観測ごとに σ−2φφT が足されるので,データのある所では φTSNφ が小さくなり,知識不足の帯は 0 に近づきます.

機械学習 — 確率から GPT まで(目次)へ戻る | 本文:第6章 6.2 節,第8章 8.6 節 | 数式はブラウザ標準の MathML で組んでいます(外部ライブラリ不使用).