ニューラルネットワーク — 順伝播・誤差逆伝播・学習

小さなネットワークで,入力から出力を計算する順伝播,損失の勾配を出力側から配る誤差逆伝播,勾配の向きに重みを動かす更新を,1 つずつ数値で追います.次に,隠れユニット数・活性化関数・学習率・ミニバッチ・重み減衰を変えて学習の様子と「データに合わせて動く基底関数」を観察し,最後に逆伝播の勾配が差分による近似と一致することを確かめてください.

2–2–1 のネットワーク(隠れ層 tanh,出力 sigmoid,損失は交差エントロピー)

図の下の「順伝播」「逆伝播」「重みを更新」を順に押すと,図と表に数値が足されていきます.

丸は入力 xi,隠れユニット hj,出力.線の脇の「w」は重み(入力 i → 隠れ j は W(1)ji,隠れ j → 出力は W(2)j),「∂L/∂w」はその勾配です.バイアスの勾配は ∂L/∂b = δ なので,δ だけを書いています.図の数値は有効数字 4 桁,下の表は 6 桁です.

いまの数値を式に入れると

数値の表(有効数字 6 桁)

読み出し

このシミュレーターの説明(操作手順・式・条件・問い)

操作手順と観察する点

  1. ①で「順伝播」を押します.見る点:a(1) = (0.45, 0.8),z(1) = (0.421899, 0.664037),a(2) = −0.0421378,ŷ = 0.489467,L = 0.714438.y = 1 なのに ŷ が 0.5 より小さいので,損失は ln 2 ≈ 0.693 より少し大きくなります.
  2. 「逆伝播」を押します.見る点:出力の誤差 δ(2) = ŷ − y = −0.510533 が,重み W(2) = (1.0, −1.0) と tanh の傾き 1 − z2 を掛けて隠れ層に配られ,δ(1) = (−0.419659, 0.285416) になること.隠れユニット 2 の δ の符号が逆になるのは W(2)2 が負だからです.
  3. 「重みを更新」を押します.見る点:各重みが −η∂L/∂w だけ動き,損失が 0.714438 から 0.343888 に下がること.もう一度「順伝播」から繰り返すと,損失はさらに下がります.
  4. ①で学習率 η を 5 にして同じことをします.次に y = 0 にします.見る点:η が大きいと 1 回の更新で動きすぎること.y を変えると δ(2) の符号が変わり,すべての勾配の符号が反転すること.
  5. ②で課題「回帰(データ A)」のまま「実行」を押し,隠れユニット数 H を 1,3,8 と変えます.見る点:下の図で,隠れユニットの出力 zj(s) が学習とともに位置と傾きを変える「動く基底関数」であること.「寄与」に切り替えると,それらの重ね合わせが上の予測曲線になることが分かります.データ A は滑らかなので,既定の seed では 2000 エポック後の訓練 RMSE は H = 1,3,8 で 0.945,0.927,0.919 % とノイズの標準偏差 1 % 程度で,検証 RMSE(1.24,1.24,1.22 %)もほとんど変わりません.H を増やすと表せる形は増えますが,このデータではそれが必要ありません.
  6. ②で課題を「同心円」にして 2000 エポックほど学習させます(既定の H = 3).見る点:訓練損失は下がり続ける(2000 エポックで 0.0153)のに,検証損失はエポック 806 の 0.104 を最小に上がり始め,2000 エポックで 0.360 になる(過学習)こと.検証損失が最小のエポック(◆)で止めるのが早期終了です.H = 4 で重み減衰 λ を 0,10−3,10−2 と変えると,2000 エポックの検証損失は 0.342,0.218,0.308 になり,λ が大きすぎると訓練損失も下がらなくなること(0.0129,0.0488,0.214).
  7. ②で学習率を最大近くにしてミニバッチを 1 にします.見る点:損失が振動し,発散すると計算が止まって理由が表示されること.「初期値」を「全部 0」にして実行します.見る点:tanh では重みがすべて 0 のまま動かず,予測は定数(訓練データの平均)になること.sigmoid では重みは動きますが,どの隠れユニットも同じ値のままで,H を増やしても表せる形が増えないこと(対称性).
  8. ③で ε を 10−12 から 10−1 まで動かします.見る点:中心差分の誤差は ε ≈ 10−5 付近で最小(10−12 程度)になり,ε を小さくしすぎると丸め誤差で,大きくしすぎると打ち切り誤差で大きくなる(V 字).大きい ε の側で,中心差分の誤差は傾き 2,前進差分は傾き 1 で増えること.

キーボードでは Tab でボタンとスライダーへ移り,Enter(または Space)で押し,矢印キーでスライダーを動かせます.タブは ←→ で切り替えられます.

計算している式とアルゴリズム

隠れ層 1 層,出力 1 個のネットワークです.入力 x ∈ ℝD,隠れユニット数 H,W(1) ∈ ℝH×D,W(2) ∈ ℝ1×H,活性化関数 h(·)(tanh,ReLU,sigmoid).

a(1)=W(1)x+b(1),z(1)=h(a(1)),a(2)=W(2)z(1)+b(2)y^=σ(a(2))=11+e−a(2)(分類),y^=a(2)(回帰)

1 個のデータの損失は,分類(y ∈ {0, 1})では交差エントロピー,回帰では二乗誤差の半分です.分類の損失は ln 0 を避けるため,ln(1 + ea) を桁あふれしない形で計算しています.

ℓ=−[ylny^+(1−y)ln(1−y^)]=ln(1+ea(2))−ya(2),ℓ=12(y^−y)2L=1|ℬ|∑n∈ℬℓn+λ2(‖W(1)‖2+‖W(2)‖2)

ℬ はミニバッチ(データの番号の集合),λ は重み減衰の係数です(バイアスには掛けません).誤差逆伝播は δ ≡ ∂ℓ/∂a を出力側から順に求めます.

δ(2)=y^−y,δ(1)=h′(a(1))⊙(W(2)Tδ(2))∂ℓ∂W(l)=δ(l)z(l−1)T,∂ℓ∂b(l)=δ(l),z(0)=xh′(a)=1−tanh2a(tanh),σ(a)[1−σ(a)](sigmoid),1(a>0),0(a≤0)(ReLU)

ミニバッチの勾配は 1 個ずつの勾配の平均に λW を足したものです.更新は勾配降下法 w ← w − η ∂L/∂w(η は学習率).1 エポックの初めに訓練データの順番を乱数で並べ替え,大きさ B のミニバッチごとに更新します(「全部」なら 1 エポックに 1 回の更新).

③の勾配確認では,各パラメーター w だけを ±ε 動かした損失から

∂L∂w≈L(w+ε)−L(w−ε)2ε(中心差分.誤差 O(ε2)),L(w+ε)−L(w)ε(前進差分.誤差 O(ε))

を作り,逆伝播の値と比べます.成分ごとの相対誤差は |g逆伝播 − g差分| / max(|g逆伝播|, |g差分|, 10−8),ベクトルとしての相対誤差は ‖g逆伝播 − g差分‖ / max(‖g逆伝播‖, ‖g差分‖) です.

データと乱数の条件

  • ①は 1 個のデータ(既定 x = (1.0, 0.5),y = 1)と,本文第15章 15.3 と同じ重み:W(1) = ((0.5, −0.3), (0.8, 0.2))(1 行目が隠れユニット 1),b(1) = (0.1, −0.1),W(2) = (1.0, −1.0),b(2) = 0.2,学習率 η = 0.5.乱数は使いません.
  • ②の回帰は教育用の合成データ「データ A(焼成温度と相対密度)」です:s ~ U(−1, 1),焼成温度 T = 1300 °C + 200 °C × s,相対密度 y = g(s) + ε,g(s) = 88 + 8s − 5s2 + 2 sin 3s(%),ε ~ 𝒩(0, 1.02)(%).訓練データ数は 5〜50(既定 20).目標値は訓練データの平均 ȳ と標準偏差 sy で標準化した (y − ȳ)/sy で学習し,図は % に戻して描きます(損失は標準化した単位).実在の材料のデータではありません.
  • ②の分類も教育用の合成データ(無次元の 2 次元の点,y ∈ {0, 1} が半々)です.同心円:半径 1.0(y = 0)または 0.5(y = 1)に 𝒩(0, 0.12) を足し,角度は一様.三日月:y = 0 は (cos t, sin t),y = 1 は (1 − cos t, 0.5 − sin t),t ~ U(0, π),(0.5, 0.25) を引いて各座標に 𝒩(0, 0.12).XOR:中心 (±0.5, ±0.5),x1x2 > 0 の象限が y = 1,各座標に 𝒩(0, 0.22).訓練データ数は 40〜200(既定 100).
  • 検証データは訓練データと同じ分布から別に 200 個(別の乱数の流れ).訓練データ数を変えても検証データは変わりません.
  • 乱数は seed つきの生成器(mulberry32)です.「データの seed」(既定 20261112)が訓練・検証データを,「乱数の seed」(既定 20261112)が重みの初期値とミニバッチの順番を決めます.同じ seed でやり直すと同じ学習の経過になります.
  • 初期値:tanh・sigmoid は Xavier(Glorot)の正規分布(分散 2/(fanin + fanout)),ReLU は He の正規分布(分散 2/fanin),出力層は Xavier,バイアスは 0.「全部 0」も選べます.
  • 計算量の上限:隠れユニット 16 個,5000 エポック.③の ε の図は 10−12〜10−1 の 34 点です.

簡略化している点

  • 隠れ層は 1 層,出力は 1 個です(多クラスの softmax は扱いません).
  • 最適化は素朴な(確率的)勾配降下法だけです.モーメンタム・Adam・学習率の減衰・ドロップアウトは使いません.
  • 回帰の目標値の標準化には訓練データの平均と標準偏差を使います(検証データの情報は使いません).
  • ①の図の数値は有効数字 4 桁に丸めて表示しています(計算は倍精度.表は 6 桁).

結果が不安定になる条件

  • 学習率が大きいと損失が振動し,発散します.損失が NaN・無限大,または 106 を超えたら学習を止め,理由を表示します.ミニバッチが小さいほど勾配のばらつきが大きく,同じ学習率でも不安定になりやすくなります.
  • sigmoid を隠れ層に使い,入力の重みが大きくなると,h′ ≤ 1/4 が小さくなって学習が遅くなります(勾配消失の入口).ReLU では,a ≤ 0 にとどまったユニットは勾配が 0 になり,もう動きません.
  • 分類で訓練データを完全に分けられると,重み減衰がなければ重みが増え続け,訓練損失は 0 に近づき続けます.検証損失は上がることがあります(過学習).
  • 勾配確認で ε を小さくしすぎると,L(w ± ε) の差が丸め誤差(約 10−16 × L)に埋もれます.勾配がもともと 0 に近い成分では,成分ごとの相対誤差が見かけ上大きくなります(ベクトルとしての相対誤差で判断します).ReLU の折れ目 a = 0 をまたぐ ε では差分が正しい微分になりません.
  • 初期値が全部 0 だと,tanh・ReLU では z(1) = h(0) = 0 なので ∂L/∂W(2) = 0,W(2) = 0 なので δ(1) = 0 となり,重みはどれも動きません(動くのは b(2) だけで,予測は定数).sigmoid では W(1) は動きますが,どの隠れユニットも同じ値のままです.

本文の対応節

操作後に答える短い問い

  1. ①の既定値で,隠れユニット 1 と 2 の δ(1) の符号が逆になるのはなぜですか.また,∂L/∂W(1)12 が ∂L/∂W(1)11 のちょうど半分なのはなぜですか.
    答えの例

    δ(1)j = (1 − zj2) W(2)j δ(2) で,1 − z2 > 0 と δ(2) = −0.510533 は共通なので,符号は W(2)j = +1.0,−1.0 で決まります(−0.419659 と +0.285416).∂L/∂W(1)ji = δ(1)j xi で,x2/x1 = 0.5/1.0 だからです(−0.209829 = 0.5 × (−0.419659)).

  2. ①で 1 回更新すると損失は 0.714438 → 0.343888 になります.η を非常に小さくしたとき,損失の減り方は何で決まりますか.
    答えの例

    1 次の Taylor 展開で L(w − ηg) ≈ L − η‖g‖2 なので,減り方は勾配の大きさの 2 乗 ‖g‖2 = 1.00151(全 9 個のパラメーター)に比例します.η = 0.5 の実際の減少 0.370550 は 0.5 × 1.00151 ≈ 0.501 より小さく,1 次の近似からずれています(η = 0.5 は「小さい」とは言えません).

  3. ②の同心円で,訓練損失が下がり続けるのに検証損失が上がるのはなぜですか.どこで学習を止めるとよいですか.
    答えの例

    訓練データを完全に分けられるようになると,重みを大きくして境界の近くの訓練データまで確信度を上げるほど訓練損失は下がりますが,検証データの点を誤って高い確信度で分類すると交差エントロピーは大きくなります.検証損失が最小のエポック(図の◆)で止める(早期終了)か,重み減衰 λ で重みが大きくなるのを抑えます.

  4. ③で ε を小さくすると,ある所までは誤差が減り,その先で増えるのはなぜですか.
    答えの例

    中心差分の打ち切り誤差は約 (ε2/6)|L‴| で ε とともに減りますが,L(w + ε) と L(w − ε) はそれぞれ約 10−16 × L の丸め誤差を持ち,それを 2ε で割るので丸め誤差は 1/ε に比例して増えます.両者がつり合う ε ≈ 10−5 付近で誤差が最小になります.

機械学習 — 確率から GPT まで(目次)へ戻る | 本文:第14章 14.5 節,第15章 15.3 節 | 数式はブラウザ標準の MathML で組んでいます(外部ライブラリ不使用).