このシミュレーターの説明(操作手順・式・条件・問い)
操作手順と観察する点
- ①で「順伝播」を押します.見る点:a(1) = (0.45, 0.8),z(1) = (0.421899, 0.664037),a(2) = −0.0421378,ŷ = 0.489467,L = 0.714438.y = 1 なのに ŷ が 0.5 より小さいので,損失は ln 2 ≈ 0.693 より少し大きくなります.
- 「逆伝播」を押します.見る点:出力の誤差 δ(2) = ŷ − y = −0.510533 が,重み W(2) = (1.0, −1.0) と tanh の傾き 1 − z2 を掛けて隠れ層に配られ,δ(1) = (−0.419659, 0.285416) になること.隠れユニット 2 の δ の符号が逆になるのは W(2)2 が負だからです.
- 「重みを更新」を押します.見る点:各重みが −η∂L/∂w だけ動き,損失が 0.714438 から 0.343888 に下がること.もう一度「順伝播」から繰り返すと,損失はさらに下がります.
- ①で学習率 η を 5 にして同じことをします.次に y = 0 にします.見る点:η が大きいと 1 回の更新で動きすぎること.y を変えると δ(2) の符号が変わり,すべての勾配の符号が反転すること.
- ②で課題「回帰(データ A)」のまま「実行」を押し,隠れユニット数 H を 1,3,8 と変えます.見る点:下の図で,隠れユニットの出力 zj(s) が学習とともに位置と傾きを変える「動く基底関数」であること.「寄与」に切り替えると,それらの重ね合わせが上の予測曲線になることが分かります.データ A は滑らかなので,既定の seed では 2000 エポック後の訓練 RMSE は H = 1,3,8 で 0.945,0.927,0.919 % とノイズの標準偏差 1 % 程度で,検証 RMSE(1.24,1.24,1.22 %)もほとんど変わりません.H を増やすと表せる形は増えますが,このデータではそれが必要ありません.
- ②で課題を「同心円」にして 2000 エポックほど学習させます(既定の H = 3).見る点:訓練損失は下がり続ける(2000 エポックで 0.0153)のに,検証損失はエポック 806 の 0.104 を最小に上がり始め,2000 エポックで 0.360 になる(過学習)こと.検証損失が最小のエポック(◆)で止めるのが早期終了です.H = 4 で重み減衰 λ を 0,10−3,10−2 と変えると,2000 エポックの検証損失は 0.342,0.218,0.308 になり,λ が大きすぎると訓練損失も下がらなくなること(0.0129,0.0488,0.214).
- ②で学習率を最大近くにしてミニバッチを 1 にします.見る点:損失が振動し,発散すると計算が止まって理由が表示されること.「初期値」を「全部 0」にして実行します.見る点:tanh では重みがすべて 0 のまま動かず,予測は定数(訓練データの平均)になること.sigmoid では重みは動きますが,どの隠れユニットも同じ値のままで,H を増やしても表せる形が増えないこと(対称性).
- ③で ε を 10−12 から 10−1 まで動かします.見る点:中心差分の誤差は ε ≈ 10−5 付近で最小(10−12 程度)になり,ε を小さくしすぎると丸め誤差で,大きくしすぎると打ち切り誤差で大きくなる(V 字).大きい ε の側で,中心差分の誤差は傾き 2,前進差分は傾き 1 で増えること.
キーボードでは Tab でボタンとスライダーへ移り,Enter(または Space)で押し,矢印キーでスライダーを動かせます.タブは ←→ で切り替えられます.
計算している式とアルゴリズム
隠れ層 1 層,出力 1 個のネットワークです.入力 x ∈ ℝD,隠れユニット数 H,W(1) ∈ ℝH×D,W(2) ∈ ℝ1×H,活性化関数 h(·)(tanh,ReLU,sigmoid).
1 個のデータの損失は,分類(y ∈ {0, 1})では交差エントロピー,回帰では二乗誤差の半分です.分類の損失は ln 0 を避けるため,ln(1 + ea) を桁あふれしない形で計算しています.
ℬ はミニバッチ(データの番号の集合),λ は重み減衰の係数です(バイアスには掛けません).誤差逆伝播は δ ≡ ∂ℓ/∂a を出力側から順に求めます.
ミニバッチの勾配は 1 個ずつの勾配の平均に λW を足したものです.更新は勾配降下法 w ← w − η ∂L/∂w(η は学習率).1 エポックの初めに訓練データの順番を乱数で並べ替え,大きさ B のミニバッチごとに更新します(「全部」なら 1 エポックに 1 回の更新).
③の勾配確認では,各パラメーター w だけを ±ε 動かした損失から
を作り,逆伝播の値と比べます.成分ごとの相対誤差は |g逆伝播 − g差分| / max(|g逆伝播|, |g差分|, 10−8),ベクトルとしての相対誤差は ‖g逆伝播 − g差分‖ / max(‖g逆伝播‖, ‖g差分‖) です.
データと乱数の条件
- ①は 1 個のデータ(既定 x = (1.0, 0.5),y = 1)と,本文第15章 15.3 と同じ重み:W(1) = ((0.5, −0.3), (0.8, 0.2))(1 行目が隠れユニット 1),b(1) = (0.1, −0.1),W(2) = (1.0, −1.0),b(2) = 0.2,学習率 η = 0.5.乱数は使いません.
- ②の回帰は教育用の合成データ「データ A(焼成温度と相対密度)」です:s ~ U(−1, 1),焼成温度 T = 1300 °C + 200 °C × s,相対密度 y = g(s) + ε,g(s) = 88 + 8s − 5s2 + 2 sin 3s(%),ε ~ 𝒩(0, 1.02)(%).訓練データ数は 5〜50(既定 20).目標値は訓練データの平均 ȳ と標準偏差 sy で標準化した (y − ȳ)/sy で学習し,図は % に戻して描きます(損失は標準化した単位).実在の材料のデータではありません.
- ②の分類も教育用の合成データ(無次元の 2 次元の点,y ∈ {0, 1} が半々)です.同心円:半径 1.0(y = 0)または 0.5(y = 1)に 𝒩(0, 0.12) を足し,角度は一様.三日月:y = 0 は (cos t, sin t),y = 1 は (1 − cos t, 0.5 − sin t),t ~ U(0, π),(0.5, 0.25) を引いて各座標に 𝒩(0, 0.12).XOR:中心 (±0.5, ±0.5),x1x2 > 0 の象限が y = 1,各座標に 𝒩(0, 0.22).訓練データ数は 40〜200(既定 100).
- 検証データは訓練データと同じ分布から別に 200 個(別の乱数の流れ).訓練データ数を変えても検証データは変わりません.
- 乱数は seed つきの生成器(mulberry32)です.「データの seed」(既定 20261112)が訓練・検証データを,「乱数の seed」(既定 20261112)が重みの初期値とミニバッチの順番を決めます.同じ seed でやり直すと同じ学習の経過になります.
- 初期値:tanh・sigmoid は Xavier(Glorot)の正規分布(分散 2/(fanin + fanout)),ReLU は He の正規分布(分散 2/fanin),出力層は Xavier,バイアスは 0.「全部 0」も選べます.
- 計算量の上限:隠れユニット 16 個,5000 エポック.③の ε の図は 10−12〜10−1 の 34 点です.
簡略化している点
- 隠れ層は 1 層,出力は 1 個です(多クラスの softmax は扱いません).
- 最適化は素朴な(確率的)勾配降下法だけです.モーメンタム・Adam・学習率の減衰・ドロップアウトは使いません.
- 回帰の目標値の標準化には訓練データの平均と標準偏差を使います(検証データの情報は使いません).
- ①の図の数値は有効数字 4 桁に丸めて表示しています(計算は倍精度.表は 6 桁).
結果が不安定になる条件
- 学習率が大きいと損失が振動し,発散します.損失が NaN・無限大,または 106 を超えたら学習を止め,理由を表示します.ミニバッチが小さいほど勾配のばらつきが大きく,同じ学習率でも不安定になりやすくなります.
- sigmoid を隠れ層に使い,入力の重みが大きくなると,h′ ≤ 1/4 が小さくなって学習が遅くなります(勾配消失の入口).ReLU では,a ≤ 0 にとどまったユニットは勾配が 0 になり,もう動きません.
- 分類で訓練データを完全に分けられると,重み減衰がなければ重みが増え続け,訓練損失は 0 に近づき続けます.検証損失は上がることがあります(過学習).
- 勾配確認で ε を小さくしすぎると,L(w ± ε) の差が丸め誤差(約 10−16 × L)に埋もれます.勾配がもともと 0 に近い成分では,成分ごとの相対誤差が見かけ上大きくなります(ベクトルとしての相対誤差で判断します).ReLU の折れ目 a = 0 をまたぐ ε では差分が正しい微分になりません.
- 初期値が全部 0 だと,tanh・ReLU では z(1) = h(0) = 0 なので ∂L/∂W(2) = 0,W(2) = 0 なので δ(1) = 0 となり,重みはどれも動きません(動くのは b(2) だけで,予測は定数).sigmoid では W(1) は動きますが,どの隠れユニットも同じ値のままです.
本文の対応節
操作後に答える短い問い
- ①の既定値で,隠れユニット 1 と 2 の δ(1) の符号が逆になるのはなぜですか.また,∂L/∂W(1)12 が ∂L/∂W(1)11 のちょうど半分なのはなぜですか.
答えの例
δ(1)j = (1 − zj2) W(2)j δ(2) で,1 − z2 > 0 と δ(2) = −0.510533 は共通なので,符号は W(2)j = +1.0,−1.0 で決まります(−0.419659 と +0.285416).∂L/∂W(1)ji = δ(1)j xi で,x2/x1 = 0.5/1.0 だからです(−0.209829 = 0.5 × (−0.419659)).
- ①で 1 回更新すると損失は 0.714438 → 0.343888 になります.η を非常に小さくしたとき,損失の減り方は何で決まりますか.
答えの例
1 次の Taylor 展開で L(w − ηg) ≈ L − η‖g‖2 なので,減り方は勾配の大きさの 2 乗 ‖g‖2 = 1.00151(全 9 個のパラメーター)に比例します.η = 0.5 の実際の減少 0.370550 は 0.5 × 1.00151 ≈ 0.501 より小さく,1 次の近似からずれています(η = 0.5 は「小さい」とは言えません).
- ②の同心円で,訓練損失が下がり続けるのに検証損失が上がるのはなぜですか.どこで学習を止めるとよいですか.
答えの例
訓練データを完全に分けられるようになると,重みを大きくして境界の近くの訓練データまで確信度を上げるほど訓練損失は下がりますが,検証データの点を誤って高い確信度で分類すると交差エントロピーは大きくなります.検証損失が最小のエポック(図の◆)で止める(早期終了)か,重み減衰 λ で重みが大きくなるのを抑えます.
- ③で ε を小さくすると,ある所までは誤差が減り,その先で増えるのはなぜですか.
答えの例
中心差分の打ち切り誤差は約 (ε2/6)|L‴| で ε とともに減りますが,L(w + ε) と L(w − ε) はそれぞれ約 10−16 × L の丸め誤差を持ち,それを 2ε で割るので丸め誤差は 1/ε に比例して増えます.両者がつり合う ε ≈ 10−5 付近で誤差が最小になります.