機械学習 — 目次 付録D

付録Dシミュレーターの計算仕様と確認の記録

本書の各章には,パラメーターを動かして結果を見るシミュレーター(以下,装置)が 10 本埋め込まれている.この付録は,それぞれの装置が何を計算しているのか(式と算法),どこまで確かめてあるのか(何と比べ,何件を,どの許容差で)を,読者が自分で判断できるように記録したものである.装置の画面に出る数値をレポートや研究に引用する前に,該当する節を読んでほしい.

D.1 節で全装置に共通の作り(動作環境,乱数,数式の表示,埋め込み,計算の上限)を述べ,D.2〜D.11 節で装置ごとに同じ項目を並べる.D.12 節に,確かめていないことと既知の限界をまとめる.ここに書いた「確かめた」は,2026 年 11 月 12〜13 日に実際に実行した試験の範囲だけを指す.書いていない条件(別のブラウザー,別の端末,試験に含めなかったパラメーターの組)で正しく動くことを保証するものではない.

確認の方法は次の 4 種類に分けて書く.解析解:閉じた式や手計算で値が決まるものとの比較.全列挙:取りうる場合をすべて数え上げた値との比較.別実装:同じ量を,装置とは独立に書いた Python(NumPy・SciPy・PyTorch など)のプログラムで計算した値との比較.統計的な確認:乱数を使う量が理論の分布に従うかを,許容幅つきの検定で見たもの.許容差は,比べる値を $a$(装置),$b$(参照)として $\abs{a-b}\le \mathrm{atol}+\mathrm{rtol}\,\abs{b}$ の形(絶対許容差 atol,相対許容差 rtol)で書く.

D.1 共通の作り

D.1.1 装置の一覧

表D.1 装置の一覧(タブの key は URL の ?only= と # に使う名前)
装置ファイルタブ(key)対応する章既定の seed
S01 確率分布sim/distributions.htmlshape,mean第3章20261112
S02 ベイズ更新sim/bayes-update.htmlbeta,gauss第4章20261112
S03 回帰と過学習sim/regression.htmlfit,biasvar,bayes第6章,第8章20261112
S04 分類とカーネルsim/classifier.htmllogistic,svm第9〜11章20261112
S05 ニューラルネットワークsim/neural-net.htmltrace,train,gradcheck第14章,第15章20261112(初期値とデータの 2 つ)
S06 ガウス過程とベイズ最適化sim/gp-bo.htmlgp,bo,compare第12章,第13章20261112
S07 潜在変数sim/latent.htmlem,pca第17章,第18章データ 20261113,初期値 1
S08 近似推論と MCMCsim/inference-mcmc.htmlapprox,mh第20章,第21章20261112
S09 系列モデルsim/hmm.htmlhmm,kalman第22章20261112
S10 Attention と次トークン生成sim/attention.htmlattn,model第24〜26章20261112

D.1.2 動作環境と,外部とのやりとり

D.1.3 乱数

D.1.4 数式の表示

装置の画面の数式は,ブラウザー標準の MathML で書いてある(MathJax は使わない).そのため本文の数式と見た目は少し違う(例:転置は本文の $\tp$ に対して画面では T)が,文字の選び方は本文に合わせてある.多くの装置には「いまの数値を式に入れると」という欄があり,現在の設定の数値を代入した式を表示する.数式の中の太字は本文の $\bm{x}$ に合わせて MathML の mathvariant="bold-italic"(大文字のギリシャ文字と数字は "bold")で指定し,この指定を反映しない Chrome でも太字に見えるよう,装置に共通のスタイルシートで太字の書体を指定している.筆記体と黒板太字は mathvariant を使わず,数学用の文字(𝒩,𝒟,ℬ,𝔼)で書いてある.数式の外の説明文の太字(<b>)は立体の太字で,本文の太字斜体とは形が少し違う.Chrome 以外のブラウザーでの MathML の見え方は確かめていない.

D.1.5 埋め込みの引数

表D.2 装置の URL に付けられる引数
引数働き
?embed=1題(h1)と導入文を隠し,下の説明(操作手順・式・条件・問い)を折りたたむ(消さない).章に埋め込むときの形.
?only=<key>そのタブだけを表示し,ほかのタブを外す.embed=1 と同じ扱いも兼ねる.本文の囲み(シミュレーターN.k)はこの形で 1 つのタブを埋め込む.
#<key>開いたときに選ぶタブ(例 sim/gp-bo.html#compare).
?mode=handS09 だけ.隠れ Markov モデルのタブを手計算モード($T=3$)で開く.

埋め込まれた装置は,読み込み時・画面の幅が変わったとき・タブの切替・説明の開閉のたびに,自分の高さを親のページへ知らせ,本文側の枠の高さがそれに合わせて変わる.

D.1.6 計算の上限,異常時のふるまい,JavaScript が無効のとき

D.1.7 確認の進め方

表D.3 確認の件数(2026 年 11 月 12〜13 日の記録.すべて成功)
装置数値の試験(件)画面の確認(手順/照合)file:// で開いた確認
共有ライブラリ685——
S01 確率分布593218/41開いた直後(390 px)
S02 ベイズ更新170126/22開いた直後(390 px)
S03 回帰と過学習217283/61開いた直後(3 幅)
S04 分類とカーネル275339/71開いた直後(3 幅)
S05 ニューラルネットワーク253174/19開いた直後
S06 ガウス過程とベイズ最適化221158/24開いた直後
S07 潜在変数208154/38開いた直後(390 px)
S08 近似推論と MCMC656128/29開いた直後(390 px)
S09 系列モデル285169/44台本の全手順
S10 Attention と次トークン生成587179/42台本の全手順

以下の各節の「数値を確かめた方法と範囲」の表の件数は,試験の項目の数(1 項目で 1 つの比較または 1 つの条件)である.画面の確認の「照合」は台本の中で画面の値や状態を確かめた箇所の数で,すべて成功した.表D.3 の数値の試験は 2026 年 11 月 13 日に全部を実行し直し,同じ件数ですべて成功することを確かめた.

D.2 S01 確率分布(distributions)

D.2.1 対応する章・節とタブ

D.2.2 何を計算しているか

D.2.3 入力の範囲と上限,乱数

D.2.4 簡略化している点

D.2.5 不安定になる条件と装置のふるまい

D.2.6 数値を確かめた方法と範囲

表D.4 S01 の数値の試験(593 件.すべて成功)
確かめた量比べた相手種類件数許容差など
確率密度(質量)関数・累積分布関数・分位点(29 通りのパラメーター)SciPy の stats別実装94密度 rtol $10^{-11}$,累積分布 rtol $10^{-10}$,分位点 rtol $10^{-9}$
平均・分散・中央値(存在しないものは「無い」と理由)SciPy の stats別実装89—
正規化(密度の積分=1,質量の和=1)理論値(適応 Simpson 則で 0.0001 % 点〜99.9999 % 点を積分して $1-2\times10^{-6}$)解析解53—
区間確率 $P(x_1\le x\le x_2)$SciPy の stats,質量の直接の和,密度の二重指数型数値積分別実装212rtol $10^{-9}$(端で密度が発散する場合だけ atol $10^{-8}$)
半値全幅解析式と,SciPy の brentq で求めた値解析解・別実装39rtol $10^{-10}$
Cauchy の部分積分 $(\gamma/\pi)\ln(1+R^{2}/\gamma^{2})$SciPy の quad別実装25rtol $10^{-8}$
標本平均・中央値の逐次計算,時間を区切った計算,seed の再現性,理論値の式直接の計算・一括の計算解析解23中央値は完全一致
標本の分布(連続分布)KS 検定($n=20000$)統計的22$D\lt1.95/\sqrt{n}$
標本の分布(離散)$\chi^{2}$ 適合度検定($n=20000$)統計的7上側 0.1 % 点
標本平均の散らばり:Gauss は $\sigma^{2}/n$,Cauchy の $\bar{x}$($n=1000$,400 系列)は Cauchy 分布のまま(KS 検定と四分位範囲 ≈ $2\gamma$),中央値の標準偏差 ≈ $\pi\gamma/(2\sqrt{n})$理論値統計的6約 4 標準誤差,KS 検定
ヒストグラムの標本の平均・分散理論値統計的9約 4 標準誤差
最頻値(離散分布の同点を含む)確率質量関数の最大を全列挙で求めた値全列挙9完全一致
入力の制限(範囲への丸め,上限.上限の外の 20000 個でも有限の値を返すこと)——5—

画面の確認では,境界値($\nu$ の最小・最大,二項 $N=200$ と成功確率 0・1,Gamma $a=0.2$,Beta $a=b=0.2$,Weibull $m=30$,標本 0 個と 10000 個,系列 1 本,$n=10^{5}\times20$ 系列)と第3章の囲みの操作手順を含む 218 手順(照合 41)を実行した.

D.3 S02 ベイズ更新(bayes-update)

D.3.1 対応する章・節とタブ

D.3.2 何を計算しているか

D.3.3 入力の範囲と上限,乱数

D.3.4 簡略化している点

D.3.5 不安定になる条件と装置のふるまい

D.3.6 数値を確かめた方法と範囲

表D.5 S02 の数値の試験(170 件.すべて成功)
確かめた量比べた相手種類件数許容差など
Beta–Bernoulli の事後分布のパラメーター,事後平均・事後予測,標準偏差,MAP,最尤,95 % 信用区間,重み $w$(11 通りの $a,b,m,l$)SciPy の stats.beta と解析解解析解・別実装98事後平均 rtol $10^{-15}$,標準偏差 rtol $10^{-12}$,信用区間 最大絶対誤差 $10^{-11}$
逐次更新=一括更新(500 回,順序を逆にした場合,格子で 1 個ずつの数値計算 $N=10$〜2000)一括の解析解解析解9格子との相対差は最大 $7.46\times10^{-13}$($N=2000$)
seed の再現性,合成データの成功の割合・平均・分散真の値統計的4約 4 標準誤差
Gauss の平均の事後分布 $\mu_N,\sigma_N^{2}$,予測分散,信用区間・予測区間,逐次=一括(6 通り)解析解と SciPy の stats.norm解析解・別実装50$\mu_N$ rtol $10^{-13}$,$\sigma_N^{2}$ rtol $10^{-14}$,区間 $10^{-12}$
MAP 推定値の場合分け(内部の最大,片方が 1 のときの端,一様のとき 1 つに決まらない,1 未満で発散)密度の格子での最大,解析的な場合分け解析解9—

画面の確認は第4章の囲みの操作手順を含む 126 手順(照合 22).

D.4 S03 回帰と過学習(regression)

D.4.1 対応する章・節とタブ

D.4.2 何を計算しているか

D.4.3 入力の範囲と上限,乱数

D.4.4 簡略化している点

D.4.5 不安定になる条件と装置のふるまい

D.4.6 数値を確かめた方法と範囲

表D.6 S03 の数値の試験(217 件.すべて成功)
確かめた量比べた相手種類件数許容差など
データ A の真の関数,Gauss 基底の計画行列NumPy別実装3$10^{-12}$,$10^{-15}$
①の係数(最小ノルム解を含む)と Ridge の係数,訓練・検証・真の関数との RMSE,条件数(13 通りの設定)NumPy の lstsq,SciPy で解いた正規方程式別実装89係数は相対ノルムで $\max(10^{-10},\ \text{条件数}\times10^{-13})$,RMSE rtol $10^{-7}$〜$10^{-8}$,条件数 rtol $10^{-8}$
解の性質:QR の解=SVD の解,正規方程式の残差,$N=d+1$ で補間,$\lambda\to\infty$ で $\bm{w}\approx\bm{\Phi}^{\tp}\bm{y}/\lambda$,$\norm{\bm{w}}$ が $\lambda$ について単調に減る,訓練 RMSE が次数について増えない恒等式・極限解析解14—
②のバイアス$^{2}$・分散・$\langle(f^{(l)}-g)^{2}\rangle$NumPy で直接計算した平均・分散別実装52rtol $10^{-6}$〜$10^{-7}$.恒等式の相対差 $10^{-12}$ 未満,時間を区切った計算と一括の差 $10^{-10}$ 未満
③の $\bm{m}_N$,$\bm{\phi}^{\tp}\bm{S}_N\bm{\phi}$,予測平均,MAP = $\lambda=\sigma^{2}/\sigma_w^{2}$ の Ridge,データ 0 個で事前分布,観測を足すと $\bm{\phi}^{\tp}\bm{S}_N\bm{\phi}$ が増えない(5 通り)NumPy(逆行列で作った $\bm{S}_N$)別実装・解析解36相対ノルム差 $10^{-8}$
seed の再現性——7—
合成データの $s$ の一様性,ノイズの分布・平均・分散($n=20000$)KS 検定,理論値統計的4$D\lt1.95/\sqrt{n}$,4 標準誤差
真の関数で予測したときの二乗誤差の平均 ≈ $\sigma^{2}$理論値統計的14 標準誤差
バイアス$^{2}$+分散+$\sigma^{2}$ = 新しいノイズつき点での二乗誤差(独立な Monte Carlo 法)実測 1.8489 と予測 1.8824統計的1±0.2623(4 標準誤差)
事後分布からの関数の標本の平均・分散(5 点)$\bm{m}_N^{\tp}\bm{\phi}$,$\bm{\phi}^{\tp}\bm{S}_N\bm{\phi}$統計的104 標準誤差

画面の確認は第6・8章の囲みの操作手順を含む 283 手順(照合 61).file:// で開いた直後の表示(3 幅)でもコンソールのエラーが無いことを確かめた.

D.5 S04 分類とカーネル(classifier)

D.5.1 対応する章・節とタブ

D.5.2 何を計算しているか

D.5.3 入力の範囲と上限,乱数

D.5.4 簡略化している点

D.5.5 不安定になる条件と装置のふるまい

D.5.6 数値を確かめた方法と範囲

表D.7 S04 の数値の試験(275 件.すべて成功)
確かめた量比べた相手種類件数許容差など
①の損失・勾配・勾配降下法の 1 ステップ,$\lambda_{\max}$ と $L_c$(4 通りのデータ)NumPy別実装68rtol $10^{-12}$ 程度($\lambda_{\max}$ は $10^{-10}$)
勾配中心差分解析解12相対 $10^{-7}$
最小点(Newton 法)SciPy の BFGS+Newton 法別実装24$L^{*}$ rtol $10^{-10}$,$\bm{w}^{*}$ $10^{-6}$
最小値が無い場合(線形分離・1 クラス)の判定,$\norm{\bm{w}}$ の単調増加,データ 0 個解析的な性質解析解9—
交差エントロピーが桁あふれしないこと($a=\pm800$ など)直接の式・漸近形解析解23—
カーネルと Gram 行列NumPy別実装7$10^{-12}$
SMO の解($\varepsilon=10^{-9}$,7 通り):双対の目的関数 $D$,$\norm{\bm{w}}^{2}$,箱制約・等式制約,KKT 残差,弱双対性,$b$,テスト点 8 個の $f(\bm{x})$.画面の既定 $\varepsilon=10^{-3}$ での $D$SciPy の SLSQP・trust-constr で解いた双対問題(参照解の KKT 残差 $10^{-6}$ 以下)別実装77$D$ rtol $10^{-8}$,KKT 残差 $10^{-8}$ 以下,$b$ $10^{-5}$,$f(\bm{x})$ $10^{-4}$,既定 $\varepsilon$ での $D$ の相対差 $10^{-3}$ 以下
手計算できる例(2 点,3 点,ソフトマージンで $P=D=0.32$.第11章 11.4 節の型)手計算の値解析解14rtol $10^{-12}$
特別な場合と反復の上限,各ステップで $D$ が減らないこと,$f(\bm{x})$ の式—解析解11—
seed の再現性——16—
合成データの平均・分散・半径,象限の数理論値統計的114 標準誤差,$\chi^{2}$(0.1 %)
画面の既定値での数値の記録(初期の損失 $=N\ln 2$ など)—解析解3—

画面の確認は第9〜11章の囲みの操作手順を含む 339 手順(照合 71).file:// で開いた直後の表示(3 幅)でもコンソールのエラーが無いことを確かめた.

D.6 S05 ニューラルネットワーク(neural-net)

D.6.1 対応する章・節とタブ

D.6.2 何を計算しているか

D.6.3 入力の範囲と上限,乱数

D.6.4 簡略化している点

D.6.5 不安定になる条件と装置のふるまい

D.6.6 数値を確かめた方法と範囲

表D.8 S05 の数値の試験(253 件.すべて成功)
確かめた量比べた相手種類件数許容差など
①の 1 ステップ(既定値と別の入力の 4 通り):$a$,$z$,$\hat{y}$,$L$,$\delta$,各勾配,更新後の重みと損失NumPy の手書きの計算と PyTorch の自動微分(倍精度)別実装79$10^{-15}$〜$10^{-13}$
乱数で作ったネットワーク 32 通り(活性化 4 種 × 出力 2 種 × 形 4 種,重み減衰つき)の損失と勾配PyTorch の自動微分別実装96$10^{-13}$ に勾配の大きさを掛けた値
ミニバッチ確率的勾配降下法 6 エポック(同じデータ・初期値・並べ順)NumPy の実装別実装8$10^{-12}$
出力層の誤差 $\delta^{(2)}=\hat{y}-y$(sigmoid+交差エントロピー,恒等+二乗和/2)$\partial\ell/\partial a^{(2)}$ の中心差分解析解29rtol $10^{-8}$
勾配確認(12 通りのネットワーク).中心差分の誤差は $\epsilon^{2}$ に,前進差分は $\epsilon$ に比例中心差分解析解16ベクトルの相対誤差 $10^{-6}$ 以下.既定の重みで $\epsilon=10^{-5}$ のとき最大絶対誤差 $3.10\times10^{-12}$
重み減衰の項,活性化が恒等なら線形写像,全部 0 の初期値の対称性,パラメーターの並べ方,発散の検出解析的な性質解析解6—
合成データ(データ A の真の関数は解析的に.ノイズ,入力の一様性,同心円の半径,XOR のラベル,初期値の分散は統計的に)理論値,KS 検定解析解・統計的154 標準誤差
既定の設定での学習の記録——4—

画面の確認は第14・15章の囲みの操作手順を含む 174 手順(照合 19).390 px では「いまの数値を式に入れると」の長い式が枠の中で横に送る形になる(ページは横にはみ出さない).

D.7 S06 ガウス過程とベイズ最適化(gp-bo)

D.7.1 対応する章・節とタブ

D.7.2 何を計算しているか

D.7.3 入力の範囲と上限,乱数

D.7.4 簡略化している点

D.7.5 不安定になる条件と装置のふるまい

D.7.6 数値を確かめた方法と範囲

表D.9 S06 の数値の試験(221 件.すべて成功)
確かめた量比べた相手種類件数許容差など
データ C の 11 点,真の最大・局所的な極大の位置と値SciPy の minimize_scalar別実装7位置 $2\times10^{-7}$,値 $10^{-13}$
予測平均・分散・事後共分散,対数周辺尤度とその 3 項(9 例).観測 1 点・2 点の手計算の式,観測 0 点,遠方で事前分布に戻ること,$\sigma\to0$ で補間Cholesky 分解を使わない NumPy の solve・slogdet,SciPy の multivariate_normal,2 × 2 の陽な逆行列別実装・解析解107$10^{-10}$(手計算の式は $10^{-12}$〜$10^{-14}$)
ジッター,分散の丸め,入力の検査—解析解8—
$\ell$ に対する対数周辺尤度の曲線と格子探索の最大NumPy別実装8$10^{-10}$〜$10^{-12}$
EI と PI(12 例),$\sigma_*\to0$ の極限,単調性,UCB・LCB の式mpmath(50 桁)の数値積分別実装・解析解37EI rtol $10^{-11}$,PI $10^{-12}$
401 点の格子での獲得関数の値と選ばれる点(7 例)NumPy別実装21$f_{\mathrm{best}}$ rtol $10^{-12}$
最大化と最小化の対応:獲得関数 3 種 × $f_{\mathrm{best}}$ 2 種 × $\ell$ 固定/選択 × seed 4 個で,観測点の列目的関数の符号を反転した問題解析解1415 回とも完全一致.LCB$(-y)=-$UCB$(y)$ はビット単位で一致
seed の再現性,単純後悔の定義——9—
中央値と四分位範囲NumPy の quantile別実装2—
合成データのノイズの平均・分散,ランダム探索の $x$ の一様性,事前・事後分布からの標本 4000 本の共分散(15 成分)理論値,KS 検定統計的84 標準誤差,$D\lt1.95/\sqrt{n}$

③の比較の結果(ベイズ最適化とランダム探索の単純後悔)は,固定 seed の 200 回の実測値として記録し,合否はつけていない(四分位点は NumPy の quantile での計算し直しと一致した).EI の参照に SciPy の quad を使わなかったのは,$z\approx-12$ の裾で相対誤差 2 % を出したためである.画面の確認は第12・13章の囲みの操作手順を含む 158 手順(照合 24).

D.8 S07 潜在変数(latent)

D.8.1 対応する章・節とタブ

D.8.2 何を計算しているか

D.8.3 入力の範囲と上限,乱数

D.8.4 簡略化している点

D.8.5 不安定になる条件と装置のふるまい

D.8.6 数値を確かめた方法と範囲

参照の計算には,装置の計算のファイルが作ったデータをそのまま NumPy・SciPy に渡した(同じデータ・同じ初期値で比べるため).

表D.10 S07 の数値の試験(208 件.すべて成功)
確かめた量比べた相手種類件数許容差など
2 × 2 の Gauss 密度の対数SciPy の multivariate_normal別実装16rtol $10^{-13}$
E ステップの負担率・初期の対数尤度,M ステップの $\bm{\mu}_k,\bm{\Sigma}_k,\pi_k,N_k$,収束までの対数尤度の列と反復数,収束値(5 通り)NumPy の独立な実装別実装60$10^{-11}$〜$10^{-13}$,対数尤度の列 $10^{-9}$,反復数 ±1,収束値 $\pi$ $10^{-7}$・$\bm{\mu}$ $10^{-6}$
分散の下限(固有値の切り上げ)NumPy の eigh別実装4$10^{-12}$
EM の対数尤度が減らないこと(5 データ × $K$ 5 通り × seed 5 個 × 下限 3 通り=375 通り)—解析解1相対 $10^{-12}$ の丸めの範囲
k-means の $J$ と平均,$J$ が両方の半ステップで増えないこと,空の成分NumPy の Lloyd 法別実装・解析解12rtol $10^{-12}$
退化:下限なしで止まり有限の値を保つ,下限ありで収束,$c$ を小さくすると収束値が増える—解析解6—
既定の設定での 1 反復目の数値(第17章の手計算用)NumPy別実装3$10^{-12}$〜$10^{-13}$
2 次元 PCA:SVD の固有値=共分散行列の固有値,主軸の角,24 方向の $\bm{u}^{\tp}\bm{S}\bm{u}$,主軸で再構成誤差=$\lambda_2$,標準化で $1\pm r$,$N=2$ で $\lambda_2=0$NumPy の eigh,Jacobi 法別実装・解析解43角 $10^{-9}$,$10^{-8}$〜$10^{-12}$
スペクトルの PCA:固有値(200 × 200 の Jacobi 法を含む),$k=0$〜7 の再構成誤差=捨てた固有値の和,負荷量の正規直交性と符号を除く一致,符号を反転しても再構成が変わらないNumPy別実装・解析解46rtol $10^{-10}$
seed の再現性——7—
合成データ(2 次元の点群の共分散 4 万点,成分の平均,Dirichlet 乱数の平均,雑音だけのときの固有値の平均と最大)理論値統計的104 標準誤差(固有値の最大は ±20 %)

画面の確認は第17・18章の囲みの操作手順を含む 154 手順(照合 38).

D.9 S08 近似推論と MCMC(inference-mcmc)

D.9.1 対応する章・節とタブ

D.9.2 何を計算しているか

D.9.3 入力の範囲と上限,乱数

D.9.4 簡略化している点

D.9.5 不安定になる条件と装置のふるまい

D.9.6 数値を確かめた方法と範囲

表D.11 S08 の数値の試験(656 件.すべて成功)
確かめた量比べた相手種類件数許容差など
標的の $\ln Z$・平均・分散・エントロピー(15 標的)SciPy の quad,解析解($\ln B(a,b)$,二重井戸は変形 Bessel 関数の閉じた式)別実装・解析解71atol $10^{-10}$〜$10^{-9}$(分散 rtol $10^{-9}$)
Laplace 近似のモード・曲率 $\Lambda$・$\ln Z$ の近似・両向きの KL・ELBO(Beta 型は切断した $q$ も)SciPy別実装・解析解168モード atol $10^{-7}$,$\Lambda$ rtol $10^{-7}$,KL・ELBO atol $10^{-8}$
$\KL(p\,\|\,q)$ の最小=平均と分散の一致(近傍で増えること)SciPy別実装・解析解66atol $10^{-8}$
$\KL(q\,\|\,p)$ の最小(初期値ごと)SciPy の Nelder–Mead+BFGS別実装62KL atol $10^{-8}$,$m,s$ $2\times10^{-4}$
手で選んだ $q$(27 個)の両向きの KL と ELBO,$\ELBO+\KL=\ln Z$,$\KL\ge0$,$\ELBO\le\ln Z$SciPy の quad別実装・解析解186atol $10^{-8}$(恒等式は $10^{-12}$)
3 状態の Metropolis 法の遷移行列,定常分布,詳細釣り合い分数で厳密に計算した値解析解37$2\times10^{-16}$,$10^{-15}$
自己相関関数(FFT),積分自己相関時間と窓,split-$\hat{R}$ とその $W$・$B$NumPy の直接の和,Python で書いた Sokal の窓,共有ライブラリの別の実装別実装37$10^{-10}$〜$10^{-12}$
受理の規則,台の外の提案の棄却,seed の再現性—解析解6—
障壁の例($b=12$)の再現:井戸から出ないこと,$\hat{R}=9.898$,$\tau_{\mathrm{int}}\lt10$,同じ点から $\hat{R}=1.003$記録した値—4—
不変性:標的から厳密に引いた 3000 点を出発点に 25 ステップ進めても分布が変わらない(4 標的)KS 検定,$\chi^{2}$ 検定統計的12$D\lt1.95/\sqrt{n}$,上側 0.1 %,最初の受理率は 4 標準誤差
1 本の長い連鎖の平均・分散真の値統計的6Monte Carlo 標準誤差の 4 倍以内
計算時間の記録——1—

積分自己相関時間の推定値は,AR(1) 系列で理論値 $(1+\phi)/(1-\phi)$ と並べて記録したが($\phi=0.9$ で推定 14.06,理論 19.0),これは推定量の比較の参考で,合否の試験ではない.画面の確認は第20・21章の囲みの操作手順を含む 128 手順(照合 29).

D.10 S09 系列モデル(hmm)

D.10.1 対応する章・節とタブ

D.10.2 何を計算しているか

D.10.3 入力の範囲と上限,乱数

D.10.4 簡略化している点

D.10.5 不安定になる条件と装置のふるまい

D.10.6 数値を確かめた方法と範囲

表D.12 S09 の数値の試験(285 件.すべて成功)
確かめた量比べた相手種類件数許容差など
手計算モード 2 例の $\alpha,\beta,\gamma,p(x_{1:3})$,$\omega$ と Viterbi の経路NumPy と 8 通りの全列挙全列挙・別実装37rtol $10^{-13}$〜$10^{-15}$
短い系列 8 例($T\le8$.離散・Gauss,$A$・$\pi$ に 0 を含む場合,$s=1$):スケーリング版・対数版の尤度と $\gamma$,ViterbiPython の全列挙,SciPy の対数領域の計算全列挙・別実装80rtol $10^{-13}$
長い系列($T=200$,2000):尤度,$\gamma$,Viterbi の対数確率SciPy の logsumexp による対数領域の計算別実装42尤度 rtol $10^{-12}$,$\gamma$ $2.5\times10^{-13}\cdot T$
境界と異常(確率 0 の観測列での停止,$s=0$ で $\gamma$ が事前の周辺分布,$\Delta=30$,同点)解析的な値解析解10—
Kalman フィルター:逐次計算,$\mu_t,P_t$,定常値,4000 ステップ後の $K_t\to K_\infty$,欠けで $P$ が $q$ ずつ増えることNumPy の逐次計算,同時 Gauss 分布の条件付け(NumPy の solve),閉じた式別実装・解析解95逐次 $10^{-12}$,条件付け rtol $10^{-9}$,定常値 rtol $10^{-12}$
seed の再現性.画面の既定($\pi_1=0.95$,$A_{11}=0.97$,$A_{22}=0.95$,$s=0.7$,$T=100$)で作った系列(劣化の区間 $t=69$〜86,最初の 20 個の観測)記録した値—5—
合成データ:遷移・出力の頻度,定常分布,Gauss 出力の平均・分散,Kalman の標準化した予測誤差の平均・分散・自己相関,被覆率理論値,$\chi^{2}$ 検定統計的15約 4 標準誤差(相関のある量は積分自己相関時間で補正),上側 0.1 %
計算時間の記録——1—

画面の確認では,第22章の囲みの操作手順を含む 169 手順(照合 44)を http と file:// の両方で実行し,画面の値(既定の $\ln p(x_{1:T})=-102.6791$ など)を Node.js の値と照合した.章の枠に相当する 330 px では,手計算・Kalman・生成の式の欄が枠より広くなるが,欄の中で横に送れば全部読める.

D.11 S10 Attention と次トークン生成(attention)

D.11.1 対応する章・節とタブ

D.11.2 この装置にあるもの・無いもの

この装置では,次の 3 つをはっきり区別する(画面の上部にも常に表示している).

表D.13 S10 で扱うものと扱わないもの
① 手で設定した重みの計算デモ② この教材のために学習した小規模な Transformer③ 実際の GPT
どこにあるかタブ attnタブ modelこの装置には無い
重み読者が数値欄に入れた値(既定値は第24章の手計算と同じ).学習していない次トークン予測で学習した値(PyTorch,CPU,単精度)—
構成1 ヘッド,$d_k=d_v=d_{\mathrm{model}}$(2〜4),$T$ 3〜5,バイアスと出力の射影 $\bm{W}_O$ は無いdecoder のみ,pre-LN,学習する位置埋め込み,GELU(tanh 近似),埋め込みと出力射影の重み共有.$n_{\mathrm{layer}}=2$,$n_{\mathrm{head}}=2$,$d_{\mathrm{model}}=32$(1 ヘッドあたり 16),FFN の中間 128,文脈長 $T_{\max}=24$同じ型(decoder のみの Transformer,次トークン予測)だが,規模・学習データ・学習の方法はこの装置とまったく違う
パラメーター数$3d_{\mathrm{model}}^{2}$($\bm{W}_Q,\bm{W}_K,\bm{W}_V$)28,384 個—
語彙・データ—語彙 67(単語単位.<bos>,<eos>,句点を含む).学習データは教育用の合成文:材料 27 種の表と文の型 8 種から機械的に作った短い文だけ(実在の文章は使っていない).訓練 6211 文,検証 693 文—
評価値—検証の perplexity 1.65(生成規則から求めた下限 1.65,bigram モデル 2.52,一様 67).事実を問う文脈 144 件の上位 1 位の正答率 139/144(頻度の少ない材料では 62/67).材料を指定した生成($\tau=1$)での事実の誤り:頻度の少ない材料で 47/520(9.0 %)この装置の数値は実際の GPT の誤り率ではない

画面の「bigram モデル」は,直前の 1 トークンだけを見て次のトークンの頻度を数えたモデル(加算スムージング $\alpha=0.1$)であり,Transformer でも GPT でもない.②との比較のためだけに置いている.

注意:Attention の重みは判断理由とは限らない

画面に出す Attention の重みは,各位置がほかの位置から情報を集める割合であり,計算の途中の量である.重みが大きい位置を「モデルがそう判断した理由」と読んではいけない.画面でも重みの図の直下にこの注意を書いている.

D.11.3 何を計算しているか

D.11.4 入力の範囲と上限,乱数,学習の条件

D.11.5 簡略化している点

D.11.6 不安定になる条件と装置のふるまい

D.11.7 数値を確かめた方法と範囲

表D.14 S10 の数値の試験(587 件.すべて成功)
確かめた量比べた相手種類件数許容差など
装置が読む重み・表が元のデータと同じであること元のデータ—3—
①の $\bm{Q},\bm{K},\bm{V}$,スコア,重み,出力,行の和(30 例),既定値の閉じた式,mask の性質,行の入れ替えに対する同変性(50 例)NumPy,SciPy の softmax,閉じた式別実装・解析解204重み $10^{-14}$,出力 $10^{-13}$,閉じた式 rtol $10^{-15}$
②の順伝播:50 文脈の最後の位置のロジット.長さ 24 の 1 文脈では全中間値(埋め込み,各層の Attention の重み・残差・出力,最後の LayerNorm,全位置のロジット)学習に使った PyTorch のモデル(単精度)別実装14ロジットの最大絶対誤差 $4.5\times10^{-6}$(許容 $10^{-4}$),埋め込みと重み $10^{-5}$,そのほか $10^{-4}$
②の Attention の重み,列の対数確率.行の和=1(ずれ $10^{-14}$ 未満),未来の位置の重み=0(厳密),causal mask で前の位置のロジットが後ろのトークンによらないことNumPy(倍精度)の独立な順伝播,PyTorch の対数確率別実装・解析解29重み $10^{-12}$,対数確率 $10^{-11}$(PyTorch とは $10^{-3}$)
次トークンの分布(temperature・top-k・top-p.78 例):残る語の集合と順序,分布,与えた一様乱数でのサンプリング結果学習時の生成と同じ規則で書いた参照別実装320分布 $10^{-14}$
生成文の判定(288 文).学習データの全文が「正しい」と判定されること評価に使った判定と同じ規則の参照別実装6全件一致
bigram モデルの表,seed の再現性——8—
サンプリングの頻度(3 通りの設定で各 20000 回)$\chi^{2}$ 検定統計的3有意水準 0.001

②の評価値のうち,正答率と生成での誤り率は学習の後に Python で一度だけ測った値であり,ブラウザーの中で測り直したものではない(生成の誤り率は Python の乱数で生成した文で数えたので,装置の乱数では再現できない).検証の perplexity 1.65 は,装置の重みを使った NumPy(倍精度)の順伝播で検証の 693 文から計算し直して 1.6506 を得た(bigram モデルは 2.5249).画面の確認は第24〜26章の囲みの操作手順を含む 179 手順(照合 42)を http と file:// の両方で実行し,章の枠に相当する 310・352 px で「いまの数値を式に入れると」の式が枠に収まることも確かめた.

D.12 確かめていないこと・限界のまとめ

D.12.1 確かめていない環境

D.12.2 既知の制約

D.12.3 確かめた範囲の外