機械学習 — 目次 付録B

付録B記号一覧・用語対照・主要式

本書は 28 章にわたって多くの記号を使う.記号は各章の初出で定義してあるが,途中の章から読み始めたときや,別の章の式と見比べたいときに,その定義を探し回るのは手間である.この付録は,そのための早見表である.

B.1 節は記号の一覧で,分野ごとに表にまとめ,最後に章によって意味が変わる記号を一つの表に集めた.同じ文字が別の章で別の量を表すことは避けきれない(文字の数には限りがあり,各分野の慣例もある).式を読んで意味が合わないと感じたら,まずこの表を見てほしい.B.2 節は,C. M. Bishop の Pattern Recognition and Machine Learning(PRML)を併読する読者のための記号の対照表である.B.3 節は日本語と英語の用語の対照表,B.4 節は第3章で扱った確率分布の一覧と共役事前分布の組,B.5 節は各章の主要な式の一覧である.

表の「初出」は,その記号や用語が定義・導入される節へのリンクである(「8.1」は第8章 8.1 節)(同じ記号が後の章で別の意味に使われる場合は,B.1.12 項の表を見る).B.5 節の式は各章の本文から記号を変えずに写したもので,式番号の代わりに節へのリンクを付けた.式の導出と前提は,リンク先の本文で確かめてほしい.

B.1 記号一覧

B.1.1 書き方の約束

B.1.2 共通(データ・モデル・学習)

表B.1 共通(データ・モデル・学習)
記号意味(大きさ・単位)と初出の節
$\data=\{(\bm{x}_n,y_n)\}_{n=1}^{N}$データ集合.$N$ はデータ数,$n$ はデータの番号(初出 6.1)
$\bm{x}\in\R^{D}$入力(列ベクトル).成分は $x_i$,$D$ は入力の次元(初出 8.1)
$y$,$\bm{y}$目標値(教師信号).まとめて $\bm{y}=(y_1,\dots,y_N)^{\tp}\in\R^{N}$(初出 8.1)
$f(\bm{x};\bm{w})$モデル(パラメーター $\bm{w}$ を持つ関数)(初出 1.4)
$\hat{y}$予測値.学習で得たパラメーターは $\hat{\bm{w}}$(初出 1.4)
$\bm{\theta}$パラメーター一般(ハイパーパラメーターを指すこともある.章ごとに断る)(初出 4.1)
$\bm{w}$,$\bm{W}$,$b$,$\bm{b}$重み(ベクトル・行列)とバイアス(切片)(初出 1.1)
$\phi_j(\bm{x})$,$\bm{\phi}(\bm{x})\in\R^{M}$基底関数とそれを並べたベクトル.$M$ は基底の数.$\bm{\phi}_n\equiv\bm{\phi}(\bm{x}_n)$(初出 8.1)
$d$多項式の次数(次数 $d$ の多項式では $M=d+1$).多項式カーネルの次数も $d$(初出 6.1)
$\bm{\Phi}\in\R^{N\times M}$計画行列.$\Phi_{nj}=\phi_j(\bm{x}_n)$(第 $n$ 行が $\bm{\phi}(\bm{x}_n)^{\tp}$)(初出 6.6)
$L(\bm{w})$,$\ell_n$損失(目的)関数と,1 個のデータの損失.$E(\bm{w})$ とは書かない(初出 1.4)
$\lambda$正則化係数.$L=\tfrac12\norm{\bm{y}-\bm{\Phi}\bm{w}}^{2}$ $+\tfrac{\lambda}{2}\norm{\bm{w}}^{2}$(和の規約)(初出 4.7)
$\eta$学習率(スカラー)(初出 7.2)
$\nabla L$,$\bm{H}$勾配と Hesse 行列 $\bm{H}\in\R^{M\times M}$(初出 7.1)
$\lambda_i$,$\kappa$Hesse 行列などの固有値(必ず添字か $\max$・$\min$ を付ける)と,条件数 $\kappa=\lambda_{\max}/\lambda_{\min}$(初出 7.2)
$\mathcal{B}$,$B$ミニバッチ(データの番号の集合)とその大きさ $B=\abs{\mathcal{B}}$(初出 7.5)
$K$,$k$クラス(成分・状態)の数と番号.多クラスの正解は one-hot ベクトル $\bm{y}\in\{0,1\}^{K}$(初出 3.3)
$\bm{I}$,${}^{\tp}$単位行列と転置(初出 3.6)
$\argmin_{\bm{w}}L(\bm{w})$$L$ を最小にする $\bm{w}$(初出 1.4)
$\odot$要素ごとの積(Hadamard 積)(初出 7.6)

B.1.3 確率・推定・情報量

表B.2 確率・推定・情報量
記号意味(大きさ・単位)と初出の節
$P(A)$事象 $A$ の確率(初出 2.1)
$p(x)$,$p(x,y)$,$p(x\mid y)$確率質量関数・確率密度関数(どちらも $p$),同時分布,条件付き分布(初出 2.2)
$\Ex[x]$,$\Var[x]$,$\Cov[x,y]$期待値・分散・共分散.分布を明示するとき $\Ex_{p}[\,\cdot\,]$(初出 2.5)
$\mu$,$\sigma^{2}$,$\sigma$平均・分散・標準偏差($x$ と同じ単位.分散はその 2 乗)(初出 2.5)
$\bm{\mu}$,$\bm{\Sigma}$平均ベクトルと共分散行列 $\bm{\Sigma}\in\R^{D\times D}$(対称・正定値)(初出 2.5)
$\Normal(x\mid\mu,\sigma^{2})$Gauss 分布.第 2 引数は分散.多変量は $\Normal(\bm{x}\mid\bm{\mu},\bm{\Sigma})$(初出 3.5)
$x\sim p(x)$$x$ が分布 $p(x)$ に従う(初出 2.5)
$p(\data\mid\bm{\theta})$尤度($\bm{\theta}$ の関数として見たもの).対数尤度は $\ln p(\data\mid\bm{\theta})$(初出 2.7)
$p(\bm{\theta})$,$p(\bm{\theta}\mid\data)$,$p(\data)$事前分布,事後分布,周辺尤度(証拠(エビデンス)とも呼ぶ)(初出 4.3)
$\mu_{\mathrm{ML}}$,$\mu_{\mathrm{MAP}}$最尤推定値と MAP 推定値(添字で推定の方法を示す)(初出 4.1)
$m$,$l$$N$ 回の試行での成功回数と失敗回数($l=N-m$)(初出 4.1)
$\sigma^{2}$観測ノイズの分散(全章共通).PRML の精度 $\beta$ の逆数(初出 4.6)
$\sigma_w^{2}$重みの事前分散:$p(\bm{w})$ $=\Normal(\bm{w}\mid\bm{0},\sigma_w^{2}\bm{I})$.Ridge との対応は $\lambda=\sigma^{2}/\sigma_w^{2}$(初出 6.6)
$\mu_N$,$\sigma_N^{2}$Gauss 分布の平均の事後分布の平均と分散(事前は $\mu_0,\ \sigma_0^{2}$)(初出 4.6)
$\bar{x}$標本平均.$\Var[\bar{x}]=\sigma^{2}/N$(初出 2.8)
$\ln$,$\log_2$自然対数(底なしの log は使わない)と,bit で数えるときの 2 を底とする対数(初出 5.1)
$\Phi(z)$標準 Gauss 分布の累積分布関数(細字.計画行列 $\bm{\Phi}$ とは別)(初出 3.5)
$\Gamma(a)$,$B(a,b)$ガンマ関数とベータ関数(初出 4.4)
$h(x)$自己情報量 $-\ln p(x)$(nat)(初出 5.1)
$H[p]$,$H[p,q]$エントロピーと交差エントロピー(nat)(初出 5.2)
$\KL(p\,\|\,q)$KL ダイバージェンス($p$ から見た $q$ のずれ.非対称)(初出 5.4)
$I[x;y]$相互情報量(初出 5.7)

B.1.4 回帰・分類・カーネル

表B.3 回帰・分類・カーネル
記号意味(大きさ・単位)と初出の節
$\bm{m}_N$,$\bm{S}_N$ベイズ線形回帰の係数の事後分布 $\Normal(\bm{w}\mid\bm{m}_N,\bm{S}_N)$ の平均と共分散(初出 8.7)
$\bm{\phi}_*$,$v_*$テスト入力の基底ベクトルと,予測分布の分散 $v_*=\sigma^{2}$ $+\bm{\phi}_*^{\tp}\bm{S}_N\bm{\phi}_*$(初出 8.8)
$\sigma(a)$sigmoid 関数 $1/(1+e^{-a})$(必ず引数付きで書き,標準偏差 $\sigma$ と区別する)(初出 9.3)
$a=\bm{w}^{\tp}\bm{\phi}(\bm{x})+b$ロジスティック回帰の活性(対数オッズ,ロジット)(初出 9.3)
$\hat{y}_k$softmax の出力(クラス $k$ の確率)(初出 9.5)
$k(\bm{x},\bm{x}')$カーネル関数(初出 10.3)
$\bm{K}\in\R^{N\times N}$Gram 行列 $K_{nm}=k(\bm{x}_n,\bm{x}_m)$(初出 10.2)
$\bm{x}_*$,$\bm{k}_*$テスト入力と $\bm{k}_*=(k(\bm{x}_1,\bm{x}_*),\dots,$ $k(\bm{x}_N,\bm{x}_*))^{\tp}$(初出 10.2)
$\bm{a}\in\R^{N}$双対の係数.カーネル Ridge 回帰では $\bm{a}=(\bm{K}+\lambda\bm{I})^{-1}\bm{y}$,ガウス過程(第12章)では $\bm{a}=\bm{K}_y^{-1}(\bm{y}-m\bm{1})$(初出 10.2)
$\ell$,$\sigma_f^{2}$RBF カーネルの長さスケール(入力と同じ単位)と信号分散(出力の単位の 2 乗)(初出 10.5)
$\gamma=1/(2\ell^{2})$SVM の文献の RBF カーネルの係数($\sigma_f=1$)(初出 10.5)
$y_n\in\{-1,+1\}$第11章(SVM)だけのラベルの約束(他の章は $y\in\{0,1\}$)(初出 11.1)
$\alpha_n$,$C$,$\xi_n$SVM の双対変数($0\le\alpha_n\le C$),罰則の係数,スラック変数(初出 11.5)
$\mathcal{S}$サポートベクトルの番号の集合(初出 11.3)
$\Lambda$,$\nu$,$\alpha_j$Lagrange 関数,等式制約の乗数,不等式制約の乗数(初出 7.7)

B.1.5 ガウス過程・ベイズ最適化

表B.4 ガウス過程・ベイズ最適化
記号意味(大きさ・単位)と初出の節
$f\sim\GP(m,k)$ガウス過程(平均関数 $m$,共分散関数 $k$).本書の平均関数は定数 $m$(初出 12.1)
$\bm{K}_y\equiv\bm{K}+\sigma^{2}\bm{I}$観測ノイズを含む Gram 行列(初出 12.4)
$\mu_*$,$\sigma_*^{2}$潜在関数 $f_*$ の予測平均と予測分散($y$ と同じ単位とその 2 乗)(初出 12.4)
$\sigma_*^{2}+\sigma^{2}$観測値 $y_*$ の予測分散(潜在関数の帯と観測値の帯を区別する)(初出 12.4)
$k_{**}$$k(\bm{x}_*,\bm{x}_*)$ の略(初出 12.4)
$\bm{L}$Cholesky 分解の下三角行列 $\bm{K}_y=\bm{L}\bm{L}^{\tp}$(初出 12.8)
$a(\bm{x})$獲得関数(本書の既定は最大化)(初出 13.2)
$f_{\mathrm{best}}$,$\xi$これまでの最良値(既定は観測値の最大)と,探索を促す余裕(既定 0)(初出 13.4)
$\mathrm{PI}$,$\mathrm{EI}$,$\mathrm{UCB}$,$\mathrm{LCB}$改善確率,期待改善量,上側信頼限界,(最小化の)下側信頼限界(初出 13.4)
$\kappa$UCB の係数(第7章の条件数とは別の量)(初出 13.3)
$\mathcal{X}$,$\bm{x}^{\star}$探索する範囲と,目的関数の最大点(初出 13.1)
$r_n$単純後悔(推奨点の真の値と真の最大との差)(初出 13.8)

B.1.6 ニューラルネットワーク

表B.5 ニューラルネットワーク
記号意味(大きさ・単位)と初出の節
$l=1,\dots,n_{\mathrm{layer}}$,$D_l$層の番号と層の数 $n_{\mathrm{layer}}$($L$ は損失に使う),第 $l$ 層のユニット数($D_0=D$)(初出 14.3)
$\bm{a}^{(l)}$,$\bm{z}^{(l)}$第 $l$ 層の活性(重み付き和)と出力 $\bm{z}^{(l)}=h(\bm{a}^{(l)})$,$\bm{z}^{(0)}=\bm{x}$(初出 14.3)
$\bm{W}^{(l)}\in\R^{D_l\times D_{l-1}}$,$\bm{b}^{(l)}$第 $l$ 層の重み行列とバイアス(初出 14.3)
$h(\cdot)$,$h'(\cdot)$活性化関数とその導関数(sigmoid,tanh,ReLU など)(初出 14.1)
$H$隠れユニットの数(エントロピー $H[p]$ とは別)(初出 14.1)
$\bm{\delta}^{(l)}$誤差 $\partial\ell/\partial\bm{a}^{(l)}$.出力層では $\hat{\bm{y}}-\bm{y}$(初出 14.6)
$\sigma_{\mathrm{init}}^{2}$(第15章)重みの初期値の乱数の分散(Xavier・He の初期化.重みの事前分散 $\sigma_w^{2}$ とは別の量)(初出 15.6)
$\bm{h}_i^{(l)}$,$\mathcal{A}(i)$(第16章)頂点 $i$ の特徴ベクトルと近傍の集合(初出 16.5)
$\bm{m}_i$,$\bm{e}_{ij}$(第16章)メッセージ伝播のメッセージと辺の特徴(初出 16.5)

B.1.7 潜在変数・EM 法・PCA

表B.6 潜在変数・EM 法・PCA
記号意味(大きさ・単位)と初出の節
$\pi_k$,$\bm{\mu}_k$,$\bm{\Sigma}_k$混合係数($\sum_k\pi_k=1$)と成分 $k$ の平均・共分散(初出 17.3)
$\bm{z}_n$,$z_{nk}$データ $n$ の潜在変数(どの成分かを表す one-hot ベクトル)とその成分(初出 17.3)
$\gamma_{nk}$負担率 $p(z_{nk}=1\mid\bm{x}_n,\bm{\theta})$(初出 17.4)
$N_k$成分 $k$ の実効的なデータ数 $\sum_n\gamma_{nk}$(初出 17.5)
$r_{nk}$,$J$k-means の割り当て(0 か 1)と目的関数(初出 17.2)
$\bm{\Lambda}_k$成分 $k$ の精度行列 $\bm{\Sigma}_k^{-1}$(初出 17.5)
$\bm{S}$,$\bm{v}_i$,$\lambda_i$標本共分散行列,主成分の向き(固有ベクトル),固有値(初出 18.2)
$M$,$z_{ni}$(第18章)潜在変数の次元(残す主成分の数,$M\le D$)と得点(初出 18.1)
$s_i$特異値(第8・18章)(初出 8.5)
$\bm{W}$,$\bm{C}$確率的 PCA の負荷行列と,周辺分布の共分散 $\bm{C}=\bm{W}\bm{W}^{\tp}$ $+\sigma^{2}\bm{I}$(初出 18.12)

B.1.8 近似推論・サンプリング

表B.7 近似推論・サンプリング
記号意味(大きさ・単位)と初出の節
$q(\bm{\theta})$近似分布(初出 20.2)
$\ELBO(q)$対数周辺尤度の下界(evidence lower bound)$\Ex_q[\ln p(\data,\bm{\theta})]$ $-\Ex_q[\ln q(\bm{\theta})]$(初出 17.7)
$\bm{\theta}_{\mathrm{MAP}}$,$\bm{\Lambda}$Laplace 近似の中心と,そこでの負の対数事後確率の Hesse 行列(近似分布の精度行列.1 変数では $\Lambda$)(初出 20.2)
$q_j^{*}$平均場近似の第 $j$ 因子の最適解(初出 20.5)
$\tilde{p}(x)$,$Z$正規化されていない標的分布と正規化定数 $p(x)=\tilde{p}(x)/Z$(初出 21.6)
$q(x'\mid x)$,$r$提案分布と Metropolis–Hastings 法の比(受理確率 $\min(1,r)$)(初出 21.6)
$x^{(m)}$,$S$$m$ 番目の標本(上付き)と標本数(初出 21.1)
$s$(第21章)提案幅(初出 21.6)
$T(x'\mid x)$(第21章)Markov 連鎖の遷移確率(必ず引数付き)(初出 21.5)
$w^{(m)}$重点サンプリングの重み(初出 21.4)
$\rho_k$,$\tau_{\mathrm{int}}$,$S_{\mathrm{eff}}$自己相関,積分自己相関時間,有効標本数 $S/\tau_{\mathrm{int}}$(初出 21.8)
$\Var[f]$,$\sqrt{\Var[f]}$(第21章)平均したい関数 $f$ の分散と標準偏差(ガウス過程の $\sigma_f$ とは書かない)(初出 21.1)
$\hat{R}$複数の連鎖による収束の診断量(初出 21.10)

B.1.9 系列・隠れ Markov モデル・Kalman フィルター・RNN

表B.8 系列・隠れ Markov モデル・Kalman フィルター・RNN
記号意味(大きさ・単位)と初出の節
$T$,$t$系列の長さと位置(時刻)(初出 22.1)
$x_{1:T}$,$x_{\lt t}$,$x_{\le t}$系列,位置 $t$ より前,位置 $t$ まで(初出 2.2)
$z_t\in\{1,\dots,K\}$隠れ状態($K$ は状態の数)(初出 22.3)
$\pi_i$,$\bm{A}$,$\bm{B}$初期分布,遷移行列 $A_{ij}=p(z_t=j\mid z_{t-1}=i)$(各行の和が 1),出力確率 $B_{jv}=p(x_t=v\mid z_t=j)$(初出 22.2)
$\alpha_t(j)$,$\beta_t(j)$forward 変数 $p(x_{1:t},z_t=j)$ と backward 変数 $p(x_{t+1:T}\mid z_t=j)$(初出 22.5)
$\gamma_t(j)$,$\xi_t(i,j)$平滑化した状態の確率と,隣り合う 2 時刻の状態の同時確率(初出 22.4)
$\omega_t(j)$,$\psi_t(j)$Viterbi 法の最大値と,そのときの前の状態(初出 22.8)
$q$,$r$,$K_t$,$P_t$過程ノイズの分散,観測ノイズの分散,Kalman ゲイン,推定の分散(初出 22.9)
$\mu_{t\mid t-1}$,$P_{t\mid t-1}$1 時刻先の予測の平均と分散($P_{1\mid0}=P_0$)(初出 22.9)
$\bm{h}_t$RNN の隠れ状態(初出 23.2)
$\bm{W}_{hh}$,$\bm{W}_{xh}$,$\bm{W}_{hy}$RNN の重み(隠れ→隠れ,入力→隠れ,隠れ→出力)(初出 23.2)
$\bm{o}_t$ロジット(logit.softmax にかける前の点数)(初出 23.2)
$\bm{c}_t$,$\bm{f}_t$,$\bm{i}_t$,$\bm{q}_t$LSTM の記憶セル,忘却ゲート,入力ゲート,出力ゲート(出力ゲートを $\bm{o}_t$ と書く文献が多い)(初出 23.6)

B.1.10 Attention・Transformer・GPT(第24〜26章.系列を行に並べる)

表B.9 Attention・Transformer・GPT(第24〜26章.系列を行に並べる)
記号意味(大きさ・単位)と初出の節
$\bm{X}\in\R^{T\times d_{\mathrm{model}}}$系列の行列(第 $t$ 行が位置 $t$ のベクトル.線形変換は右から掛ける)(初出 24.5)
$\bm{Q}$,$\bm{K}$,$\bm{V}$Query・Key・Value の行列 $\bm{Q}=\bm{X}\bm{W}_Q$ など(初出 24.2)
$d_k$,$d_v$,$d_{\mathrm{model}}$,$d_{\mathrm{ff}}$Key・Query の次元,Value の次元,モデルの次元,FFN の中間の次元(初出 25.1)
$\bm{M}$causal mask($M_{ij}=0\ (j\le i)$,$-\infty\ (j\gt i)$)(初出 24.6)
$A_{ij}$,$\bm{A}$,$\bm{Z}$Attention の重み(位置 $i$ が位置 $j$ から集める割合)とその行列(各行の和が 1),出力 $\bm{Z}=\bm{A}\bm{V}$.第16章 16.9・第23章 23.8 の重みも $A_{ij}$(初出 24.2)
$j$,$\bm{Z}_j$,$\mathrm{MHA}$multi-head attention のヘッドの番号($j=1,\dots,n_{\mathrm{head}}$),ヘッド $j$ の出力,ヘッドをつなぐ関数(multi-head attention の略)(初出 24.7)
$n_{\mathrm{head}}$,$n_{\mathrm{layer}}$,$\bm{W}_O$ヘッド数,層(ブロック)の数,ヘッドの出力をまとめる行列(初出 24.7)
$V_{\mathrm{voc}}$,$T_{\max}$語彙サイズ(Value 行列 $\bm{V}$ と区別)と文脈長(初出 25.1)
$\bm{W}_E$,$\bm{W}_P$,$\bm{W}_U$トークン埋め込み($V_{\mathrm{voc}}\times d_{\mathrm{model}}$),位置埋め込み,出力射影(初出 25.2)
$x_t$トークンの整数の ID(細字).入力のベクトルは太字 $\bm{x}_t$(初出 26.3)
$\tau$生成の temperature:$p_i=\exp(o_i/\tau)/\sum_j\exp(o_j/\tau)$(初出 26.6)
$\mathrm{PPL}$perplexity $\exp(L)$(初出 26.4)

B.1.11 統計力学

表B.10 統計力学
記号意味(大きさ・単位)と初出の節
$k_{\mathrm B}$,$T$Boltzmann 定数と温度(K)(初出 5.8)
$\beta\equiv1/(k_{\mathrm B}T)$逆温度(初出 5.8)
$E$,$Z$エネルギーと分配関数 $Z=\sum_x e^{-\beta E(x)}$(初出 5.8)
$A=-k_{\mathrm B}T\ln Z$Helmholtz の自由エネルギー($F$ と書く本も多い)(初出 5.8)
$S$,$H$熱力学のエントロピー($\mathrm{J\,K^{-1}}$)と Shannon のエントロピー(nat).$S=k_{\mathrm B}H$(初出 5.8)
$A[q]$変分自由エネルギー $\Ex_q[E]-TS[q]\ge A$(初出 20.8)
$s_i$,$J$,$h$Ising 模型のスピン($\pm1$),交換相互作用,外場の項(初出 19.2)
$n_{\mathrm{nn}}$,$m$(第27章)最近接の数と磁化(初出 27.4)
$e_{\mathrm{at}}$(第27章)原子ごとのエネルギー関数(初出 27.7)

B.1.12 章によって意味が変わる記号

次の表は,同じ文字が章によって別の量を表す例を集めたものである.多くは,その章の初出(「記号」の囲みなど)で意味を断ってある.断りの無い所でも,添字の有無($\lambda$ と $\lambda_i$),引数の有無($\sigma$ と $\sigma(a)$),太字かどうか($\Phi(z)$ と $\bm{\Phi}$)で区別している組も多い.

表B.11 章によって意味が変わる記号(括弧内はその意味で使う主な章)
記号意味(章)
$\lambda$正則化係数(添字なし)(第6・8・10・15章)
固有値 $\lambda_i$(必ず添字付き)(第7・18章)
Poisson 分布・指数分布の率(第3・20・21章)
最大エントロピーの未定乗数 $\lambda_k$(第27章)
2 状態の連鎖の収束の因子 $1-A_{12}-A_{21}$(第22章)
X 線の波長(Bragg の式.4.10)(第4章)
$\kappa$条件数(第7・8章)
UCB の係数(第1・13章)
カーネル密度推定の山の形 $\kappa(\cdot)$(第10章)
SMO の 2 次の係数(第11章)
$\beta$逆温度 $1/(k_{\mathrm B}T)$(第5・19・20・21・27章)
モーメンタム・Adam の係数 $\beta_1,\beta_2$(第7章)
backward 変数 $\beta_t(j)$(第22章)
$\alpha$不等式制約の乗数・SVM の双対変数 $\alpha_j$,$\alpha_n$(第7・11章)
forward 変数 $\alpha_t(j)$(第22章)
Dirichlet 分布のパラメーター $\alpha_k$(第3章)
$\gamma$負担率 $\gamma_{nk}$(第17章)
平滑化した状態の確率 $\gamma_t(j)$(第22章)
RBF カーネルの係数 $1/(2\ell^{2})$(第10・11章)
Cauchy 分布(Lorentz 型)の半値半幅(第3・21章)
力の損失の重み(第15章)
距離の Gauss 展開の幅の係数(第16章)
$A$,$\bm{A}$Helmholtz の自由エネルギー $A$(第5・20・27章)
隠れ Markov モデル・Markov 連鎖の遷移行列 $\bm{A}$(第21・22章)
Attention の重み $A_{ij}$ とその行列 $\bm{A}$(第16・23・24章)
格子ベクトルを列に並べた行列 $\bm{A}$(16.5)(第16章)
Beta 分布の事後のパラメーター $A=a+m$,$B=b+l$(第4章)
ミニバッチの活性 $\bm{A}^{(l)}$(第14章)
Platt のスケーリングの係数 $A$($B$ と組)(第9・11章)
$K$,$\bm{K}$Gram 行列 $\bm{K}$(第10・12・28章)
Key の行列 $\bm{K}$(第24・25章)
クラス・成分・状態の数 $K$(第9・17・22章)
交差検証の分割数 $K$(第6章)
Kalman ゲイン $K_t$(第22章)
各変数がとる値の数 $K$(第19章)
$s$データ A の規格化した焼成温度 $(T-1300\ ^{\circ}\mathrm{C})$ $/(200\ ^{\circ}\mathrm{C})$(第1・6・8・20章)
標準偏差(標準化に使う $s_j$,予測標準偏差 $s_n$ など)(第7・28章)
Student の t 分布の尺度(第3・4章)
Weibull 分布の強度($s_0$ は尺度)(第3章)
特異値 $s_i$(第8・18章)
Metropolis–Hastings 法の提案幅(第21章)
Ising 模型のスピン $s_i$(第19・21・27章)
Gauss 型の基底の幅(12.3)(第12章)
LayerNorm の分散 $s^{2}$(第25章)
Attention のスコア $s_j$,$s_{ij}$(第24章)
$T$温度(K.統計力学)(第5・21・27章)
焼成温度(°C.データ A)(第1・6・28章)
系列の長さ(第22・23・24・25・26章)
Markov 連鎖の遷移確率 $T(x'\mid x)$(第21章)
2 階のテンソル $\bm{T}$(第16章)
$d$多項式の次数(第6・8・10・11・28章)
Attention・Transformer の次元 $d_k$,$d_{\mathrm{model}}$(第24・25・26章)
EI の改善量の平均 $\mu_*-f_{\mathrm{best}}-\xi$(第13・28章)
粒径,面間隔,直径などの長さ(第2・4・17・18・27章)
同じ状態にとどまる時刻数(滞在時間)(第22章)
$z$,$\bm{z}$,$\bm{Z}$隠れ層の出力 $\bm{z}^{(l)}$(第14・15章)
離散の潜在変数(one-hot)$\bm{z}_n$(第17・19章)
連続の潜在変数(得点)$\bm{z}_n\in\R^{M}$(第18章)
隠れ状態 $z_t$(第22章)
標準化した値 $z$(標準 Gauss 分布の変数)(第3・13・28章)
Attention の出力 $\bm{z}_i$,$\bm{Z}$(第24・25章)
$h$活性化関数 $h(\cdot)$(第14・15・25章)
Ising 模型の外場の項(第19・20・21・27章)
自己情報量 $h(x)$(第5章)
等式制約 $h(\bm{w})=0$(第7章)
RNN の隠れ状態 $\bm{h}_t$(第23章)
グラフの頂点の特徴 $\bm{h}_i$(第16章)
$H$,$\bm{H}$エントロピー $H[p]$(第5・20・27章)
隠れユニットの数 $H$(第14・15章)
Hesse 行列 $\bm{H}$(第7・9章)
ハット行列 $\bm{H}=\bm{\Phi}(\bm{\Phi}^{\tp}\bm{\Phi})^{-1}\bm{\Phi}^{\tp}$(第6・8章)
encoder・最後の層の出力 $\bm{H}$(第25・26章)
$L$損失 $L$(第7・14・15章)
バイアス–分散分解の組の数 $L$(6.4)(第6章)
$\sigma$,$\sigma_w$,$\sigma_f$標準偏差 $\sigma$ と sigmoid 関数 $\sigma(a)$(第9・14・15・23章)
$\sigma_w$:重みの事前分布の標準偏差(第6・8・12・20章)
$\sigma_f$:RBF カーネルの信号の標準偏差(第10・12・13章)
$\sigma_f$:誤差の伝播での $f$ の標準偏差($\sigma_x,\ \sigma_y$ と同じ添字の書き方)(第2章)
$\tau$生成の temperature(第26・27章)
励起状態の寿命(第3章)
混合成分の精度 $\tau_k=1/\sigma_k^{2}$(第17章)
積分自己相関時間 $\tau_{\mathrm{int}}$(添字つき)(第21章)
重みの事前分散の尺度 $\tau^{2}$(12.3)(第12章)
隣どうしのスピンの積 $\tau_i=\sigma_i\sigma_{i+1}$(例題19.11)(第19章)
打ち切り BPTT の区間の長さ(第23章)
ずらす量 $S_\tau$(第16章)
許容因子(Bartel らの記述子)(第9章)
$B$,$\bm{B}$ミニバッチの大きさ(第7・14・15章)
評価回数の予算(第13章)
出力確率の行列 $\bm{B}$(第22章)
ベータ関数 $B(a,b)$(第3・4章)
$\hat{R}$ の連鎖の間の分散 $B$(第21章)
Platt のスケーリングの係数 $B$($A$ と組)(第9・11章)
$M$,$\bm{M}$基底の数・パラメーターの数(第6・8・20章)
潜在変数の次元(第18章)
causal mask の行列 $\bm{M}$(第24・25章)
メッセージ関数 $M_l$(第16章)
$m$成功回数・計数(第3・4章)
Weibull 係数(第3章)
ガウス過程の定数の平均関数(第12・28章)
メッセージ $m_{\to}$,$m_{f\to x}$(第19章)
標本の番号(上付き $(m)$)(第21章)
磁化(第27章)
Adam の 1 次のモーメント $\bm{m}_t$(第7章)
$q$,$\bm{q}$近似分布 $q$(第17・20・27章)
提案分布 $q(x'\mid x)$(第21章)
Kalman フィルターの過程ノイズの分散 $q$(第22章)
LSTM の出力ゲート $\bm{q}_t$(第23章)
Query のベクトル $\bm{q}_i$(第16・24章)
$r$Metropolis–Hastings 法の比(第21章)
Kalman フィルターの観測ノイズの分散(第22章)
単純後悔 $r_n$(第13章)
k-means の割り当て $r_{nk}$(第17章)
勾配確認の相対誤差(第15章)
$\pi$円周率(添字なし)(第3・17章)
混合係数 $\pi_k$(第17・19章)
隠れ Markov モデルの初期分布 $\pi_i$(第22章)
逐次更新での精度 $\pi_k=1/\sigma_k^{2}$(付録C の演習4.4の解答)
$\Phi$,$\bm{\Phi}$計画行列 $\bm{\Phi}$(太字)(第8・10章)
標準 Gauss 分布の累積分布関数 $\Phi(z)$(細字)(第3・13・28章)
$\Lambda$,$\bm{\Lambda}$Lagrange 関数 $\Lambda$(第7・11・17・18・26・27章)
Gauss 混合の成分の精度行列 $\bm{\Lambda}_k$(第17章)
Laplace 近似の曲率(精度)$\Lambda$,$\bm{\Lambda}$(第20章)
$\varepsilon$,$\epsilon$観測ノイズ $\varepsilon$(第6・8・12・13章)
小さな正の数 $\epsilon$(差分の刻み・ゼロ割り防止)(第7・15・17・25章)
再パラメーター化の乱数 $\bm{\epsilon}$(第20章)
$\xi$スラック変数 $\xi_n$(第11章)
EI・PI の余裕 $\xi$(第13章)
隣り合う 2 時刻の状態の確率 $\xi_t(i,j)$(第22章)
$\psi$無向グラフのポテンシャル $\psi_C$(第19章)
Viterbi 法の戻り先 $\psi_t(j)$(第22章)
$\nu$等式制約の乗数(第7・17・26章)
Student の t 分布の自由度(第3・4章)
Matérn カーネルの滑らかさ(第10章)
波数(第18章)
$\ell$RBF カーネルの長さスケール(第10・12・13・28章)
1 個のデータの損失 $\ell_n$,$\ell_t$(第6・7・14・15・23・26章)
ロジット $\ell(p)$(演習9.2)(第9章)
平均の対数尤度 $\ell(\bm{\theta})$(第27章)
$Z$,$\bm{Z}$分配関数・正規化定数 $Z$(第19・21・27章)
ミニバッチの隠れ層の出力 $\bm{Z}^{(l)}$(第14章)
潜在変数をまとめた行列 $\bm{Z}$(第17章)
Attention の出力 $\bm{Z}$(第24・25章)
試料のバッチを表す行列 $\bm{Z}$(第28章)
$P$,$\bm{P}$事象の確率 $P(\cdot)$(第2・3・13章)
Kalman フィルターの推定の分散 $P_t$(第22章)
置換行列 $\bm{P}$(第24章)
$\hat{R}$経験損失(訓練誤差)$\hat{R}(f)$(第6章)
複数の連鎖による収束の診断量(第21章)
$\theta$,$\bm{\theta}$パラメーター一般(第2・4・20・26章)
ハイパーパラメーター $(\ell,\sigma_f,\sigma)$(第12・28章)
回折角・回転角(第4・16章)
勾配クリッピングの上限(第23章)

B.1.13 損失を和で書く章と平均で書く章

損失をデータについての和で書くか平均で書くかで,最小点は変わらないが,勾配と Hesse 行列が $N$ 倍違う.そのため同じ学習率 $\eta$ でも 1 歩の大きさが変わり,正則化係数 $\lambda$ も,平均の規約の値は和の規約の値の $1/N$ に当たる.

表B.12 損失の規約(和か平均か)
章規約断りのある節
第7章(最適化)平均 $\frac1N\sum_n$7.5
第8・9章(線形回帰・線形識別)和 $\sum_n$8.1,9.3
第10章(カーネル法)和第10章
第14・15章(ニューラルネットワーク)ミニバッチの平均 $\frac1B\sum_{n\in\mathcal{B}}$15.2
第23・26章(RNN・GPT の言語モデル)位置の数 $T$ で平均(列は $x_1,\dots,x_{T+1}$)23.3,26.4

B.2 PRML との記号の対照

本書の中心的な参考書である C. M. Bishop, Pattern Recognition and Machine Learning, Springer (2006)(以下 PRML)と本書では,いくつかの記号が違う.主な理由は二つある.一つは,本書が物理・材料の読者を想定し,$\beta$ を逆温度に,$t$ を時刻に,$E$ をエネルギーに取っておいたことである.もう一つは,ノイズや事前分布を精度(分散の逆数)ではなく分散で書いたことである.次の表は,PRML の記法を引用した資料で対応を確かめられたものだけを挙げた(PRML の太字は立体の太字で表した).表にない記号の対応は,両方の本の定義の式で確かめてほしい.

表B.13 本書と PRML の記号の対照
本書PRML意味・備考
$y$,$\bm{y}$$t$,$\mathbf{t}$目標値.本書の $t$ は時刻・系列の位置
$f(\bm{x};\bm{w})$$y(\mathbf{x},\mathbf{w})$モデル(関数).本書の $\hat{y}$ は予測値
$L(\bm{w})$$E(\mathbf{w})$損失(誤差関数)
$\sigma^{2}$$\beta^{-1}$観測ノイズの分散(PRML の $\beta$ は精度).本書の $\beta$ は逆温度
$\sigma_w^{2}$$\alpha^{-1}$重みの事前分布 $\Normal(\bm{w}\mid\bm{0},\sigma_w^{2}\bm{I})$ の分散
$\lambda=\sigma^{2}/\sigma_w^{2}$$\lambda=\alpha/\beta$Ridge 回帰(重み減衰)と MAP 推定の対応
$\bm{S}_N^{-1}=\sigma_w^{-2}\bm{I}+\sigma^{-2}\bm{\Phi}^{\tp}\bm{\Phi}$$\mathbf{S}_N^{-1}=\alpha\mathbf{I}+\beta\boldsymbol{\Phi}^{\mathrm{T}}\boldsymbol{\Phi}$ベイズ線形回帰の事後共分散($\bm{m}_N$,$\bm{S}_N$ の文字は同じ)
次数 $d$,基底の数 $M=d+1$次数 $M$(係数は $M+1$ 個)多項式の当てはめの例.本書は $M$ を基底の数だけに使う
$\bm{K}_y=\bm{K}+\sigma^{2}\bm{I}$$\mathbf{C}_N$ガウス過程のノイズを含む共分散行列
$\sigma_*^{2}+\sigma^{2}$$\sigma^{2}(\mathbf{x}_{N+1})$観測値の予測分散.本書の $\sigma_*^{2}$ はノイズを含まない潜在関数の分散
$\ell$(RBF の長さスケール)$\sigma$(Gauss カーネルの幅)$k=\exp\bigl(-\norm{\bm{x}-\bm{x}'}^{2}/(2\ell^{2})\bigr)$
$\alpha_n$$a_n$SVM の双対変数(Lagrange 乗数).ラベル $\pm1$ は PRML でも $t_n$
$\Lambda$,$\nu$,$\alpha_j$$L$,$\lambda$Lagrange 関数と乗数
$\gamma_{nk}$$\gamma(z_{nk})$負担率
$\ELBO(q)$$\mathcal{L}(q)$(第9章では $\mathcal{L}(q,\boldsymbol{\theta})$)対数周辺尤度の下界(ELBO)
$\mathrm{St}(x\mid\mu,s^{2},\nu)$$\mathrm{St}(x\mid\mu,\lambda,\nu)$Student の t 分布.PRML の $\lambda$ は精度で $\lambda=1/s^{2}$
$\mathrm{Gam}(x\mid a,b)$$\mathrm{Gam}(\lambda\mid a,b)$Gamma 分布(形 $a$,率 $b$).文字の役割は同じ
$I[x;y]$$I[\mathbf{x},\mathbf{y}]$相互情報量
$\bm{v}_i$,$\lambda_i$$\mathbf{u}_i$,$\lambda_i$PCA の主成分の向きと固有値
$z_t$,$t=1,\dots,T$$\mathbf{z}_n$,$n=1,\dots,N$隠れ Markov モデル・状態空間モデルの時刻.本書の $N$ はデータ数
$\alpha_t(j)$,$\beta_t(j)$$\alpha(\mathbf{z}_n)$,$\beta(\mathbf{z}_n)$forward 変数・backward 変数(本書は状態 $j$ を添字で示す)
$P_t$,$P_{t\mid t-1}$,$q$,$r$,$K_t$$\mathbf{V}_n$,$\mathbf{P}_{n-1}$,$\boldsymbol{\Gamma}$,$\boldsymbol{\Sigma}$,$\mathbf{K}_n$Kalman フィルターの推定の分散,予測の分散,過程ノイズ,観測ノイズ,Kalman ゲイン(本書は 1 次元)
$m_{f\to x}(x)$$\mu_{f_s\to x}(x)$sum-product 算法のメッセージ

注意:対照表は記号の読み替えのためのもの

記号を読み替えても,式の形が同じになるとは限らない.たとえばガウス過程の予測分散は,PRML ではノイズを含む値を一つ書くが,本書では潜在関数の分散 $\sigma_*^{2}$ と観測値の分散 $\sigma_*^{2}+\sigma^{2}$ を区別して書く(第12章 12.6 節).損失の和と平均の違い(表B.12)も,正則化係数の値に効く.数値を比べるときは,両方の本の定義の式まで戻って確かめてほしい.

B.3 用語対照

本文で太字にして導入した用語を,日本語の読みの五十音順に並べた(Gauss・Markov などの人名で始まる語は,その読み〔ガウス,マルコフ〕の位置に置いた).「初出」は,その語が節の題に現れるか,太字で導入される最初の節である.英語は本文で添えた語を基本とし,分野で一般的な言い方を補った.表記は本書の決まり(人名は欧文で書く,長音を付ける,「不確かさ」と書く,など)に合わせてある.

表B.14 用語対照(日本語 → 英語.五十音順)
日本語英語初出
あ行
鞍点saddle point7.4
Jensen の不等式Jensen's inequality20.3
位置符号positional encoding25.2
因子グラフfactor graph19.6
因子分析factor analysis18.7
埋め込みembedding23.1
エネルギーベースモデルenergy-based model27.2
エポックepoch7.5
エントロピーentropy5.2
オートエンコーダーautoencoder18.8
重み減衰weight decay6.6
か行
回帰regression1.2
外挿extrapolation1.7
ガウス過程回帰Gaussian process regression第12章
Gauss 分布Gaussian distribution(正規分布 normal distribution)3.5
過学習overfitting1.7
学習learning(training)1.1
学習率learning rate7.2
獲得関数acquisition function13.2
確率質量関数probability mass function2.1
確率的勾配降下法stochastic gradient descent(SGD)7.5
確率分布probability distribution1.2
確率変数random variable2.1
確率密度関数probability density function2.1
隠れ層hidden layer14.3
隠れ Markov モデルhidden Markov model(HMM)22.3
活性化関数activation function14.1
活用exploitation1.5
カテゴリカル分布categorical distribution3.3
カーネル関数kernel function10.3
カーネルトリックkernel trick10.3
カーネル Ridge 回帰kernel ridge regression10.6
Kalman フィルターKalman filter22.9
機械学習原子間ポテンシャルmachine-learning interatomic potential15.10
棄却サンプリングrejection sampling21.3
記述子descriptor1.6
期待値expectation2.5
基底関数basis function1.6
帰納バイアスinductive bias16.1
Gibbs サンプリングGibbs sampling21.9
強化学習reinforcement learning1.3
教師あり学習supervised learning1.3
教師なし学習unsupervised learning1.3
共分散covariance2.5
共分散行列covariance matrix2.5
共変量シフトcovariate shift6.9
共役事前分布conjugate prior3.11
偶然的不確かさaleatoric uncertainty4.8
クラスター展開cluster expansion19.10
クラスタリングclustering1.2
グラフィカルモデルgraphical model第19章
訓練データtraining data6.1
計画行列design matrix8.2
計算グラフcomputational graph15.1
決定境界decision boundary9.1
決定係数coefficient of determination6.10
検索拡張生成retrieval-augmented generation(RAG)26.12
検証データvalidation data6.2
語彙vocabulary22.1
交差エントロピーcross entropy5.4
交差検証cross-validation6.3
較正calibration9.8
勾配gradient1.4
勾配クリッピングgradient clipping23.5
勾配降下法gradient descent1.4
勾配消失vanishing gradient15.7
交絡confounding6.11
誤差逆伝播backpropagation15.2
Cholesky 分解Cholesky decomposition8.5
混合係数mixing coefficient17.3
混同行列confusion matrix9.7
さ行
再現率recall9.7
最小二乗法least squares8.2
最大エントロピー原理principle of maximum entropy27.5
最尤推定maximum likelihood estimation2.7
サポートベクトルsupport vector11.3
サポートベクトル回帰support vector regression(SVR)11.8
サポートベクトルマシンsupport vector machine(SVM)第11章
残差residual1.4
残差接続residual connection15.7
サンプリングsampling21.3
時間方向の誤差逆伝播backpropagation through time(BPTT)23.4
次元削減dimensionality reduction1.2
自己回帰autoregressive22.1
自己教師あり学習self-supervised learning1.3
自己情報量self-information5.1
事後分布posterior distribution4.3
事後予測分布posterior predictive distribution4.5
指示調整instruction tuning26.8
指数型分布族exponential family3.11
指数分布exponential distribution2.6
事前学習pre-training1.3
事前分布prior distribution4.3
自動微分automatic differentiation15.9
次トークン予測next-token prediction26.4
重点サンプリングimportance sampling21.4
周辺化marginalization2.2
周辺分布marginal distribution2.2
周辺尤度marginal likelihood(evidence.証拠(エビデンス)とも呼ぶ)2.4
主成分分析principal component analysis(PCA)18.2
順伝播forward propagation14.3
条件数condition number7.2
条件付き確率conditional probability2.2
条件付き独立conditional independence2.3
詳細釣り合いdetailed balance21.5
状態空間モデルstate space model22.9
スラック変数slack variable11.5
正規方程式normal equations1.4
生成generation1.2
生成的分類generative classification9.2
正則化regularization6.6
正定値カーネルpositive definite kernel10.4
制約付き最適化constrained optimization7.7
遷移行列transition matrix21.5
線形判別分析linear discriminant analysis(LDA)9.2
線形分離可能linearly separable9.6
潜在表現latent representation1.2
潜在変数latent variable17.3
相関係数correlation coefficient2.5
早期終了early stopping6.6
相互情報量mutual information5.7
双対問題dual problem7.7
損失関数loss function1.4
た行
大数の法則law of large numbers2.8
代理モデルsurrogate model12.11
多項分布multinomial distribution3.3
多層パーセプトロンmultilayer perceptron(MLP)14.3
畳み込みconvolution16.2
畳み込みニューラルネットワークconvolutional neural network(CNN)16.2
探索exploration1.5
単純後悔simple regret13.8
置換同変性permutation equivariance24.8
中心極限定理central limit theorem2.8
Dirichlet 分布Dirichlet distribution3.10
定常分布stationary distribution21.5
適合率precision(分類の評価指標)9.7
テストデータtest data1.7
データ拡張data augmentation15.8
データ漏洩data leakage1.7
同時分布joint distribution2.2
同変equivariant16.3
特異値分解singular value decomposition(SVD)8.5
特徴写像feature map10.1
独立同分布independent and identically distributed(i.i.d.)2.8
トークンtoken23.1
トークン化tokenization26.2
凸関数convex function7.4
な行
内挿interpolation1.7
長さスケールlength scale10.5
二項分布binomial distribution3.2
Newton 法Newton's method7.9
ニューラルネットワークneural network1.5
ニューロンneuron(unit)14.1
認識的不確かさepistemic uncertainty4.8
能動学習active learning13.9
は行
バイアス–分散分解bias–variance decomposition6.4
バイト対符号化byte pair encoding(BPE)26.2
ハイパーパラメーターhyperparameter6.3
汎化generalization6.1
汎化誤差generalization error6.1
万能近似定理universal approximation theorem14.7
Viterbi 法Viterbi algorithm22.8
微分エントロピーdifferential entropy5.3
標準化standardization7.3
標準偏差standard deviation2.5
ヒンジ損失hinge loss11.5
ファインチューニングfine-tuning26.7
負担率responsibility17.4
不変invariant16.7
プロンプトprompt26.7
分散variance2.5
分配関数partition function19.5
文脈長context length25.9
文脈内学習in-context learning26.7
分類classification1.2
平滑化smoothing22.6
平均場近似mean-field approximation20.5
ベイズ最適化Bayesian optimization1.5
ベイズ推定Bayesian inference1.5
ベイズ線形回帰Bayesian linear regression8.7
Bayes の定理Bayes' theorem2.4
Hesse 行列Hessian7.2
変分オートエンコーダーvariational autoencoder(VAE)18.8
変分推論variational inference20.3
Poisson 分布Poisson distribution3.4
ポテンシャルエネルギー曲面potential energy surface14.9
Boltzmann 分布Boltzmann distribution19.5
ま行
マテリアルズインフォマティクスmaterials informatics1.9
Markov 確率場Markov random field19.5
Markov ブランケットMarkov blanket19.3
Markov 連鎖Markov chain21.5
未学習underfitting6.2
密度推定density estimation1.2
ミニバッチminibatch7.5
無向グラフundirected graph19.2
メッセージ伝播message passing(グラフィカルモデルの sum-product 算法と,グラフニューラルネットワーク)16.6
Metropolis–Hastings 法Metropolis–Hastings algorithm21.6
モデル選択model selection6.3
モーメンタムmomentum7.6
Monte Carlo 法Monte Carlo method21.1
や行
焼きなまし法simulated annealing21.10
Jacobi 行列Jacobian matrix2.6
Jacobi 行列式Jacobian(determinant)2.6
有向グラフdirected graph(Bayesian network)19.2
有向非巡回グラフdirected acyclic graph(DAG)19.2
有効標本数effective sample size21.4
尤度likelihood2.4
予測分布predictive distribution4.5
ら行
Lagrange の未定乗数法method of Lagrange multipliers7.7
Laplace 近似Laplace approximation20.2
ランダム探索random search13.8
リプレゼンター定理representer theorem10.7
レプリカ交換法replica exchange method21.10
ロジスティック回帰logistic regression9.3
ロジットlogit(対数オッズ log-odds.softmax に入れる前の点数 logits の各成分もロジットと呼ぶ)9.2
わ行
Weibull 分布Weibull distribution3.10

次の語は,本文でも英語(または英字の略語)のまま使っている.初出に短い日本語の説明を添えてある.

表B.15 英語のまま使う語(アルファベット順)
語意味初出
Adam勾配の 1 次・2 次のモーメントで歩幅を調節する最適化法7.6
Attention関連する位置の情報を重み付きで集める仕組み(注意機構)16.9
AUCROC 曲線の下の面積(area under the curve)9.7
BICBayes 情報量規準(Bayesian information criterion)17.10
causal mask先の位置を見ないようにする Attention のマスク24.6
d 分離有向グラフから条件付き独立を読み取る規則(d-separation)19.3
decoder・encoder系列を生成する側・読み込む側のネットワーク23.7
ELBO対数周辺尤度の下界(evidence lower bound)17.7
EM 法期待値最大化法(expectation–maximization algorithm)17.5
feed-forward network(FFN)位置ごとに同じ 2 層のネットワークをかける Transformer の副層25.4
GELUGauss の累積分布関数を使った活性化関数(Gaussian error linear unit)14.2
GPTdecoder だけの Transformer を次トークン予測で事前学習した言語モデル(generative pre-trained transformer)26.1
greedy確率が最大のトークンを選ぶ生成の方法26.6
k-means最も近い平均に割り当てるクラスタリング(k 平均法)17.2
KKT 条件不等式制約付き最適化の最適性の条件(Karush–Kuhn–Tucker conditions)7.7
KL ダイバージェンスKullback–Leibler divergence.分布のずれの大きさ5.4
LayerNormベクトルごとに平均 0・分散 1 にそろえる正規化(layer normalization)25.3
LSTMゲートで記憶を運ぶ RNN(long short-term memory)23.6
MAP 推定最大事後確率推定(maximum a posteriori estimation)4.7
MCMCMarkov 連鎖 Monte Carlo 法(Markov chain Monte Carlo)21.5
multi-head attention複数のヘッドの Attention を並べる仕組み24.7
one-hot1 つの成分だけが 1 で残りが 0 のベクトル3.3
perplexity平均の負の対数尤度の指数.PPL26.4
PR 曲線適合率と再現率の曲線(precision–recall curve)9.7
Query・Key・ValueAttention で問い合わせ・照合・取り出しに使う 3 種類のベクトル24.1
ReLU$\max(0,a)$ の活性化関数(rectified linear unit)14.2
RNN同じ重みで過去を要約し続ける再帰型ニューラルネットワーク(recurrent neural network)23.2
ROC 曲線受信者動作特性曲線(receiver operating characteristic)9.7
self-attention同じ系列から Query・Key・Value を作る Attention24.5
sigmoid$1/(1+e^{-a})$ の関数8.1
SMOSVM の双対問題を 2 変数ずつ解く方法(sequential minimal optimization)11.8
softmax点数を足して 1 になる確率に変える関数9.5
sum-product 算法木の上で周辺分布を厳密に求めるメッセージ伝播(確率伝播,belief propagation)19.8
t-SNE・UMAP近さを保って 2 次元などへ写す非線形の次元削減18.9
temperature生成の分布の広がりを変える係数 $\tau$26.6
top-k・top-p確率の上位 $k$ 個・累積確率 $p$ までから選ぶ生成の方法(top-p は nucleus sampling)26.6
TransformerAttention と位置ごとの FFN のブロックを積み重ねたモデル25.1

B.4 確率分布の一覧と共役の関係

第3章で扱った分布の性質を表にまとめる(第3章の表3.2に「主に使う章」の列を足したもの).Gamma 分布と Beta 分布のパラメーター $a,\ b$ は第3章の書き方(Gamma は形 $a$ と率 $b$)である.分布の性質の導出は第3章の各節にある.

表B.16 確率分布の一覧(定義域・パラメーター・平均・分散と,主に使う章)
分布定義域パラメーター平均分散主に使う章
Bernoulli$\{0,1\}$$\mu\in[0,1]$$\mu$$\mu(1-\mu)$3・4・9
二項$\{0,\dots,N\}$$N$,$\mu$$N\mu$$N\mu(1-\mu)$2・3・4
多項(成分 $k$)$\sum_km_k=N$$N$,$\bm{\mu}$$N\mu_k$$N\mu_k(1-\mu_k)$3
Poisson$\{0,1,2,\dots\}$$\lambda\gt0$$\lambda$$\lambda$3・4・20
Gauss$\R$$\mu$,$\sigma^{2}\gt0$$\mu$$\sigma^{2}$3・4・8・12・13・22
多変量 Gauss$\R^{D}$$\bm{\mu}$,$\bm{\Sigma}$(正定値)$\bm{\mu}$$\bm{\Sigma}$3・8・12・17・18・20
Cauchy$\R$$x_0$,$\gamma\gt0$存在しない存在しない3・21
指数$[0,\infty)$$\lambda\gt0$$1/\lambda$$1/\lambda^{2}$3・21
Gamma$(0,\infty)$$a\gt0$,$b\gt0$$a/b$$a/b^{2}$3・4・17
Beta$[0,1]$$a\gt0$,$b\gt0$$\dfrac{a}{a+b}$$\dfrac{ab}{(a+b)^{2}(a+b+1)}$3・4・20・21
Student の t$\R$$\mu$,$s\gt0$,$\nu\gt0$$\mu$($\nu\gt1$)$\dfrac{s^{2}\nu}{\nu-2}$($\nu\gt2$)3・4
Dirichlet(成分 $k$)単体$\bm{\alpha}$$\alpha_k/\alpha_0$$\dfrac{\alpha_k(\alpha_0-\alpha_k)}{\alpha_0^{2}(\alpha_0+1)}$3・17・22
Weibull$[0,\infty)$$m\gt0$,$s_0\gt0$$s_0\Gamma(1+\frac1m)$$s_0^{2}[\Gamma(1+\frac2m)-\Gamma(1+\frac1m)^{2}]$3

B.4.1 確率質量関数・確率密度関数

第3章の定義の式を,記号を変えずに再掲する.

B.4.2 共役事前分布の組

尤度と事前分布の積が,事前分布と同じ形の分布に比例するとき,その事前分布を共役事前分布という(第3章 3.11 節).データを観測した後のパラメーターの更新は,下の表のように数を足すだけになる.事前分布のパラメーターは「仮想的なデータの数」と読める.たとえば Beta 分布の事前分布 $\mathrm{Beta}(a,b)$ は,一様な $\mathrm{Beta}(1,1)$ から出発して成功 $a-1$ 回・失敗 $b-1$ 回を見た後の事後分布と同じ形なので,$a-1,\ b-1$ を事前分布に含まれる仮想的な観測回数と読む(第4章 4.4 節).

表B.17 共役事前分布と事後分布($N$ 個の独立なデータを観測した後)
データの分布(尤度)推定する量事前分布事後分布本書で扱う所
Bernoulli・二項($N$ 回中 $m$ 回成功,$l=N-m$)成功の確率 $\mu$$\mathrm{Beta}(\mu\mid a,b)$$\mathrm{Beta}(\mu\mid a+m,\ b+l)$4.4
カテゴリカル・多項(結果 $k$ が $m_k$ 回)確率のベクトル $\bm{\mu}$$\mathrm{Dir}(\bm{\mu}\mid\bm{\alpha})$$\mathrm{Dir}(\bm{\mu}\mid\bm{\alpha}+\bm{m})$,$\bm{m}=(m_1,\dots,m_K)^{\tp}$第17章,22.2
Poisson($N$ 個の計数 $x_1,\dots,x_N$)率 $\lambda$$\mathrm{Gam}(\lambda\mid a,b)$$\mathrm{Gam}\bigl(\lambda\mid a+\sum_nx_n,\ b+N\bigr)$第4章 演習4.3
Gauss(分散 $\sigma^{2}$ は既知)平均 $\mu$$\Normal(\mu\mid\mu_0,\sigma_0^{2})$$\Normal(\mu\mid\mu_N,\sigma_N^{2})$(下の式)4.6
Gauss(平均 $\mu$ は既知)精度 $1/\sigma^{2}$Gamma(形 $a$,率 $b$)Gamma(形 $a+\frac N2$,率 $b+\frac12\sum_n(x_n-\mu)^{2}$)3.9

分散が既知の Gauss 分布の平均の事後分布のパラメーターは次のとおりである(第4章 4.6 節).精度(分散の逆数)が足し算になることに注意する.

$$ \begin{gathered} \frac{1}{\sigma_N^{2}}=\frac{1}{\sigma_0^{2}}+\frac{N}{\sigma^{2}},\\ \mu_N=\sigma_N^{2}\left(\frac{\mu_0}{\sigma_0^{2}}+\frac{N\bar{x}}{\sigma^{2}}\right) \end{gathered} $$

B.5 章ごとの主要式

各章の主要な式を,部ごと・章ごとに並べる.式は本文から記号を変えずに写したもので,本文の式番号は付けず,その式のある節にリンクした.一つの式で表せない内容(仮定や適用の条件)は本文に書いてあるので,使う前に必ずリンク先を読んでほしい.とくに損失の規約(和か平均か,表B.12)と,第24〜26章の行に並べる規約に注意する.

B.5.1 第I部 機械学習の入口と確率

第1章 機械学習とは何か

第2章 確率・期待値・条件付き確率

第3章 さまざまな確率分布

第4章 最尤推定・MAP 推定・ベイズ推定

B.5.2 第II部 学習を成立させる基礎

第5章 情報量・エントロピー・KL ダイバージェンス

第6章 汎化・モデル選択・正則化

第7章 最適化の基礎

B.5.3 第III部 回帰・分類・カーネル

第8章 線形回帰モデル

第9章 線形識別モデル

第10章 カーネル法

第11章 サポートベクトルマシン

第12章 ガウス過程回帰

第13章 ベイズ最適化と実験計画

B.5.4 第IV部 ニューラルネットワーク

第14章 ニューラルネットワークの表現

第15章 誤差逆伝播と学習

第16章 構造を利用する深層学習

B.5.5 第V部 潜在変数とグラフィカルモデル

第17章 クラスタリング・混合分布・EM 法

第18章 連続潜在変数

第19章 グラフィカルモデル

B.5.6 第VI部 近似推論とサンプリング

第20章 近似推論

第21章 サンプリング法

B.5.7 第VII部 系列データから GPT へ

第22章 系列データと隠れ Markov モデル

第23章 RNN・LSTM と系列表現

第24章 Attention の仕組み

第25章 Transformer の構造

第26章 GPT はどのように学び,文章を生成するか

B.5.8 第VIII部 材料科学への接続と総合演習

第27章 材料科学・統計力学との接点

第28章 材料探索の総合演習