付録B記号一覧・用語対照・主要式
本書は 28 章にわたって多くの記号を使う.記号は各章の初出で定義してあるが,途中の章から読み始めたときや,別の章の式と見比べたいときに,その定義を探し回るのは手間である.この付録は,そのための早見表である.
B.1 節は記号の一覧で,分野ごとに表にまとめ,最後に章によって意味が変わる記号を一つの表に集めた.同じ文字が別の章で別の量を表すことは避けきれない(文字の数には限りがあり,各分野の慣例もある).式を読んで意味が合わないと感じたら,まずこの表を見てほしい.B.2 節は,C. M. Bishop の Pattern Recognition and Machine Learning(PRML)を併読する読者のための記号の対照表である.B.3 節は日本語と英語の用語の対照表,B.4 節は第3章で扱った確率分布の一覧と共役事前分布の組,B.5 節は各章の主要な式の一覧である.
表の「初出」は,その記号や用語が定義・導入される節へのリンクである(「8.1」は第8章 8.1 節)(同じ記号が後の章で別の意味に使われる場合は,B.1.12 項の表を見る).B.5 節の式は各章の本文から記号を変えずに写したもので,式番号の代わりに節へのリンクを付けた.式の導出と前提は,リンク先の本文で確かめてほしい.
B.1 記号一覧
B.1.1 書き方の約束
- ベクトルと行列:ベクトルは太字の小文字 $\bm{x}$ で列ベクトル,行列は太字の大文字 $\bm{X}$.転置は $\bm{x}^{\tp}$.大きさは $\bm{\Phi}\in\R^{N\times M}$ のように集合で書く($N$ 行 $M$ 列).ただし第24〜26章(Attention・Transformer・GPT)だけは原論文に合わせて系列を行に並べた行列 $\bm{X}\in\R^{T\times d_{\mathrm{model}}}$ を使い,線形変換を右から掛ける($\bm{X}\bm{W}$).
- 確率:確率変数とその値を同じ小文字で書く.確率質量関数と確率密度関数はどちらも $p(\cdot)$,事象の確率は $P(\cdot)$.条件は縦棒 $p(x\mid y)$ で書き,データを条件とする確率には必ず $\mid\data$ を書く.Gauss 分布 $\Normal(x\mid\mu,\sigma^{2})$ の第 2 引数は分散である.
- 対数:自然対数は $\ln$.情報量を bit で数えるときだけ $\log_2$ を使う.
- ノイズと事前分布:観測ノイズは分散 $\sigma^{2}$ で書き(精度 $\beta$ は使わない),$\beta$ は統計力学の逆温度 $1/(k_{\mathrm B}T)$ に取っておく.重みの事前分布の分散は $\sigma_w^{2}$.
- 目標値:教師信号は $y$(PRML の $t$).$t$ は時刻・系列の位置に使う.
- 損失:損失は $L$($E(\bm{w})$ とは書かない.$E$ はエネルギー,$\Ex$ は期待値).データについての和で書く章と平均で書く章があり,正則化係数 $\lambda$ の大きさの意味が $N$ 倍違う(表B.12).
B.1.2 共通(データ・モデル・学習)
| 記号 | 意味(大きさ・単位)と初出の節 |
|---|---|
| $\data=\{(\bm{x}_n,y_n)\}_{n=1}^{N}$ | データ集合.$N$ はデータ数,$n$ はデータの番号(初出 6.1) |
| $\bm{x}\in\R^{D}$ | 入力(列ベクトル).成分は $x_i$,$D$ は入力の次元(初出 8.1) |
| $y$,$\bm{y}$ | 目標値(教師信号).まとめて $\bm{y}=(y_1,\dots,y_N)^{\tp}\in\R^{N}$(初出 8.1) |
| $f(\bm{x};\bm{w})$ | モデル(パラメーター $\bm{w}$ を持つ関数)(初出 1.4) |
| $\hat{y}$ | 予測値.学習で得たパラメーターは $\hat{\bm{w}}$(初出 1.4) |
| $\bm{\theta}$ | パラメーター一般(ハイパーパラメーターを指すこともある.章ごとに断る)(初出 4.1) |
| $\bm{w}$,$\bm{W}$,$b$,$\bm{b}$ | 重み(ベクトル・行列)とバイアス(切片)(初出 1.1) |
| $\phi_j(\bm{x})$,$\bm{\phi}(\bm{x})\in\R^{M}$ | 基底関数とそれを並べたベクトル.$M$ は基底の数.$\bm{\phi}_n\equiv\bm{\phi}(\bm{x}_n)$(初出 8.1) |
| $d$ | 多項式の次数(次数 $d$ の多項式では $M=d+1$).多項式カーネルの次数も $d$(初出 6.1) |
| $\bm{\Phi}\in\R^{N\times M}$ | 計画行列.$\Phi_{nj}=\phi_j(\bm{x}_n)$(第 $n$ 行が $\bm{\phi}(\bm{x}_n)^{\tp}$)(初出 6.6) |
| $L(\bm{w})$,$\ell_n$ | 損失(目的)関数と,1 個のデータの損失.$E(\bm{w})$ とは書かない(初出 1.4) |
| $\lambda$ | 正則化係数.$L=\tfrac12\norm{\bm{y}-\bm{\Phi}\bm{w}}^{2}$ $+\tfrac{\lambda}{2}\norm{\bm{w}}^{2}$(和の規約)(初出 4.7) |
| $\eta$ | 学習率(スカラー)(初出 7.2) |
| $\nabla L$,$\bm{H}$ | 勾配と Hesse 行列 $\bm{H}\in\R^{M\times M}$(初出 7.1) |
| $\lambda_i$,$\kappa$ | Hesse 行列などの固有値(必ず添字か $\max$・$\min$ を付ける)と,条件数 $\kappa=\lambda_{\max}/\lambda_{\min}$(初出 7.2) |
| $\mathcal{B}$,$B$ | ミニバッチ(データの番号の集合)とその大きさ $B=\abs{\mathcal{B}}$(初出 7.5) |
| $K$,$k$ | クラス(成分・状態)の数と番号.多クラスの正解は one-hot ベクトル $\bm{y}\in\{0,1\}^{K}$(初出 3.3) |
| $\bm{I}$,${}^{\tp}$ | 単位行列と転置(初出 3.6) |
| $\argmin_{\bm{w}}L(\bm{w})$ | $L$ を最小にする $\bm{w}$(初出 1.4) |
| $\odot$ | 要素ごとの積(Hadamard 積)(初出 7.6) |
B.1.3 確率・推定・情報量
| 記号 | 意味(大きさ・単位)と初出の節 |
|---|---|
| $P(A)$ | 事象 $A$ の確率(初出 2.1) |
| $p(x)$,$p(x,y)$,$p(x\mid y)$ | 確率質量関数・確率密度関数(どちらも $p$),同時分布,条件付き分布(初出 2.2) |
| $\Ex[x]$,$\Var[x]$,$\Cov[x,y]$ | 期待値・分散・共分散.分布を明示するとき $\Ex_{p}[\,\cdot\,]$(初出 2.5) |
| $\mu$,$\sigma^{2}$,$\sigma$ | 平均・分散・標準偏差($x$ と同じ単位.分散はその 2 乗)(初出 2.5) |
| $\bm{\mu}$,$\bm{\Sigma}$ | 平均ベクトルと共分散行列 $\bm{\Sigma}\in\R^{D\times D}$(対称・正定値)(初出 2.5) |
| $\Normal(x\mid\mu,\sigma^{2})$ | Gauss 分布.第 2 引数は分散.多変量は $\Normal(\bm{x}\mid\bm{\mu},\bm{\Sigma})$(初出 3.5) |
| $x\sim p(x)$ | $x$ が分布 $p(x)$ に従う(初出 2.5) |
| $p(\data\mid\bm{\theta})$ | 尤度($\bm{\theta}$ の関数として見たもの).対数尤度は $\ln p(\data\mid\bm{\theta})$(初出 2.7) |
| $p(\bm{\theta})$,$p(\bm{\theta}\mid\data)$,$p(\data)$ | 事前分布,事後分布,周辺尤度(証拠(エビデンス)とも呼ぶ)(初出 4.3) |
| $\mu_{\mathrm{ML}}$,$\mu_{\mathrm{MAP}}$ | 最尤推定値と MAP 推定値(添字で推定の方法を示す)(初出 4.1) |
| $m$,$l$ | $N$ 回の試行での成功回数と失敗回数($l=N-m$)(初出 4.1) |
| $\sigma^{2}$ | 観測ノイズの分散(全章共通).PRML の精度 $\beta$ の逆数(初出 4.6) |
| $\sigma_w^{2}$ | 重みの事前分散:$p(\bm{w})$ $=\Normal(\bm{w}\mid\bm{0},\sigma_w^{2}\bm{I})$.Ridge との対応は $\lambda=\sigma^{2}/\sigma_w^{2}$(初出 6.6) |
| $\mu_N$,$\sigma_N^{2}$ | Gauss 分布の平均の事後分布の平均と分散(事前は $\mu_0,\ \sigma_0^{2}$)(初出 4.6) |
| $\bar{x}$ | 標本平均.$\Var[\bar{x}]=\sigma^{2}/N$(初出 2.8) |
| $\ln$,$\log_2$ | 自然対数(底なしの log は使わない)と,bit で数えるときの 2 を底とする対数(初出 5.1) |
| $\Phi(z)$ | 標準 Gauss 分布の累積分布関数(細字.計画行列 $\bm{\Phi}$ とは別)(初出 3.5) |
| $\Gamma(a)$,$B(a,b)$ | ガンマ関数とベータ関数(初出 4.4) |
| $h(x)$ | 自己情報量 $-\ln p(x)$(nat)(初出 5.1) |
| $H[p]$,$H[p,q]$ | エントロピーと交差エントロピー(nat)(初出 5.2) |
| $\KL(p\,\|\,q)$ | KL ダイバージェンス($p$ から見た $q$ のずれ.非対称)(初出 5.4) |
| $I[x;y]$ | 相互情報量(初出 5.7) |
B.1.4 回帰・分類・カーネル
| 記号 | 意味(大きさ・単位)と初出の節 |
|---|---|
| $\bm{m}_N$,$\bm{S}_N$ | ベイズ線形回帰の係数の事後分布 $\Normal(\bm{w}\mid\bm{m}_N,\bm{S}_N)$ の平均と共分散(初出 8.7) |
| $\bm{\phi}_*$,$v_*$ | テスト入力の基底ベクトルと,予測分布の分散 $v_*=\sigma^{2}$ $+\bm{\phi}_*^{\tp}\bm{S}_N\bm{\phi}_*$(初出 8.8) |
| $\sigma(a)$ | sigmoid 関数 $1/(1+e^{-a})$(必ず引数付きで書き,標準偏差 $\sigma$ と区別する)(初出 9.3) |
| $a=\bm{w}^{\tp}\bm{\phi}(\bm{x})+b$ | ロジスティック回帰の活性(対数オッズ,ロジット)(初出 9.3) |
| $\hat{y}_k$ | softmax の出力(クラス $k$ の確率)(初出 9.5) |
| $k(\bm{x},\bm{x}')$ | カーネル関数(初出 10.3) |
| $\bm{K}\in\R^{N\times N}$ | Gram 行列 $K_{nm}=k(\bm{x}_n,\bm{x}_m)$(初出 10.2) |
| $\bm{x}_*$,$\bm{k}_*$ | テスト入力と $\bm{k}_*=(k(\bm{x}_1,\bm{x}_*),\dots,$ $k(\bm{x}_N,\bm{x}_*))^{\tp}$(初出 10.2) |
| $\bm{a}\in\R^{N}$ | 双対の係数.カーネル Ridge 回帰では $\bm{a}=(\bm{K}+\lambda\bm{I})^{-1}\bm{y}$,ガウス過程(第12章)では $\bm{a}=\bm{K}_y^{-1}(\bm{y}-m\bm{1})$(初出 10.2) |
| $\ell$,$\sigma_f^{2}$ | RBF カーネルの長さスケール(入力と同じ単位)と信号分散(出力の単位の 2 乗)(初出 10.5) |
| $\gamma=1/(2\ell^{2})$ | SVM の文献の RBF カーネルの係数($\sigma_f=1$)(初出 10.5) |
| $y_n\in\{-1,+1\}$ | 第11章(SVM)だけのラベルの約束(他の章は $y\in\{0,1\}$)(初出 11.1) |
| $\alpha_n$,$C$,$\xi_n$ | SVM の双対変数($0\le\alpha_n\le C$),罰則の係数,スラック変数(初出 11.5) |
| $\mathcal{S}$ | サポートベクトルの番号の集合(初出 11.3) |
| $\Lambda$,$\nu$,$\alpha_j$ | Lagrange 関数,等式制約の乗数,不等式制約の乗数(初出 7.7) |
B.1.5 ガウス過程・ベイズ最適化
| 記号 | 意味(大きさ・単位)と初出の節 |
|---|---|
| $f\sim\GP(m,k)$ | ガウス過程(平均関数 $m$,共分散関数 $k$).本書の平均関数は定数 $m$(初出 12.1) |
| $\bm{K}_y\equiv\bm{K}+\sigma^{2}\bm{I}$ | 観測ノイズを含む Gram 行列(初出 12.4) |
| $\mu_*$,$\sigma_*^{2}$ | 潜在関数 $f_*$ の予測平均と予測分散($y$ と同じ単位とその 2 乗)(初出 12.4) |
| $\sigma_*^{2}+\sigma^{2}$ | 観測値 $y_*$ の予測分散(潜在関数の帯と観測値の帯を区別する)(初出 12.4) |
| $k_{**}$ | $k(\bm{x}_*,\bm{x}_*)$ の略(初出 12.4) |
| $\bm{L}$ | Cholesky 分解の下三角行列 $\bm{K}_y=\bm{L}\bm{L}^{\tp}$(初出 12.8) |
| $a(\bm{x})$ | 獲得関数(本書の既定は最大化)(初出 13.2) |
| $f_{\mathrm{best}}$,$\xi$ | これまでの最良値(既定は観測値の最大)と,探索を促す余裕(既定 0)(初出 13.4) |
| $\mathrm{PI}$,$\mathrm{EI}$,$\mathrm{UCB}$,$\mathrm{LCB}$ | 改善確率,期待改善量,上側信頼限界,(最小化の)下側信頼限界(初出 13.4) |
| $\kappa$ | UCB の係数(第7章の条件数とは別の量)(初出 13.3) |
| $\mathcal{X}$,$\bm{x}^{\star}$ | 探索する範囲と,目的関数の最大点(初出 13.1) |
| $r_n$ | 単純後悔(推奨点の真の値と真の最大との差)(初出 13.8) |
B.1.6 ニューラルネットワーク
| 記号 | 意味(大きさ・単位)と初出の節 |
|---|---|
| $l=1,\dots,n_{\mathrm{layer}}$,$D_l$ | 層の番号と層の数 $n_{\mathrm{layer}}$($L$ は損失に使う),第 $l$ 層のユニット数($D_0=D$)(初出 14.3) |
| $\bm{a}^{(l)}$,$\bm{z}^{(l)}$ | 第 $l$ 層の活性(重み付き和)と出力 $\bm{z}^{(l)}=h(\bm{a}^{(l)})$,$\bm{z}^{(0)}=\bm{x}$(初出 14.3) |
| $\bm{W}^{(l)}\in\R^{D_l\times D_{l-1}}$,$\bm{b}^{(l)}$ | 第 $l$ 層の重み行列とバイアス(初出 14.3) |
| $h(\cdot)$,$h'(\cdot)$ | 活性化関数とその導関数(sigmoid,tanh,ReLU など)(初出 14.1) |
| $H$ | 隠れユニットの数(エントロピー $H[p]$ とは別)(初出 14.1) |
| $\bm{\delta}^{(l)}$ | 誤差 $\partial\ell/\partial\bm{a}^{(l)}$.出力層では $\hat{\bm{y}}-\bm{y}$(初出 14.6) |
| $\sigma_{\mathrm{init}}^{2}$ | (第15章)重みの初期値の乱数の分散(Xavier・He の初期化.重みの事前分散 $\sigma_w^{2}$ とは別の量)(初出 15.6) |
| $\bm{h}_i^{(l)}$,$\mathcal{A}(i)$ | (第16章)頂点 $i$ の特徴ベクトルと近傍の集合(初出 16.5) |
| $\bm{m}_i$,$\bm{e}_{ij}$ | (第16章)メッセージ伝播のメッセージと辺の特徴(初出 16.5) |
B.1.7 潜在変数・EM 法・PCA
| 記号 | 意味(大きさ・単位)と初出の節 |
|---|---|
| $\pi_k$,$\bm{\mu}_k$,$\bm{\Sigma}_k$ | 混合係数($\sum_k\pi_k=1$)と成分 $k$ の平均・共分散(初出 17.3) |
| $\bm{z}_n$,$z_{nk}$ | データ $n$ の潜在変数(どの成分かを表す one-hot ベクトル)とその成分(初出 17.3) |
| $\gamma_{nk}$ | 負担率 $p(z_{nk}=1\mid\bm{x}_n,\bm{\theta})$(初出 17.4) |
| $N_k$ | 成分 $k$ の実効的なデータ数 $\sum_n\gamma_{nk}$(初出 17.5) |
| $r_{nk}$,$J$ | k-means の割り当て(0 か 1)と目的関数(初出 17.2) |
| $\bm{\Lambda}_k$ | 成分 $k$ の精度行列 $\bm{\Sigma}_k^{-1}$(初出 17.5) |
| $\bm{S}$,$\bm{v}_i$,$\lambda_i$ | 標本共分散行列,主成分の向き(固有ベクトル),固有値(初出 18.2) |
| $M$,$z_{ni}$ | (第18章)潜在変数の次元(残す主成分の数,$M\le D$)と得点(初出 18.1) |
| $s_i$ | 特異値(第8・18章)(初出 8.5) |
| $\bm{W}$,$\bm{C}$ | 確率的 PCA の負荷行列と,周辺分布の共分散 $\bm{C}=\bm{W}\bm{W}^{\tp}$ $+\sigma^{2}\bm{I}$(初出 18.12) |
B.1.8 近似推論・サンプリング
| 記号 | 意味(大きさ・単位)と初出の節 |
|---|---|
| $q(\bm{\theta})$ | 近似分布(初出 20.2) |
| $\ELBO(q)$ | 対数周辺尤度の下界(evidence lower bound)$\Ex_q[\ln p(\data,\bm{\theta})]$ $-\Ex_q[\ln q(\bm{\theta})]$(初出 17.7) |
| $\bm{\theta}_{\mathrm{MAP}}$,$\bm{\Lambda}$ | Laplace 近似の中心と,そこでの負の対数事後確率の Hesse 行列(近似分布の精度行列.1 変数では $\Lambda$)(初出 20.2) |
| $q_j^{*}$ | 平均場近似の第 $j$ 因子の最適解(初出 20.5) |
| $\tilde{p}(x)$,$Z$ | 正規化されていない標的分布と正規化定数 $p(x)=\tilde{p}(x)/Z$(初出 21.6) |
| $q(x'\mid x)$,$r$ | 提案分布と Metropolis–Hastings 法の比(受理確率 $\min(1,r)$)(初出 21.6) |
| $x^{(m)}$,$S$ | $m$ 番目の標本(上付き)と標本数(初出 21.1) |
| $s$ | (第21章)提案幅(初出 21.6) |
| $T(x'\mid x)$ | (第21章)Markov 連鎖の遷移確率(必ず引数付き)(初出 21.5) |
| $w^{(m)}$ | 重点サンプリングの重み(初出 21.4) |
| $\rho_k$,$\tau_{\mathrm{int}}$,$S_{\mathrm{eff}}$ | 自己相関,積分自己相関時間,有効標本数 $S/\tau_{\mathrm{int}}$(初出 21.8) |
| $\Var[f]$,$\sqrt{\Var[f]}$ | (第21章)平均したい関数 $f$ の分散と標準偏差(ガウス過程の $\sigma_f$ とは書かない)(初出 21.1) |
| $\hat{R}$ | 複数の連鎖による収束の診断量(初出 21.10) |
B.1.9 系列・隠れ Markov モデル・Kalman フィルター・RNN
| 記号 | 意味(大きさ・単位)と初出の節 |
|---|---|
| $T$,$t$ | 系列の長さと位置(時刻)(初出 22.1) |
| $x_{1:T}$,$x_{\lt t}$,$x_{\le t}$ | 系列,位置 $t$ より前,位置 $t$ まで(初出 2.2) |
| $z_t\in\{1,\dots,K\}$ | 隠れ状態($K$ は状態の数)(初出 22.3) |
| $\pi_i$,$\bm{A}$,$\bm{B}$ | 初期分布,遷移行列 $A_{ij}=p(z_t=j\mid z_{t-1}=i)$(各行の和が 1),出力確率 $B_{jv}=p(x_t=v\mid z_t=j)$(初出 22.2) |
| $\alpha_t(j)$,$\beta_t(j)$ | forward 変数 $p(x_{1:t},z_t=j)$ と backward 変数 $p(x_{t+1:T}\mid z_t=j)$(初出 22.5) |
| $\gamma_t(j)$,$\xi_t(i,j)$ | 平滑化した状態の確率と,隣り合う 2 時刻の状態の同時確率(初出 22.4) |
| $\omega_t(j)$,$\psi_t(j)$ | Viterbi 法の最大値と,そのときの前の状態(初出 22.8) |
| $q$,$r$,$K_t$,$P_t$ | 過程ノイズの分散,観測ノイズの分散,Kalman ゲイン,推定の分散(初出 22.9) |
| $\mu_{t\mid t-1}$,$P_{t\mid t-1}$ | 1 時刻先の予測の平均と分散($P_{1\mid0}=P_0$)(初出 22.9) |
| $\bm{h}_t$ | RNN の隠れ状態(初出 23.2) |
| $\bm{W}_{hh}$,$\bm{W}_{xh}$,$\bm{W}_{hy}$ | RNN の重み(隠れ→隠れ,入力→隠れ,隠れ→出力)(初出 23.2) |
| $\bm{o}_t$ | ロジット(logit.softmax にかける前の点数)(初出 23.2) |
| $\bm{c}_t$,$\bm{f}_t$,$\bm{i}_t$,$\bm{q}_t$ | LSTM の記憶セル,忘却ゲート,入力ゲート,出力ゲート(出力ゲートを $\bm{o}_t$ と書く文献が多い)(初出 23.6) |
B.1.10 Attention・Transformer・GPT(第24〜26章.系列を行に並べる)
| 記号 | 意味(大きさ・単位)と初出の節 |
|---|---|
| $\bm{X}\in\R^{T\times d_{\mathrm{model}}}$ | 系列の行列(第 $t$ 行が位置 $t$ のベクトル.線形変換は右から掛ける)(初出 24.5) |
| $\bm{Q}$,$\bm{K}$,$\bm{V}$ | Query・Key・Value の行列 $\bm{Q}=\bm{X}\bm{W}_Q$ など(初出 24.2) |
| $d_k$,$d_v$,$d_{\mathrm{model}}$,$d_{\mathrm{ff}}$ | Key・Query の次元,Value の次元,モデルの次元,FFN の中間の次元(初出 25.1) |
| $\bm{M}$ | causal mask($M_{ij}=0\ (j\le i)$,$-\infty\ (j\gt i)$)(初出 24.6) |
| $A_{ij}$,$\bm{A}$,$\bm{Z}$ | Attention の重み(位置 $i$ が位置 $j$ から集める割合)とその行列(各行の和が 1),出力 $\bm{Z}=\bm{A}\bm{V}$.第16章 16.9・第23章 23.8 の重みも $A_{ij}$(初出 24.2) |
| $j$,$\bm{Z}_j$,$\mathrm{MHA}$ | multi-head attention のヘッドの番号($j=1,\dots,n_{\mathrm{head}}$),ヘッド $j$ の出力,ヘッドをつなぐ関数(multi-head attention の略)(初出 24.7) |
| $n_{\mathrm{head}}$,$n_{\mathrm{layer}}$,$\bm{W}_O$ | ヘッド数,層(ブロック)の数,ヘッドの出力をまとめる行列(初出 24.7) |
| $V_{\mathrm{voc}}$,$T_{\max}$ | 語彙サイズ(Value 行列 $\bm{V}$ と区別)と文脈長(初出 25.1) |
| $\bm{W}_E$,$\bm{W}_P$,$\bm{W}_U$ | トークン埋め込み($V_{\mathrm{voc}}\times d_{\mathrm{model}}$),位置埋め込み,出力射影(初出 25.2) |
| $x_t$ | トークンの整数の ID(細字).入力のベクトルは太字 $\bm{x}_t$(初出 26.3) |
| $\tau$ | 生成の temperature:$p_i=\exp(o_i/\tau)/\sum_j\exp(o_j/\tau)$(初出 26.6) |
| $\mathrm{PPL}$ | perplexity $\exp(L)$(初出 26.4) |
B.1.11 統計力学
| 記号 | 意味(大きさ・単位)と初出の節 |
|---|---|
| $k_{\mathrm B}$,$T$ | Boltzmann 定数と温度(K)(初出 5.8) |
| $\beta\equiv1/(k_{\mathrm B}T)$ | 逆温度(初出 5.8) |
| $E$,$Z$ | エネルギーと分配関数 $Z=\sum_x e^{-\beta E(x)}$(初出 5.8) |
| $A=-k_{\mathrm B}T\ln Z$ | Helmholtz の自由エネルギー($F$ と書く本も多い)(初出 5.8) |
| $S$,$H$ | 熱力学のエントロピー($\mathrm{J\,K^{-1}}$)と Shannon のエントロピー(nat).$S=k_{\mathrm B}H$(初出 5.8) |
| $A[q]$ | 変分自由エネルギー $\Ex_q[E]-TS[q]\ge A$(初出 20.8) |
| $s_i$,$J$,$h$ | Ising 模型のスピン($\pm1$),交換相互作用,外場の項(初出 19.2) |
| $n_{\mathrm{nn}}$,$m$ | (第27章)最近接の数と磁化(初出 27.4) |
| $e_{\mathrm{at}}$ | (第27章)原子ごとのエネルギー関数(初出 27.7) |
B.1.12 章によって意味が変わる記号
次の表は,同じ文字が章によって別の量を表す例を集めたものである.多くは,その章の初出(「記号」の囲みなど)で意味を断ってある.断りの無い所でも,添字の有無($\lambda$ と $\lambda_i$),引数の有無($\sigma$ と $\sigma(a)$),太字かどうか($\Phi(z)$ と $\bm{\Phi}$)で区別している組も多い.
| 記号 | 意味(章) |
|---|---|
| $\lambda$ | 正則化係数(添字なし)(第6・8・10・15章) 固有値 $\lambda_i$(必ず添字付き)(第7・18章) Poisson 分布・指数分布の率(第3・20・21章) 最大エントロピーの未定乗数 $\lambda_k$(第27章) 2 状態の連鎖の収束の因子 $1-A_{12}-A_{21}$(第22章) X 線の波長(Bragg の式.4.10)(第4章) |
| $\kappa$ | 条件数(第7・8章) UCB の係数(第1・13章) カーネル密度推定の山の形 $\kappa(\cdot)$(第10章) SMO の 2 次の係数(第11章) |
| $\beta$ | 逆温度 $1/(k_{\mathrm B}T)$(第5・19・20・21・27章) モーメンタム・Adam の係数 $\beta_1,\beta_2$(第7章) backward 変数 $\beta_t(j)$(第22章) |
| $\alpha$ | 不等式制約の乗数・SVM の双対変数 $\alpha_j$,$\alpha_n$(第7・11章) forward 変数 $\alpha_t(j)$(第22章) Dirichlet 分布のパラメーター $\alpha_k$(第3章) |
| $\gamma$ | 負担率 $\gamma_{nk}$(第17章) 平滑化した状態の確率 $\gamma_t(j)$(第22章) RBF カーネルの係数 $1/(2\ell^{2})$(第10・11章) Cauchy 分布(Lorentz 型)の半値半幅(第3・21章) 力の損失の重み(第15章) 距離の Gauss 展開の幅の係数(第16章) |
| $A$,$\bm{A}$ | Helmholtz の自由エネルギー $A$(第5・20・27章) 隠れ Markov モデル・Markov 連鎖の遷移行列 $\bm{A}$(第21・22章) Attention の重み $A_{ij}$ とその行列 $\bm{A}$(第16・23・24章) 格子ベクトルを列に並べた行列 $\bm{A}$(16.5)(第16章) Beta 分布の事後のパラメーター $A=a+m$,$B=b+l$(第4章) ミニバッチの活性 $\bm{A}^{(l)}$(第14章) Platt のスケーリングの係数 $A$($B$ と組)(第9・11章) |
| $K$,$\bm{K}$ | Gram 行列 $\bm{K}$(第10・12・28章) Key の行列 $\bm{K}$(第24・25章) クラス・成分・状態の数 $K$(第9・17・22章) 交差検証の分割数 $K$(第6章) Kalman ゲイン $K_t$(第22章) 各変数がとる値の数 $K$(第19章) |
| $s$ | データ A の規格化した焼成温度 $(T-1300\ ^{\circ}\mathrm{C})$ $/(200\ ^{\circ}\mathrm{C})$(第1・6・8・20章) 標準偏差(標準化に使う $s_j$,予測標準偏差 $s_n$ など)(第7・28章) Student の t 分布の尺度(第3・4章) Weibull 分布の強度($s_0$ は尺度)(第3章) 特異値 $s_i$(第8・18章) Metropolis–Hastings 法の提案幅(第21章) Ising 模型のスピン $s_i$(第19・21・27章) Gauss 型の基底の幅(12.3)(第12章) LayerNorm の分散 $s^{2}$(第25章) Attention のスコア $s_j$,$s_{ij}$(第24章) |
| $T$ | 温度(K.統計力学)(第5・21・27章) 焼成温度(°C.データ A)(第1・6・28章) 系列の長さ(第22・23・24・25・26章) Markov 連鎖の遷移確率 $T(x'\mid x)$(第21章) 2 階のテンソル $\bm{T}$(第16章) |
| $d$ | 多項式の次数(第6・8・10・11・28章) Attention・Transformer の次元 $d_k$,$d_{\mathrm{model}}$(第24・25・26章) EI の改善量の平均 $\mu_*-f_{\mathrm{best}}-\xi$(第13・28章) 粒径,面間隔,直径などの長さ(第2・4・17・18・27章) 同じ状態にとどまる時刻数(滞在時間)(第22章) |
| $z$,$\bm{z}$,$\bm{Z}$ | 隠れ層の出力 $\bm{z}^{(l)}$(第14・15章) 離散の潜在変数(one-hot)$\bm{z}_n$(第17・19章) 連続の潜在変数(得点)$\bm{z}_n\in\R^{M}$(第18章) 隠れ状態 $z_t$(第22章) 標準化した値 $z$(標準 Gauss 分布の変数)(第3・13・28章) Attention の出力 $\bm{z}_i$,$\bm{Z}$(第24・25章) |
| $h$ | 活性化関数 $h(\cdot)$(第14・15・25章) Ising 模型の外場の項(第19・20・21・27章) 自己情報量 $h(x)$(第5章) 等式制約 $h(\bm{w})=0$(第7章) RNN の隠れ状態 $\bm{h}_t$(第23章) グラフの頂点の特徴 $\bm{h}_i$(第16章) |
| $H$,$\bm{H}$ | エントロピー $H[p]$(第5・20・27章) 隠れユニットの数 $H$(第14・15章) Hesse 行列 $\bm{H}$(第7・9章) ハット行列 $\bm{H}=\bm{\Phi}(\bm{\Phi}^{\tp}\bm{\Phi})^{-1}\bm{\Phi}^{\tp}$(第6・8章) encoder・最後の層の出力 $\bm{H}$(第25・26章) |
| $L$ | 損失 $L$(第7・14・15章) バイアス–分散分解の組の数 $L$(6.4)(第6章) |
| $\sigma$,$\sigma_w$,$\sigma_f$ | 標準偏差 $\sigma$ と sigmoid 関数 $\sigma(a)$(第9・14・15・23章) $\sigma_w$:重みの事前分布の標準偏差(第6・8・12・20章) $\sigma_f$:RBF カーネルの信号の標準偏差(第10・12・13章) $\sigma_f$:誤差の伝播での $f$ の標準偏差($\sigma_x,\ \sigma_y$ と同じ添字の書き方)(第2章) |
| $\tau$ | 生成の temperature(第26・27章) 励起状態の寿命(第3章) 混合成分の精度 $\tau_k=1/\sigma_k^{2}$(第17章) 積分自己相関時間 $\tau_{\mathrm{int}}$(添字つき)(第21章) 重みの事前分散の尺度 $\tau^{2}$(12.3)(第12章) 隣どうしのスピンの積 $\tau_i=\sigma_i\sigma_{i+1}$(例題19.11)(第19章) 打ち切り BPTT の区間の長さ(第23章) ずらす量 $S_\tau$(第16章) 許容因子(Bartel らの記述子)(第9章) |
| $B$,$\bm{B}$ | ミニバッチの大きさ(第7・14・15章) 評価回数の予算(第13章) 出力確率の行列 $\bm{B}$(第22章) ベータ関数 $B(a,b)$(第3・4章) $\hat{R}$ の連鎖の間の分散 $B$(第21章) Platt のスケーリングの係数 $B$($A$ と組)(第9・11章) |
| $M$,$\bm{M}$ | 基底の数・パラメーターの数(第6・8・20章) 潜在変数の次元(第18章) causal mask の行列 $\bm{M}$(第24・25章) メッセージ関数 $M_l$(第16章) |
| $m$ | 成功回数・計数(第3・4章) Weibull 係数(第3章) ガウス過程の定数の平均関数(第12・28章) メッセージ $m_{\to}$,$m_{f\to x}$(第19章) 標本の番号(上付き $(m)$)(第21章) 磁化(第27章) Adam の 1 次のモーメント $\bm{m}_t$(第7章) |
| $q$,$\bm{q}$ | 近似分布 $q$(第17・20・27章) 提案分布 $q(x'\mid x)$(第21章) Kalman フィルターの過程ノイズの分散 $q$(第22章) LSTM の出力ゲート $\bm{q}_t$(第23章) Query のベクトル $\bm{q}_i$(第16・24章) |
| $r$ | Metropolis–Hastings 法の比(第21章) Kalman フィルターの観測ノイズの分散(第22章) 単純後悔 $r_n$(第13章) k-means の割り当て $r_{nk}$(第17章) 勾配確認の相対誤差(第15章) |
| $\pi$ | 円周率(添字なし)(第3・17章) 混合係数 $\pi_k$(第17・19章) 隠れ Markov モデルの初期分布 $\pi_i$(第22章) 逐次更新での精度 $\pi_k=1/\sigma_k^{2}$(付録C の演習4.4の解答) |
| $\Phi$,$\bm{\Phi}$ | 計画行列 $\bm{\Phi}$(太字)(第8・10章) 標準 Gauss 分布の累積分布関数 $\Phi(z)$(細字)(第3・13・28章) |
| $\Lambda$,$\bm{\Lambda}$ | Lagrange 関数 $\Lambda$(第7・11・17・18・26・27章) Gauss 混合の成分の精度行列 $\bm{\Lambda}_k$(第17章) Laplace 近似の曲率(精度)$\Lambda$,$\bm{\Lambda}$(第20章) |
| $\varepsilon$,$\epsilon$ | 観測ノイズ $\varepsilon$(第6・8・12・13章) 小さな正の数 $\epsilon$(差分の刻み・ゼロ割り防止)(第7・15・17・25章) 再パラメーター化の乱数 $\bm{\epsilon}$(第20章) |
| $\xi$ | スラック変数 $\xi_n$(第11章) EI・PI の余裕 $\xi$(第13章) 隣り合う 2 時刻の状態の確率 $\xi_t(i,j)$(第22章) |
| $\psi$ | 無向グラフのポテンシャル $\psi_C$(第19章) Viterbi 法の戻り先 $\psi_t(j)$(第22章) |
| $\nu$ | 等式制約の乗数(第7・17・26章) Student の t 分布の自由度(第3・4章) Matérn カーネルの滑らかさ(第10章) 波数(第18章) |
| $\ell$ | RBF カーネルの長さスケール(第10・12・13・28章) 1 個のデータの損失 $\ell_n$,$\ell_t$(第6・7・14・15・23・26章) ロジット $\ell(p)$(演習9.2)(第9章) 平均の対数尤度 $\ell(\bm{\theta})$(第27章) |
| $Z$,$\bm{Z}$ | 分配関数・正規化定数 $Z$(第19・21・27章) ミニバッチの隠れ層の出力 $\bm{Z}^{(l)}$(第14章) 潜在変数をまとめた行列 $\bm{Z}$(第17章) Attention の出力 $\bm{Z}$(第24・25章) 試料のバッチを表す行列 $\bm{Z}$(第28章) |
| $P$,$\bm{P}$ | 事象の確率 $P(\cdot)$(第2・3・13章) Kalman フィルターの推定の分散 $P_t$(第22章) 置換行列 $\bm{P}$(第24章) |
| $\hat{R}$ | 経験損失(訓練誤差)$\hat{R}(f)$(第6章) 複数の連鎖による収束の診断量(第21章) |
| $\theta$,$\bm{\theta}$ | パラメーター一般(第2・4・20・26章) ハイパーパラメーター $(\ell,\sigma_f,\sigma)$(第12・28章) 回折角・回転角(第4・16章) 勾配クリッピングの上限(第23章) |
B.1.13 損失を和で書く章と平均で書く章
損失をデータについての和で書くか平均で書くかで,最小点は変わらないが,勾配と Hesse 行列が $N$ 倍違う.そのため同じ学習率 $\eta$ でも 1 歩の大きさが変わり,正則化係数 $\lambda$ も,平均の規約の値は和の規約の値の $1/N$ に当たる.
| 章 | 規約 | 断りのある節 |
|---|---|---|
| 第7章(最適化) | 平均 $\frac1N\sum_n$ | 7.5 |
| 第8・9章(線形回帰・線形識別) | 和 $\sum_n$ | 8.1,9.3 |
| 第10章(カーネル法) | 和 | 第10章 |
| 第14・15章(ニューラルネットワーク) | ミニバッチの平均 $\frac1B\sum_{n\in\mathcal{B}}$ | 15.2 |
| 第23・26章(RNN・GPT の言語モデル) | 位置の数 $T$ で平均(列は $x_1,\dots,x_{T+1}$) | 23.3,26.4 |
B.2 PRML との記号の対照
本書の中心的な参考書である C. M. Bishop, Pattern Recognition and Machine Learning, Springer (2006)(以下 PRML)と本書では,いくつかの記号が違う.主な理由は二つある.一つは,本書が物理・材料の読者を想定し,$\beta$ を逆温度に,$t$ を時刻に,$E$ をエネルギーに取っておいたことである.もう一つは,ノイズや事前分布を精度(分散の逆数)ではなく分散で書いたことである.次の表は,PRML の記法を引用した資料で対応を確かめられたものだけを挙げた(PRML の太字は立体の太字で表した).表にない記号の対応は,両方の本の定義の式で確かめてほしい.
| 本書 | PRML | 意味・備考 |
|---|---|---|
| $y$,$\bm{y}$ | $t$,$\mathbf{t}$ | 目標値.本書の $t$ は時刻・系列の位置 |
| $f(\bm{x};\bm{w})$ | $y(\mathbf{x},\mathbf{w})$ | モデル(関数).本書の $\hat{y}$ は予測値 |
| $L(\bm{w})$ | $E(\mathbf{w})$ | 損失(誤差関数) |
| $\sigma^{2}$ | $\beta^{-1}$ | 観測ノイズの分散(PRML の $\beta$ は精度).本書の $\beta$ は逆温度 |
| $\sigma_w^{2}$ | $\alpha^{-1}$ | 重みの事前分布 $\Normal(\bm{w}\mid\bm{0},\sigma_w^{2}\bm{I})$ の分散 |
| $\lambda=\sigma^{2}/\sigma_w^{2}$ | $\lambda=\alpha/\beta$ | Ridge 回帰(重み減衰)と MAP 推定の対応 |
| $\bm{S}_N^{-1}=\sigma_w^{-2}\bm{I}+\sigma^{-2}\bm{\Phi}^{\tp}\bm{\Phi}$ | $\mathbf{S}_N^{-1}=\alpha\mathbf{I}+\beta\boldsymbol{\Phi}^{\mathrm{T}}\boldsymbol{\Phi}$ | ベイズ線形回帰の事後共分散($\bm{m}_N$,$\bm{S}_N$ の文字は同じ) |
| 次数 $d$,基底の数 $M=d+1$ | 次数 $M$(係数は $M+1$ 個) | 多項式の当てはめの例.本書は $M$ を基底の数だけに使う |
| $\bm{K}_y=\bm{K}+\sigma^{2}\bm{I}$ | $\mathbf{C}_N$ | ガウス過程のノイズを含む共分散行列 |
| $\sigma_*^{2}+\sigma^{2}$ | $\sigma^{2}(\mathbf{x}_{N+1})$ | 観測値の予測分散.本書の $\sigma_*^{2}$ はノイズを含まない潜在関数の分散 |
| $\ell$(RBF の長さスケール) | $\sigma$(Gauss カーネルの幅) | $k=\exp\bigl(-\norm{\bm{x}-\bm{x}'}^{2}/(2\ell^{2})\bigr)$ |
| $\alpha_n$ | $a_n$ | SVM の双対変数(Lagrange 乗数).ラベル $\pm1$ は PRML でも $t_n$ |
| $\Lambda$,$\nu$,$\alpha_j$ | $L$,$\lambda$ | Lagrange 関数と乗数 |
| $\gamma_{nk}$ | $\gamma(z_{nk})$ | 負担率 |
| $\ELBO(q)$ | $\mathcal{L}(q)$(第9章では $\mathcal{L}(q,\boldsymbol{\theta})$) | 対数周辺尤度の下界(ELBO) |
| $\mathrm{St}(x\mid\mu,s^{2},\nu)$ | $\mathrm{St}(x\mid\mu,\lambda,\nu)$ | Student の t 分布.PRML の $\lambda$ は精度で $\lambda=1/s^{2}$ |
| $\mathrm{Gam}(x\mid a,b)$ | $\mathrm{Gam}(\lambda\mid a,b)$ | Gamma 分布(形 $a$,率 $b$).文字の役割は同じ |
| $I[x;y]$ | $I[\mathbf{x},\mathbf{y}]$ | 相互情報量 |
| $\bm{v}_i$,$\lambda_i$ | $\mathbf{u}_i$,$\lambda_i$ | PCA の主成分の向きと固有値 |
| $z_t$,$t=1,\dots,T$ | $\mathbf{z}_n$,$n=1,\dots,N$ | 隠れ Markov モデル・状態空間モデルの時刻.本書の $N$ はデータ数 |
| $\alpha_t(j)$,$\beta_t(j)$ | $\alpha(\mathbf{z}_n)$,$\beta(\mathbf{z}_n)$ | forward 変数・backward 変数(本書は状態 $j$ を添字で示す) |
| $P_t$,$P_{t\mid t-1}$,$q$,$r$,$K_t$ | $\mathbf{V}_n$,$\mathbf{P}_{n-1}$,$\boldsymbol{\Gamma}$,$\boldsymbol{\Sigma}$,$\mathbf{K}_n$ | Kalman フィルターの推定の分散,予測の分散,過程ノイズ,観測ノイズ,Kalman ゲイン(本書は 1 次元) |
| $m_{f\to x}(x)$ | $\mu_{f_s\to x}(x)$ | sum-product 算法のメッセージ |
注意:対照表は記号の読み替えのためのもの
記号を読み替えても,式の形が同じになるとは限らない.たとえばガウス過程の予測分散は,PRML ではノイズを含む値を一つ書くが,本書では潜在関数の分散 $\sigma_*^{2}$ と観測値の分散 $\sigma_*^{2}+\sigma^{2}$ を区別して書く(第12章 12.6 節).損失の和と平均の違い(表B.12)も,正則化係数の値に効く.数値を比べるときは,両方の本の定義の式まで戻って確かめてほしい.
B.3 用語対照
本文で太字にして導入した用語を,日本語の読みの五十音順に並べた(Gauss・Markov などの人名で始まる語は,その読み〔ガウス,マルコフ〕の位置に置いた).「初出」は,その語が節の題に現れるか,太字で導入される最初の節である.英語は本文で添えた語を基本とし,分野で一般的な言い方を補った.表記は本書の決まり(人名は欧文で書く,長音を付ける,「不確かさ」と書く,など)に合わせてある.
| 日本語 | 英語 | 初出 |
|---|---|---|
| あ行 | ||
| 鞍点 | saddle point | 7.4 |
| Jensen の不等式 | Jensen's inequality | 20.3 |
| 位置符号 | positional encoding | 25.2 |
| 因子グラフ | factor graph | 19.6 |
| 因子分析 | factor analysis | 18.7 |
| 埋め込み | embedding | 23.1 |
| エネルギーベースモデル | energy-based model | 27.2 |
| エポック | epoch | 7.5 |
| エントロピー | entropy | 5.2 |
| オートエンコーダー | autoencoder | 18.8 |
| 重み減衰 | weight decay | 6.6 |
| か行 | ||
| 回帰 | regression | 1.2 |
| 外挿 | extrapolation | 1.7 |
| ガウス過程回帰 | Gaussian process regression | 第12章 |
| Gauss 分布 | Gaussian distribution(正規分布 normal distribution) | 3.5 |
| 過学習 | overfitting | 1.7 |
| 学習 | learning(training) | 1.1 |
| 学習率 | learning rate | 7.2 |
| 獲得関数 | acquisition function | 13.2 |
| 確率質量関数 | probability mass function | 2.1 |
| 確率的勾配降下法 | stochastic gradient descent(SGD) | 7.5 |
| 確率分布 | probability distribution | 1.2 |
| 確率変数 | random variable | 2.1 |
| 確率密度関数 | probability density function | 2.1 |
| 隠れ層 | hidden layer | 14.3 |
| 隠れ Markov モデル | hidden Markov model(HMM) | 22.3 |
| 活性化関数 | activation function | 14.1 |
| 活用 | exploitation | 1.5 |
| カテゴリカル分布 | categorical distribution | 3.3 |
| カーネル関数 | kernel function | 10.3 |
| カーネルトリック | kernel trick | 10.3 |
| カーネル Ridge 回帰 | kernel ridge regression | 10.6 |
| Kalman フィルター | Kalman filter | 22.9 |
| 機械学習原子間ポテンシャル | machine-learning interatomic potential | 15.10 |
| 棄却サンプリング | rejection sampling | 21.3 |
| 記述子 | descriptor | 1.6 |
| 期待値 | expectation | 2.5 |
| 基底関数 | basis function | 1.6 |
| 帰納バイアス | inductive bias | 16.1 |
| Gibbs サンプリング | Gibbs sampling | 21.9 |
| 強化学習 | reinforcement learning | 1.3 |
| 教師あり学習 | supervised learning | 1.3 |
| 教師なし学習 | unsupervised learning | 1.3 |
| 共分散 | covariance | 2.5 |
| 共分散行列 | covariance matrix | 2.5 |
| 共変量シフト | covariate shift | 6.9 |
| 共役事前分布 | conjugate prior | 3.11 |
| 偶然的不確かさ | aleatoric uncertainty | 4.8 |
| クラスター展開 | cluster expansion | 19.10 |
| クラスタリング | clustering | 1.2 |
| グラフィカルモデル | graphical model | 第19章 |
| 訓練データ | training data | 6.1 |
| 計画行列 | design matrix | 8.2 |
| 計算グラフ | computational graph | 15.1 |
| 決定境界 | decision boundary | 9.1 |
| 決定係数 | coefficient of determination | 6.10 |
| 検索拡張生成 | retrieval-augmented generation(RAG) | 26.12 |
| 検証データ | validation data | 6.2 |
| 語彙 | vocabulary | 22.1 |
| 交差エントロピー | cross entropy | 5.4 |
| 交差検証 | cross-validation | 6.3 |
| 較正 | calibration | 9.8 |
| 勾配 | gradient | 1.4 |
| 勾配クリッピング | gradient clipping | 23.5 |
| 勾配降下法 | gradient descent | 1.4 |
| 勾配消失 | vanishing gradient | 15.7 |
| 交絡 | confounding | 6.11 |
| 誤差逆伝播 | backpropagation | 15.2 |
| Cholesky 分解 | Cholesky decomposition | 8.5 |
| 混合係数 | mixing coefficient | 17.3 |
| 混同行列 | confusion matrix | 9.7 |
| さ行 | ||
| 再現率 | recall | 9.7 |
| 最小二乗法 | least squares | 8.2 |
| 最大エントロピー原理 | principle of maximum entropy | 27.5 |
| 最尤推定 | maximum likelihood estimation | 2.7 |
| サポートベクトル | support vector | 11.3 |
| サポートベクトル回帰 | support vector regression(SVR) | 11.8 |
| サポートベクトルマシン | support vector machine(SVM) | 第11章 |
| 残差 | residual | 1.4 |
| 残差接続 | residual connection | 15.7 |
| サンプリング | sampling | 21.3 |
| 時間方向の誤差逆伝播 | backpropagation through time(BPTT) | 23.4 |
| 次元削減 | dimensionality reduction | 1.2 |
| 自己回帰 | autoregressive | 22.1 |
| 自己教師あり学習 | self-supervised learning | 1.3 |
| 自己情報量 | self-information | 5.1 |
| 事後分布 | posterior distribution | 4.3 |
| 事後予測分布 | posterior predictive distribution | 4.5 |
| 指示調整 | instruction tuning | 26.8 |
| 指数型分布族 | exponential family | 3.11 |
| 指数分布 | exponential distribution | 2.6 |
| 事前学習 | pre-training | 1.3 |
| 事前分布 | prior distribution | 4.3 |
| 自動微分 | automatic differentiation | 15.9 |
| 次トークン予測 | next-token prediction | 26.4 |
| 重点サンプリング | importance sampling | 21.4 |
| 周辺化 | marginalization | 2.2 |
| 周辺分布 | marginal distribution | 2.2 |
| 周辺尤度 | marginal likelihood(evidence.証拠(エビデンス)とも呼ぶ) | 2.4 |
| 主成分分析 | principal component analysis(PCA) | 18.2 |
| 順伝播 | forward propagation | 14.3 |
| 条件数 | condition number | 7.2 |
| 条件付き確率 | conditional probability | 2.2 |
| 条件付き独立 | conditional independence | 2.3 |
| 詳細釣り合い | detailed balance | 21.5 |
| 状態空間モデル | state space model | 22.9 |
| スラック変数 | slack variable | 11.5 |
| 正規方程式 | normal equations | 1.4 |
| 生成 | generation | 1.2 |
| 生成的分類 | generative classification | 9.2 |
| 正則化 | regularization | 6.6 |
| 正定値カーネル | positive definite kernel | 10.4 |
| 制約付き最適化 | constrained optimization | 7.7 |
| 遷移行列 | transition matrix | 21.5 |
| 線形判別分析 | linear discriminant analysis(LDA) | 9.2 |
| 線形分離可能 | linearly separable | 9.6 |
| 潜在表現 | latent representation | 1.2 |
| 潜在変数 | latent variable | 17.3 |
| 相関係数 | correlation coefficient | 2.5 |
| 早期終了 | early stopping | 6.6 |
| 相互情報量 | mutual information | 5.7 |
| 双対問題 | dual problem | 7.7 |
| 損失関数 | loss function | 1.4 |
| た行 | ||
| 大数の法則 | law of large numbers | 2.8 |
| 代理モデル | surrogate model | 12.11 |
| 多項分布 | multinomial distribution | 3.3 |
| 多層パーセプトロン | multilayer perceptron(MLP) | 14.3 |
| 畳み込み | convolution | 16.2 |
| 畳み込みニューラルネットワーク | convolutional neural network(CNN) | 16.2 |
| 探索 | exploration | 1.5 |
| 単純後悔 | simple regret | 13.8 |
| 置換同変性 | permutation equivariance | 24.8 |
| 中心極限定理 | central limit theorem | 2.8 |
| Dirichlet 分布 | Dirichlet distribution | 3.10 |
| 定常分布 | stationary distribution | 21.5 |
| 適合率 | precision(分類の評価指標) | 9.7 |
| テストデータ | test data | 1.7 |
| データ拡張 | data augmentation | 15.8 |
| データ漏洩 | data leakage | 1.7 |
| 同時分布 | joint distribution | 2.2 |
| 同変 | equivariant | 16.3 |
| 特異値分解 | singular value decomposition(SVD) | 8.5 |
| 特徴写像 | feature map | 10.1 |
| 独立同分布 | independent and identically distributed(i.i.d.) | 2.8 |
| トークン | token | 23.1 |
| トークン化 | tokenization | 26.2 |
| 凸関数 | convex function | 7.4 |
| な行 | ||
| 内挿 | interpolation | 1.7 |
| 長さスケール | length scale | 10.5 |
| 二項分布 | binomial distribution | 3.2 |
| Newton 法 | Newton's method | 7.9 |
| ニューラルネットワーク | neural network | 1.5 |
| ニューロン | neuron(unit) | 14.1 |
| 認識的不確かさ | epistemic uncertainty | 4.8 |
| 能動学習 | active learning | 13.9 |
| は行 | ||
| バイアス–分散分解 | bias–variance decomposition | 6.4 |
| バイト対符号化 | byte pair encoding(BPE) | 26.2 |
| ハイパーパラメーター | hyperparameter | 6.3 |
| 汎化 | generalization | 6.1 |
| 汎化誤差 | generalization error | 6.1 |
| 万能近似定理 | universal approximation theorem | 14.7 |
| Viterbi 法 | Viterbi algorithm | 22.8 |
| 微分エントロピー | differential entropy | 5.3 |
| 標準化 | standardization | 7.3 |
| 標準偏差 | standard deviation | 2.5 |
| ヒンジ損失 | hinge loss | 11.5 |
| ファインチューニング | fine-tuning | 26.7 |
| 負担率 | responsibility | 17.4 |
| 不変 | invariant | 16.7 |
| プロンプト | prompt | 26.7 |
| 分散 | variance | 2.5 |
| 分配関数 | partition function | 19.5 |
| 文脈長 | context length | 25.9 |
| 文脈内学習 | in-context learning | 26.7 |
| 分類 | classification | 1.2 |
| 平滑化 | smoothing | 22.6 |
| 平均場近似 | mean-field approximation | 20.5 |
| ベイズ最適化 | Bayesian optimization | 1.5 |
| ベイズ推定 | Bayesian inference | 1.5 |
| ベイズ線形回帰 | Bayesian linear regression | 8.7 |
| Bayes の定理 | Bayes' theorem | 2.4 |
| Hesse 行列 | Hessian | 7.2 |
| 変分オートエンコーダー | variational autoencoder(VAE) | 18.8 |
| 変分推論 | variational inference | 20.3 |
| Poisson 分布 | Poisson distribution | 3.4 |
| ポテンシャルエネルギー曲面 | potential energy surface | 14.9 |
| Boltzmann 分布 | Boltzmann distribution | 19.5 |
| ま行 | ||
| マテリアルズインフォマティクス | materials informatics | 1.9 |
| Markov 確率場 | Markov random field | 19.5 |
| Markov ブランケット | Markov blanket | 19.3 |
| Markov 連鎖 | Markov chain | 21.5 |
| 未学習 | underfitting | 6.2 |
| 密度推定 | density estimation | 1.2 |
| ミニバッチ | minibatch | 7.5 |
| 無向グラフ | undirected graph | 19.2 |
| メッセージ伝播 | message passing(グラフィカルモデルの sum-product 算法と,グラフニューラルネットワーク) | 16.6 |
| Metropolis–Hastings 法 | Metropolis–Hastings algorithm | 21.6 |
| モデル選択 | model selection | 6.3 |
| モーメンタム | momentum | 7.6 |
| Monte Carlo 法 | Monte Carlo method | 21.1 |
| や行 | ||
| 焼きなまし法 | simulated annealing | 21.10 |
| Jacobi 行列 | Jacobian matrix | 2.6 |
| Jacobi 行列式 | Jacobian(determinant) | 2.6 |
| 有向グラフ | directed graph(Bayesian network) | 19.2 |
| 有向非巡回グラフ | directed acyclic graph(DAG) | 19.2 |
| 有効標本数 | effective sample size | 21.4 |
| 尤度 | likelihood | 2.4 |
| 予測分布 | predictive distribution | 4.5 |
| ら行 | ||
| Lagrange の未定乗数法 | method of Lagrange multipliers | 7.7 |
| Laplace 近似 | Laplace approximation | 20.2 |
| ランダム探索 | random search | 13.8 |
| リプレゼンター定理 | representer theorem | 10.7 |
| レプリカ交換法 | replica exchange method | 21.10 |
| ロジスティック回帰 | logistic regression | 9.3 |
| ロジット | logit(対数オッズ log-odds.softmax に入れる前の点数 logits の各成分もロジットと呼ぶ) | 9.2 |
| わ行 | ||
| Weibull 分布 | Weibull distribution | 3.10 |
次の語は,本文でも英語(または英字の略語)のまま使っている.初出に短い日本語の説明を添えてある.
| 語 | 意味 | 初出 |
|---|---|---|
| Adam | 勾配の 1 次・2 次のモーメントで歩幅を調節する最適化法 | 7.6 |
| Attention | 関連する位置の情報を重み付きで集める仕組み(注意機構) | 16.9 |
| AUC | ROC 曲線の下の面積(area under the curve) | 9.7 |
| BIC | Bayes 情報量規準(Bayesian information criterion) | 17.10 |
| causal mask | 先の位置を見ないようにする Attention のマスク | 24.6 |
| d 分離 | 有向グラフから条件付き独立を読み取る規則(d-separation) | 19.3 |
| decoder・encoder | 系列を生成する側・読み込む側のネットワーク | 23.7 |
| ELBO | 対数周辺尤度の下界(evidence lower bound) | 17.7 |
| EM 法 | 期待値最大化法(expectation–maximization algorithm) | 17.5 |
| feed-forward network(FFN) | 位置ごとに同じ 2 層のネットワークをかける Transformer の副層 | 25.4 |
| GELU | Gauss の累積分布関数を使った活性化関数(Gaussian error linear unit) | 14.2 |
| GPT | decoder だけの Transformer を次トークン予測で事前学習した言語モデル(generative pre-trained transformer) | 26.1 |
| greedy | 確率が最大のトークンを選ぶ生成の方法 | 26.6 |
| k-means | 最も近い平均に割り当てるクラスタリング(k 平均法) | 17.2 |
| KKT 条件 | 不等式制約付き最適化の最適性の条件(Karush–Kuhn–Tucker conditions) | 7.7 |
| KL ダイバージェンス | Kullback–Leibler divergence.分布のずれの大きさ | 5.4 |
| LayerNorm | ベクトルごとに平均 0・分散 1 にそろえる正規化(layer normalization) | 25.3 |
| LSTM | ゲートで記憶を運ぶ RNN(long short-term memory) | 23.6 |
| MAP 推定 | 最大事後確率推定(maximum a posteriori estimation) | 4.7 |
| MCMC | Markov 連鎖 Monte Carlo 法(Markov chain Monte Carlo) | 21.5 |
| multi-head attention | 複数のヘッドの Attention を並べる仕組み | 24.7 |
| one-hot | 1 つの成分だけが 1 で残りが 0 のベクトル | 3.3 |
| perplexity | 平均の負の対数尤度の指数.PPL | 26.4 |
| PR 曲線 | 適合率と再現率の曲線(precision–recall curve) | 9.7 |
| Query・Key・Value | Attention で問い合わせ・照合・取り出しに使う 3 種類のベクトル | 24.1 |
| ReLU | $\max(0,a)$ の活性化関数(rectified linear unit) | 14.2 |
| RNN | 同じ重みで過去を要約し続ける再帰型ニューラルネットワーク(recurrent neural network) | 23.2 |
| ROC 曲線 | 受信者動作特性曲線(receiver operating characteristic) | 9.7 |
| self-attention | 同じ系列から Query・Key・Value を作る Attention | 24.5 |
| sigmoid | $1/(1+e^{-a})$ の関数 | 8.1 |
| SMO | SVM の双対問題を 2 変数ずつ解く方法(sequential minimal optimization) | 11.8 |
| softmax | 点数を足して 1 になる確率に変える関数 | 9.5 |
| sum-product 算法 | 木の上で周辺分布を厳密に求めるメッセージ伝播(確率伝播,belief propagation) | 19.8 |
| t-SNE・UMAP | 近さを保って 2 次元などへ写す非線形の次元削減 | 18.9 |
| temperature | 生成の分布の広がりを変える係数 $\tau$ | 26.6 |
| top-k・top-p | 確率の上位 $k$ 個・累積確率 $p$ までから選ぶ生成の方法(top-p は nucleus sampling) | 26.6 |
| Transformer | Attention と位置ごとの FFN のブロックを積み重ねたモデル | 25.1 |
B.4 確率分布の一覧と共役の関係
第3章で扱った分布の性質を表にまとめる(第3章の表3.2に「主に使う章」の列を足したもの).Gamma 分布と Beta 分布のパラメーター $a,\ b$ は第3章の書き方(Gamma は形 $a$ と率 $b$)である.分布の性質の導出は第3章の各節にある.
| 分布 | 定義域 | パラメーター | 平均 | 分散 | 主に使う章 |
|---|---|---|---|---|---|
| Bernoulli | $\{0,1\}$ | $\mu\in[0,1]$ | $\mu$ | $\mu(1-\mu)$ | 3・4・9 |
| 二項 | $\{0,\dots,N\}$ | $N$,$\mu$ | $N\mu$ | $N\mu(1-\mu)$ | 2・3・4 |
| 多項(成分 $k$) | $\sum_km_k=N$ | $N$,$\bm{\mu}$ | $N\mu_k$ | $N\mu_k(1-\mu_k)$ | 3 |
| Poisson | $\{0,1,2,\dots\}$ | $\lambda\gt0$ | $\lambda$ | $\lambda$ | 3・4・20 |
| Gauss | $\R$ | $\mu$,$\sigma^{2}\gt0$ | $\mu$ | $\sigma^{2}$ | 3・4・8・12・13・22 |
| 多変量 Gauss | $\R^{D}$ | $\bm{\mu}$,$\bm{\Sigma}$(正定値) | $\bm{\mu}$ | $\bm{\Sigma}$ | 3・8・12・17・18・20 |
| Cauchy | $\R$ | $x_0$,$\gamma\gt0$ | 存在しない | 存在しない | 3・21 |
| 指数 | $[0,\infty)$ | $\lambda\gt0$ | $1/\lambda$ | $1/\lambda^{2}$ | 3・21 |
| Gamma | $(0,\infty)$ | $a\gt0$,$b\gt0$ | $a/b$ | $a/b^{2}$ | 3・4・17 |
| Beta | $[0,1]$ | $a\gt0$,$b\gt0$ | $\dfrac{a}{a+b}$ | $\dfrac{ab}{(a+b)^{2}(a+b+1)}$ | 3・4・20・21 |
| Student の t | $\R$ | $\mu$,$s\gt0$,$\nu\gt0$ | $\mu$($\nu\gt1$) | $\dfrac{s^{2}\nu}{\nu-2}$($\nu\gt2$) | 3・4 |
| Dirichlet(成分 $k$) | 単体 | $\bm{\alpha}$ | $\alpha_k/\alpha_0$ | $\dfrac{\alpha_k(\alpha_0-\alpha_k)}{\alpha_0^{2}(\alpha_0+1)}$ | 3・17・22 |
| Weibull | $[0,\infty)$ | $m\gt0$,$s_0\gt0$ | $s_0\Gamma(1+\frac1m)$ | $s_0^{2}[\Gamma(1+\frac2m)-\Gamma(1+\frac1m)^{2}]$ | 3 |
B.4.1 確率質量関数・確率密度関数
第3章の定義の式を,記号を変えずに再掲する.
- Bernoulli 分布(3.2) $$ \mathrm{Bern}(x\mid\mu)=\mu^{x}(1-\mu)^{1-x} $$
- 二項分布(3.2) $$ \begin{aligned}&\mathrm{Bin}(m\mid N,\mu)\\&=\binom{N}{m}\mu^{m}(1-\mu)^{N-m}\end{aligned} $$
- カテゴリカル分布(3.3) $$ \mathrm{Cat}(\bm{x}\mid\bm{\mu})=\prod_{k=1}^{K}\mu_k^{x_k} $$
- 多項分布(3.3) $$ \begin{aligned}&\mathrm{Mult}(m_1,\dots,m_K\mid N,\bm{\mu})\\&=\frac{N!}{m_1!\,m_2!\cdots m_K!}\prod_{k=1}^{K}\mu_k^{m_k},\\&\sum_{k}m_k=N\end{aligned} $$
- Poisson 分布(3.4) $$ \mathrm{Pois}(m\mid\lambda)=\frac{\lambda^{m}e^{-\lambda}}{m!} $$
- 指数分布(3.1,$t\ge0$) $$ p(t\mid\lambda)=\lambda e^{-\lambda t} $$
- Gauss 分布(3.5) $$ \begin{aligned}&\Normal(x\mid\mu,\sigma^{2})\\&=\frac{1}{\sqrt{2\pi\sigma^{2}}}\exp\!\left[-\frac{(x-\mu)^{2}}{2\sigma^{2}}\right]\end{aligned} $$
- 多変量 Gauss 分布(3.6) $$ \begin{aligned}&\Normal(\bm{x}\mid\bm{\mu},\bm{\Sigma})\\&=\frac{1}{(2\pi)^{D/2}\abs{\bm{\Sigma}}^{1/2}}\\&\quad\times\exp\Bigl[-\frac12(\bm{x}-\bm{\mu})^{\tp}\\&\qquad\qquad\ \bm{\Sigma}^{-1}(\bm{x}-\bm{\mu})\Bigr]\end{aligned} $$
- Cauchy 分布(Lorentz 型)(3.7) $$ \begin{aligned}&p(x\mid x_0,\gamma)\\&=\frac{1}{\pi}\,\frac{\gamma}{(x-x_0)^{2}+\gamma^{2}}\end{aligned} $$
- Gamma 分布(3.8) $$ \begin{aligned}&\mathrm{Gam}(x\mid a,b)\\&=\frac{b^{a}}{\Gamma(a)}\,x^{a-1}e^{-bx}\end{aligned} $$
- Beta 分布(3.8) $$ \begin{aligned}&\mathrm{Beta}(\mu\mid a,b)\\&=\frac{1}{B(a,b)}\,\mu^{a-1}(1-\mu)^{b-1}\\&=\frac{\Gamma(a+b)}{\Gamma(a)\Gamma(b)}\\&\quad\times\mu^{a-1}(1-\mu)^{b-1}\end{aligned} $$
- Student の t 分布(3.9) $$ \begin{aligned}&\mathrm{St}(x\mid\mu,s^{2},\nu)\\&=\frac{\Gamma\bigl(\frac{\nu+1}{2}\bigr)}{\Gamma\bigl(\frac{\nu}{2}\bigr)\sqrt{\nu\pi}\,s}\\&\quad\times\left[1+\frac{(x-\mu)^{2}}{\nu s^{2}}\right]^{-(\nu+1)/2}\end{aligned} $$
- Dirichlet 分布(3.10) $$ \begin{aligned}&\mathrm{Dir}(\bm{\mu}\mid\bm{\alpha})\\&=\frac{\Gamma(\alpha_0)}{\Gamma(\alpha_1)\cdots\Gamma(\alpha_K)}\\&\quad\times\prod_{k=1}^{K}\mu_k^{\alpha_k-1}\end{aligned} $$
- Weibull 分布(3.10,$s\ge0$.$m$ は Weibull 係数,$s_0$ は尺度) $$ p(s)=\frac{m}{s_0}\left(\frac{s}{s_0}\right)^{m-1}\exp\!\left[-\left(\frac{s}{s_0}\right)^{m}\right], $$
B.4.2 共役事前分布の組
尤度と事前分布の積が,事前分布と同じ形の分布に比例するとき,その事前分布を共役事前分布という(第3章 3.11 節).データを観測した後のパラメーターの更新は,下の表のように数を足すだけになる.事前分布のパラメーターは「仮想的なデータの数」と読める.たとえば Beta 分布の事前分布 $\mathrm{Beta}(a,b)$ は,一様な $\mathrm{Beta}(1,1)$ から出発して成功 $a-1$ 回・失敗 $b-1$ 回を見た後の事後分布と同じ形なので,$a-1,\ b-1$ を事前分布に含まれる仮想的な観測回数と読む(第4章 4.4 節).
| データの分布(尤度) | 推定する量 | 事前分布 | 事後分布 | 本書で扱う所 |
|---|---|---|---|---|
| Bernoulli・二項($N$ 回中 $m$ 回成功,$l=N-m$) | 成功の確率 $\mu$ | $\mathrm{Beta}(\mu\mid a,b)$ | $\mathrm{Beta}(\mu\mid a+m,\ b+l)$ | 4.4 |
| カテゴリカル・多項(結果 $k$ が $m_k$ 回) | 確率のベクトル $\bm{\mu}$ | $\mathrm{Dir}(\bm{\mu}\mid\bm{\alpha})$ | $\mathrm{Dir}(\bm{\mu}\mid\bm{\alpha}+\bm{m})$,$\bm{m}=(m_1,\dots,m_K)^{\tp}$ | 第17章,22.2 |
| Poisson($N$ 個の計数 $x_1,\dots,x_N$) | 率 $\lambda$ | $\mathrm{Gam}(\lambda\mid a,b)$ | $\mathrm{Gam}\bigl(\lambda\mid a+\sum_nx_n,\ b+N\bigr)$ | 第4章 演習4.3 |
| Gauss(分散 $\sigma^{2}$ は既知) | 平均 $\mu$ | $\Normal(\mu\mid\mu_0,\sigma_0^{2})$ | $\Normal(\mu\mid\mu_N,\sigma_N^{2})$(下の式) | 4.6 |
| Gauss(平均 $\mu$ は既知) | 精度 $1/\sigma^{2}$ | Gamma(形 $a$,率 $b$) | Gamma(形 $a+\frac N2$,率 $b+\frac12\sum_n(x_n-\mu)^{2}$) | 3.9 |
分散が既知の Gauss 分布の平均の事後分布のパラメーターは次のとおりである(第4章 4.6 節).精度(分散の逆数)が足し算になることに注意する.
$$ \begin{gathered} \frac{1}{\sigma_N^{2}}=\frac{1}{\sigma_0^{2}}+\frac{N}{\sigma^{2}},\\ \mu_N=\sigma_N^{2}\left(\frac{\mu_0}{\sigma_0^{2}}+\frac{N\bar{x}}{\sigma^{2}}\right) \end{gathered} $$B.5 章ごとの主要式
各章の主要な式を,部ごと・章ごとに並べる.式は本文から記号を変えずに写したもので,本文の式番号は付けず,その式のある節にリンクした.一つの式で表せない内容(仮定や適用の条件)は本文に書いてあるので,使う前に必ずリンク先を読んでほしい.とくに損失の規約(和か平均か,表B.12)と,第24〜26章の行に並べる規約に注意する.
B.5.1 第I部 機械学習の入口と確率
- 直線のモデル(パラメーター 2 個)(1.4 節) $$ \begin{aligned} f(x;\bm{w})&=w_0+w_1x,\\ \bm{w}&=\begin{pmatrix}w_0\\ w_1\end{pmatrix}\in\R^{2} \end{aligned} $$
- 二乗誤差の損失(1.4 節) $$ L(\bm{w})=\frac12\sum_{n=1}^{N}\bigl(y_n-f(x_n;\bm{w})\bigr)^{2} $$
- 学習とは損失を最小にするパラメーターを求めること(1.4 節) $$ \hat{\bm{w}}=\argmin_{\bm{w}}L(\bm{w}) $$
- 直線の当てはめの正規方程式(1.4 節) $$ \begin{aligned} &N\,w_0+\Bigl(\sum_n x_n\Bigr)w_1\\ &\qquad=\sum_n y_n,\\ &\Bigl(\sum_n x_n\Bigr)w_0+\Bigl(\sum_n x_n^{2}\Bigr)w_1\\ &\qquad=\sum_n x_ny_n \end{aligned} $$
- 加法定理(周辺化)(2.2 節) $$ p(x)=\sum_{y}p(x,y) $$
- 乗法定理(2.2 節) $$ \begin{aligned} p(x,y)&=p(y\mid x)\,p(x)\\ &=p(x\mid y)\,p(y) \end{aligned} $$
- Bayes の定理(2.4 節) $$ \begin{gathered} p(x\mid y)=\frac{p(y\mid x)\,p(x)}{p(y)},\\ p(y)=\sum_{x'}p(y\mid x')\,p(x') \end{gathered} $$
- 乗法定理を繰り返した分解(系列の自己回帰分解の元)(2.2 節) $$ \begin{aligned} &p(x_1,x_2,\dots,x_T)\\ &=\prod_{t=1}^{T}p(x_t\mid x_{\lt t}),\\ &x_{\lt t}\equiv(x_1,\dots,x_{t-1}) \end{aligned} $$
- 和の分散(2.5 節) $$ \begin{aligned} &\Var[x+y]\\ &=\Var[x]+\Var[y]\\ &\quad+2\,\Cov[x,y] \end{aligned} $$
- 独立同分布の標本平均の平均と分散(2.8 節) $$ \Ex[\bar{x}]=\mu,\quad \Var[\bar{x}]=\frac{\sigma^{2}}{N} $$
- 一変量 Gauss 分布(3.5 節) $$ \begin{aligned}&\Normal(x\mid\mu,\sigma^{2})\\&=\frac{1}{\sqrt{2\pi\sigma^{2}}}\exp\!\left[-\frac{(x-\mu)^{2}}{2\sigma^{2}}\right]\end{aligned} $$
- 多変量 Gauss 分布(3.6 節) $$ \begin{aligned}&\Normal(\bm{x}\mid\bm{\mu},\bm{\Sigma})\\&=\frac{1}{(2\pi)^{D/2}\abs{\bm{\Sigma}}^{1/2}}\\&\quad\times\exp\Bigl[-\frac12(\bm{x}-\bm{\mu})^{\tp}\\&\qquad\qquad\ \bm{\Sigma}^{-1}(\bm{x}-\bm{\mu})\Bigr]\end{aligned} $$
- 多変量 Gauss 分布の条件付き平均(3.6 節) $$ \begin{aligned}\bm{\mu}_{a\mid b}&=\bm{\mu}_a+\bm{\Sigma}_{ab}\bm{\Sigma}_{bb}^{-1}(\bm{x}_b-\bm{\mu}_b) \\ \bm{\Sigma}_{a\mid b}&=\bm{\Sigma}_{aa}-\bm{\Sigma}_{ab}\bm{\Sigma}_{bb}^{-1}\bm{\Sigma}_{ba}\end{aligned} $$
- 多変量 Gauss 分布の条件付き共分散(3.6 節) $$ \begin{aligned}\bm{\mu}_{a\mid b}&=\bm{\mu}_a+\bm{\Sigma}_{ab}\bm{\Sigma}_{bb}^{-1}(\bm{x}_b-\bm{\mu}_b) \\ \bm{\Sigma}_{a\mid b}&=\bm{\Sigma}_{aa}-\bm{\Sigma}_{ab}\bm{\Sigma}_{bb}^{-1}\bm{\Sigma}_{ba}\end{aligned} $$
- 指数型分布族(3.11 節) $$ \begin{aligned}&p(x\mid\bm{\eta})\\&=h(x)\,g(\bm{\eta})\exp\!\left(\bm{\eta}^{\tp}\bm{u}(x)\right)\end{aligned} $$
- Bernoulli 分布の成功確率の最尤推定値(4.2 節) $$ \mu_{\mathrm{ML}}=\frac{m}{N} $$
- Gauss 分布の平均・分散の最尤推定値(4.2 節) $$ \begin{gathered} \mu_{\mathrm{ML}}=\bar{x}=\frac{1}{N}\sum_{n=1}^{N}x_n,\\ \sigma^{2}_{\mathrm{ML}}=\frac{1}{N}\sum_{n=1}^{N}(x_n-\bar{x})^{2} \end{gathered} $$
- Beta–Bernoulli モデルの事後分布(4.4 節) $$ \begin{aligned} &p(\mu\mid\data)\\ &=\mathrm{Beta}(\mu\mid a+m,\ b+l) \end{aligned} $$
- 事後平均と MAP 推定値(4.4 節) $$ \begin{gathered} \Ex[\mu\mid\data]=\frac{a+m}{a+b+N},\\ \mu_{\mathrm{MAP}}=\frac{a+m-1}{a+b+N-2}\\ (a+m\gt1\ \text{かつ}\\ b+l\gt1\ \text{のとき}) \end{gathered} $$
- 分散が既知の Gauss 分布の平均の事後分布(4.6 節) $$ \begin{gathered} \frac{1}{\sigma_N^{2}}=\frac{1}{\sigma_0^{2}}+\frac{N}{\sigma^{2}},\\ \mu_N=\sigma_N^{2}\left(\frac{\mu_0}{\sigma_0^{2}}+\frac{N\bar{x}}{\sigma^{2}}\right) \end{gathered} $$
- 予測分散の 2 つの成分(偶然的・認識的)(4.8 節) $$ \Var[x\mid\data]=\underbrace{\sigma^{2}}_{\text{偶然的}}+\underbrace{\sigma_N^{2}}_{\text{認識的}} $$
B.5.2 第II部 学習を成立させる基礎
- 自己情報量(5.1 節) $$ h(x)=-\ln p(x)=\ln\frac{1}{p(x)} $$
- エントロピー(5.2 節) $$ \begin{aligned} H[p]&=\Ex_{p}\bigl[-\ln p(x)\bigr]\\ &=-\sum_{x}p(x)\ln p(x) \end{aligned} $$
- KL ダイバージェンス(5.4 節) $$ \begin{aligned} \KL(p\,\|\,q)&=\Ex_{p}\!\left[\ln\frac{p(x)}{q(x)}\right]\\ &=\sum_{x}p(x)\ln\frac{p(x)}{q(x)} \end{aligned} $$
- 交差エントロピーの分解(5.4 節) $$ H[p,q]=H[p]+\KL(p\,\|\,q) $$
- 経験分布との KL の最小化は最尤推定(5.5 節) $$ \begin{aligned} &\KL(\hat{p}\,\|\,q_{\bm{\theta}})\\ &=-\frac1N\sum_{n=1}^{N}\ln q_{\bm{\theta}}(x_n)\\ &\quad-H[\hat{p}] \end{aligned} $$
- 相互情報量(5.7 節) $$ \begin{aligned} I[x;y]&=\KL\bigl(p(x,y)\\ &\qquad\quad\|\,p(x)p(y)\bigr)\\ &=\sum_{x}\sum_{y}p(x,y)\\ &\qquad\times\ln\frac{p(x,y)}{p(x)\,p(y)} \end{aligned} $$
- 汎化誤差(期待損失)(6.1 節) $$ \begin{aligned} R(f)&=\Ex_{(\bm{x},y)\sim p}\bigl[\ell\bigl(y,f(\bm{x})\bigr)\bigr]\\ &=\iint \ell\bigl(y,f(\bm{x})\bigr)\\ &\qquad\times p(\bm{x},y)\,\dd\bm{x}\,\dd y \end{aligned} $$
- バイアス–分散分解(6.4 節) $$ \begin{aligned} &\Ex_{\data,\varepsilon}\bigl[(y-\hat{f}(x;\data))^{2}\bigr]\\ &\quad=\underbrace{\bigl(\bar{f}(x)-g(x)\bigr)^{2}}_{(\text{バイアス})^{2}}+\underbrace{\sigma^{2}}_{\text{ノイズ}}\\ &\qquad+\underbrace{\Ex_{\data}\bigl[(\hat{f}(x;\data)-\bar{f}(x))^{2}\bigr]}_{\text{分散}} \end{aligned} $$
- K 分割交差検証の推定量(6.5 節) $$ \begin{aligned} \mathrm{CV}_K&=\frac{1}{N}\sum_{k=1}^{K}\sum_{n\in\mathcal{I}_k}\ell\bigl(y_n,\\ &\qquad\qquad\hat{f}^{(-k)}(\bm{x}_n)\bigr) \end{aligned} $$
- Ridge 回帰の損失(和の規約)(6.6 節) $$ \begin{aligned} L(\bm{w})&=\frac12\norm{\bm{y}-\bm{\Phi}\bm{w}}^{2}\\ &\qquad+\frac{\lambda}{2}\norm{\bm{w}}^{2} \end{aligned} $$
- Ridge 回帰の解の連立方程式(6.6 節) $$ (\bm{\Phi}^{\tp}\bm{\Phi}+\lambda\bm{I})\,\bm{w}=\bm{\Phi}^{\tp}\bm{y} $$
- 勾配降下法の更新(7.2 節) $$ \bm{w}_{k+1}=\bm{w}_k-\eta\,\nabla L(\bm{w}_k) $$
- 2 次関数で勾配降下法が収束する学習率の条件(7.2 節) $$ 0\lt\eta\lt\frac{2}{\lambda_{\max}} $$
- 最適な学習率での収束の速さと条件数(7.2 節) $$ \begin{aligned} \rho_{\mathrm{opt}}&=1-\frac{2\lambda_{\min}}{\lambda_{\max}+\lambda_{\min}}\\ &=\frac{\kappa-1}{\kappa+1},\quad \kappa\equiv\frac{\lambda_{\max}}{\lambda_{\min}} \end{aligned} $$
- Adam の更新(7.6 節) $$ \begin{aligned}\bm{m}_t&=\beta_1\bm{m}_{t-1}+(1-\beta_1)\,\bm{g}_t \\ \bm{v}_t&=\beta_2\bm{v}_{t-1}+(1-\beta_2)\,\bm{g}_t\odot\bm{g}_t \\ \hat{\bm{m}}_t&=\frac{\bm{m}_t}{1-\beta_1^{t}},\ \ \hat{\bm{v}}_t=\frac{\bm{v}_t}{1-\beta_2^{t}} \\ \bm{w}_t&=\bm{w}_{t-1}-\frac{\eta\,\hat{\bm{m}}_t}{\sqrt{\hat{\bm{v}}_t}+\epsilon}\end{aligned} $$
- 等式制約のもとでの最適性の条件(7.7 節) $$ \nabla f(\bm{w}^{*})+\nu\,\nabla h(\bm{w}^{*})=\bm{0} $$
- Newton 法の 1 歩(7.9 節) $$ \begin{aligned} \bm{H}_k\,\bm{\Delta}_k&=-\bm{g}_k,\\ \bm{w}_{k+1}&=\bm{w}_k+\bm{\Delta}_k \end{aligned} $$
B.5.3 第III部 回帰・分類・カーネル
- 基底関数による線形モデル(8.1 節) $$ \begin{aligned}f(\bm{x};\bm{w})&=\sum_{j=0}^{M-1}w_j\phi_j(\bm{x})\\&=\bm{w}^{\tp}\bm{\phi}(\bm{x})\end{aligned} $$
- 正規方程式(8.2 節) $$ \bm{\Phi}^{\tp}\bm{\Phi}\,\bm{w}=\bm{\Phi}^{\tp}\bm{y} $$
- Ridge 回帰の正規方程式(8.6 節) $$ (\bm{\Phi}^{\tp}\bm{\Phi}+\lambda\bm{I})\,\bm{w}=\bm{\Phi}^{\tp}\bm{y} $$
- ベイズ線形回帰の事後分布(8.7 節) $$ \begin{aligned} p(\bm{w}\mid\data)&=\Normal(\bm{w}\mid\bm{m}_N,\ \bm{S}_N),\\ \bm{S}_N^{-1}&=\sigma_w^{-2}\bm{I}+\sigma^{-2}\bm{\Phi}^{\tp}\bm{\Phi},\\ \bm{m}_N&=\sigma^{-2}\bm{S}_N\bm{\Phi}^{\tp}\bm{y}. \end{aligned} $$
- 予測分布(ノイズと知識不足の 2 つの幅)(8.8 節) $$ \begin{aligned} &p(y_*\mid\bm{x}_*,\data)\\ &\quad=\Normal\bigl(y_*\mid\bm{m}_N^{\tp}\bm{\phi}_*,\ v_*\bigr),\\ &v_*=\underbrace{\sigma^{2}}_{\text{ノイズ}}+\underbrace{\bm{\phi}_*^{\tp}\bm{S}_N\bm{\phi}_*}_{\text{知識不足}} \end{aligned} $$
- ロジスティック回帰のモデル(9.3 節) $$ \begin{aligned} \hat{y}(\bm{x})&=p(y=1\mid\bm{x};\bm{w},b)\\ &=\sigma(a),\\ a&=\bm{w}^{\tp}\bm{\phi}(\bm{x})+b \end{aligned} $$
- 交差エントロピー損失(和の規約)(9.3 節) $$ L(\bm{w},b)=\sum_{n=1}^{N}L_n $$
- 損失の勾配は「予測 − 正解」の重み付き和(9.3 節) $$ \begin{aligned} \nabla_{\bm{w}}L&=\sum_{n=1}^{N}(\hat{y}_n-y_n)\,\bm{\phi}_n,\\ \pdiff{L}{b}&=\sum_{n=1}^{N}(\hat{y}_n-y_n) \end{aligned} $$
- softmax(9.5 節) $$ \hat{y}_k=\frac{e^{a_k}}{\sum_{j=1}^{K}e^{a_j}} $$
- 多クラスの交差エントロピーの勾配(9.5 節) $$ \begin{aligned} \pdiff{L}{\bm{W}}&=\sum_{n=1}^{N}(\hat{\bm{y}}_n-\bm{y}_n)\,\bm{\phi}_n^{\tp},\\ \pdiff{L}{\bm{b}}&=\sum_{n=1}^{N}(\hat{\bm{y}}_n-\bm{y}_n) \end{aligned} $$
- 特徴写像の内積としてのカーネル(10.3 節) $$ k(\bm{x},\bm{x}')=\bm{\phi}(\bm{x})^{\tp}\bm{\phi}(\bm{x}') $$
- RBF カーネル(10.5 節) $$ k(\bm{x},\bm{x}')=\sigma_f^{2}\exp\!\bigl(-\norm{\bm{x}-\bm{x}'}^{2}/(2\ell^{2})\bigr) $$
- カーネル Ridge 回帰の解と予測(10.6 節) $$ \begin{aligned}\bm{a}&=(\bm{K}+\lambda\bm{I}_N)^{-1}\bm{y} \\ f(\bm{x}_*)&=\bm{k}_*^{\tp}\bm{a} \\ &=\sum_{n=1}^{N}a_n\,k(\bm{x}_n,\bm{x}_*)\end{aligned} $$
- リプレゼンター定理の形(10.7 節) $$ f(\cdot)=\sum_{n=1}^{N}a_n\,k(\bm{x}_n,\cdot) $$
- Nadaraya–Watson のカーネル回帰(10.8 節) $$ f(\bm{x}_*)=\sum_{n=1}^{N}w_n(\bm{x}_*)\,y_n $$
- ハードマージンの主問題(11.1 節) $$ \begin{aligned} &\min_{\bm{w},\,b}\ \frac12\norm{\bm{w}}^{2}\\ &\text{制約:}\ y_n\bigl(\bm{w}^{\tp}\bm{\phi}_n+b\bigr)\ge1\\ &\qquad(n=1,\dots,N) \end{aligned} $$
- 双対問題(11.2 節) $$ \begin{aligned} &\max_{\bm{\alpha}}\ D(\bm{\alpha}),\\ &D(\bm{\alpha})=\sum_{n=1}^{N}\alpha_n\\ &\quad-\frac12\sum_{n,m}\alpha_n\alpha_my_ny_m\,K_{nm} \end{aligned} $$
- サポートベクトルだけで書いた予測(11.3 節) $$ \begin{aligned} f(\bm{x})&=\sum_{n\in\mathcal{S}}\alpha_ny_n\,k(\bm{x}_n,\bm{x})\\ &\quad+b \end{aligned} $$
- ソフトマージンの主問題(11.5 節) $$ \begin{aligned} &\min_{\bm{w},\,b,\,\bm{\xi}}\ \frac12\norm{\bm{w}}^{2}\\ &\qquad+C\sum_{n=1}^{N}\xi_n\\ &\text{制約:}\ y_nf(\bm{x}_n)\ge1-\xi_n,\\ &\qquad\ \xi_n\ge0 \end{aligned} $$
- KKT 条件から読む 3 種類の点(11.5 節) $$ \begin{aligned} \alpha_n=0&\Rightarrow y_nf(\bm{x}_n)\ge1,\\ \alpha_n\in(0,C)&\Rightarrow y_nf(\bm{x}_n)=1,\\ \alpha_n=C&\Rightarrow y_nf(\bm{x}_n)\le1 . \end{aligned} $$
- ガウス過程の定義(有限個の関数値は多変量 Gauss 分布)(12.1 節) $$ p(\bm{f})=\Normal(\bm{f}\mid\bm{m},\bm{K}) $$
- 観測ノイズを含む Gram 行列(12.4 節) $$ \bm{K}_y\equiv\bm{K}+\sigma^{2}\bm{I}\in\R^{N\times N} $$
- 予測平均・潜在関数の予測分散・観測値の予測分散(12.4 節) $$ \begin{aligned}\mu_*&=m \\ &\quad+\bm{k}_*^{\tp}\bm{K}_y^{-1}(\bm{y}-m\bm{1}) \\ \sigma_*^{2}&=k_{**} \\ &\quad-\bm{k}_*^{\tp}\bm{K}_y^{-1}\bm{k}_*\end{aligned} $$
- 対数周辺尤度(当てはまりと複雑さの罰)(12.7 節) $$ \begin{aligned} &\ln p(\bm{y}\mid\bm{\theta})\\ &=\underbrace{-\tfrac12\tilde{\bm{y}}^{\tp}\bm{K}_y^{-1}\tilde{\bm{y}}}_{\text{当てはまり}}\\ &\quad\underbrace{-\tfrac12\ln\abs{\bm{K}_y}}_{\text{複雑さの罰}}\ \underbrace{-\tfrac{N}{2}\ln2\pi}_{\text{定数}} \end{aligned} $$
- Cholesky 分解(12.8 節) $$ \bm{K}_y=\bm{L}\bm{L}^{\tp} $$
- UCB(最大化)(13.3 節) $$ \mathrm{UCB}(\bm{x})=\mu_*(\bm{x})+\kappa\,\sigma_*(\bm{x}) $$
- 改善確率 PI(13.4 節) $$ \begin{aligned} \mathrm{PI}(\bm{x})&=P\bigl(f\gt f_{\mathrm{best}}+\xi\mid\data_n\bigr)\\ &=\Phi(z) \end{aligned} $$
- 期待改善量 EI(13.4 節) $$ \begin{aligned} \mathrm{EI}&=d\,\Phi(z)+\sigma_*\,\Normal(z\mid0,1),\\ d&=\mu_*-f_{\mathrm{best}}-\xi,\quad z=\frac{d}{\sigma_*} \end{aligned} $$
- 予測の幅が 0 の極限での EI(13.4 節) $$ \lim_{\sigma_*\to0}\mathrm{EI}=\max(d,\ 0) $$
- 単純後悔(13.8 節) $$ r_n=f(\bm{x}^{\star})-f(\hat{\bm{x}}_n) $$
B.5.4 第IV部 ニューラルネットワーク
- 1 個のニューロン(14.1 節) $$ \begin{aligned} a&=\bm{w}^{\tp}\bm{x}+b\\ &=\sum_{i=1}^{D}w_ix_i+b,\\ z&=h(a) \end{aligned} $$
- 層の順伝播(14.3 節) $$ \begin{aligned} \bm{a}^{(l)}&=\bm{W}^{(l)}\bm{z}^{(l-1)}+\bm{b}^{(l)},\\ \bm{z}^{(l)}&=h_l\bigl(\bm{a}^{(l)}\bigr) \end{aligned} $$
- 活性化関数とその導関数(14.2 節) $$ \begin{aligned}\sigma(a)&=\frac{1}{1+e^{-a}}, \\ \sigma'(a)&=\sigma(a)\bigl(1-\sigma(a)\bigr)\end{aligned} $$
- 出力層の誤差は予測と正解の差(14.6 節) $$ \begin{aligned} \bm{\delta}^{(n_{\mathrm{layer}})}&=\pdiff{\ell}{\bm{a}^{(n_{\mathrm{layer}})}}\\ &=\hat{\bm{y}}-\bm{y} \end{aligned} $$
- ミニバッチの平均の損失と重み減衰(14.6 節) $$ \begin{aligned} L(\bm{\theta})={}&\frac{1}{B}\sum_{n\in\mathcal{B}}\ell_n\\ &+\frac{\lambda}{2}\sum_{l=1}^{n_{\mathrm{layer}}}\norm{\bm{W}^{(l)}}^{2} \end{aligned} $$
- 誤差逆伝播(1)出力層の誤差(15.2 節) $$ \bm{\delta}^{(n_{\mathrm{layer}})}=\hat{\bm{y}}-\bm{y} $$
- 誤差逆伝播(2)誤差を 1 層戻す(15.2 節) $$ \bm{\delta}^{(l)}=h'\bigl(\bm{a}^{(l)}\bigr)\odot\bigl(\bm{W}^{(l+1)\tp}\bm{\delta}^{(l+1)}\bigr) $$
- 誤差逆伝播(3)重みの勾配(15.2 節) $$ \pdiff{\ell}{\bm{W}^{(l)}}=\bm{\delta}^{(l)}\,\bm{z}^{(l-1)\tp} $$
- 誤差逆伝播(4)バイアスの勾配(15.2 節) $$ \pdiff{\ell}{\bm{b}^{(l)}}=\bm{\delta}^{(l)} $$
- 勾配確認に使う前進差分と中心差分(15.4 節) $$ \begin{aligned} \hat{g}_{\mathrm{fwd}}&=\frac{L(w{+}\epsilon)-L(w)}{\epsilon},\\ \hat{g}_{\mathrm{c}}&=\frac{L(w{+}\epsilon)-L(w{-}\epsilon)}{2\epsilon} \end{aligned} $$
- Xavier と He の初期化の分散(15.6 節) $$ \begin{aligned} &\text{Xavier:}\\ &\quad\sigma_{\mathrm{init}}^{2}=\frac{2}{D_{l-1}+D_l},\\ &\text{He:}\\ &\quad\sigma_{\mathrm{init}}^{2}=\frac{2}{D_{l-1}} \end{aligned} $$
- 1 次元の畳み込み(相互相関の形)(16.2 節) $$ y_t=\sum_{u=-r}^{r}w_u\,x_{t+u}+b $$
- メッセージ伝播のメッセージ(16.6 節) $$ \begin{aligned} \bm{m}_i^{(l)}&=\sum_{j\in\mathcal{A}(i)}M_l\bigl(\bm{h}_i^{(l)},\\ &\qquad\quad\bm{h}_j^{(l)},\,\bm{e}_{ij}\bigr) \end{aligned} $$
- 頂点の特徴の更新(16.6 節) $$ \bm{h}_i^{(l+1)}=U_l\bigl(\bm{h}_i^{(l)},\,\bm{m}_i^{(l)}\bigr) $$
- 読み出し(原子についての和)(16.6 節) $$ \hat{y}=R\Bigl(\sum_{i=1}^{N_{\mathrm{at}}}g\bigl(\bm{h}_i^{(n_{\mathrm{layer}})}\bigr)\Bigr) $$
- 不変(16.7 節) $$ f(g\cdot\bm{\mathcal{R}})=f(\bm{\mathcal{R}}) $$
- 同変(16.7 節) $$ f(g\cdot\bm{\mathcal{R}})=g\cdot f(\bm{\mathcal{R}}) $$
B.5.5 第V部 潜在変数とグラフィカルモデル
- k-means の目的関数(17.2 節) $$ \begin{aligned} J&=\sum_{n=1}^{N}\sum_{k=1}^{K}r_{nk}\\ &\qquad\times\norm{\bm{x}_n-\bm{\mu}_k}^{2} \end{aligned} $$
- Gauss 混合モデル(17.3 節) $$ \begin{aligned} p(\bm{x})&=\sum_{\bm{z}}p(\bm{x},\bm{z})\\ &=\sum_{k=1}^{K}\pi_k\,\Normal(\bm{x}\mid\bm{\mu}_k,\bm{\Sigma}_k) \end{aligned} $$
- 負担率(17.4 節) $$ \begin{aligned} \gamma_{nk}&\equiv p(z_{nk}=1\mid\bm{x}_n,\bm{\theta})\\ &=\frac{\pi_k\Normal(\bm{x}_n\mid\bm{\mu}_k,\bm{\Sigma}_k)}{\sum_{j=1}^{K}\pi_j\Normal(\bm{x}_n\mid\bm{\mu}_j,\bm{\Sigma}_j)} \end{aligned} $$
- M ステップ:平均の更新(17.5 節) $$ \bm{\mu}_k=\frac{1}{N_k}\sum_{n=1}^{N}\gamma_{nk}\,\bm{x}_n $$
- M ステップ:共分散の更新(17.5 節) $$ \begin{aligned} \bm{\Sigma}_k&=\frac{1}{N_k}\sum_{n=1}^{N}\gamma_{nk}(\bm{x}_n-\bm{\mu}_k)\\ &\qquad\times(\bm{x}_n-\bm{\mu}_k)^{\tp} \end{aligned} $$
- 対数尤度の ELBO と KL への分解(17.7 節) $$ \begin{aligned} &\ln p(\bm{X}\mid\bm{\theta})\\ &=\ELBO(q,\bm{\theta})\\ &\quad+\KL\bigl(q\,\|\,p(\bm{Z}\mid\bm{X},\bm{\theta})\bigr) \end{aligned} $$
- 標本平均と標本共分散行列(18.2 節) $$ \begin{aligned} \bar{\bm{x}}&=\frac1N\sum_{n=1}^{N}\bm{x}_n,\\ \bm{S}&=\frac1N\sum_{n}(\bm{x}_n-\bar{\bm{x}})\\ &\qquad\times(\bm{x}_n-\bar{\bm{x}})^{\tp}\\ &=\frac1N\bm{X}^{\tp}\bm{X} \end{aligned} $$
- $M$ 次元に射影したときの最小の再構成誤差(18.2 節) $$ \begin{aligned}&\min_{\bm{B}}\frac1N\sum_{n=1}^{N}\norm{\bm{x}_n-\hat{\bm{x}}_n}^{2}\\&=\sum_{i=M+1}^{D}\lambda_i\end{aligned} $$
- 寄与率と累積寄与率(18.4 節) $$ \begin{aligned}&\text{寄与率}=\frac{\lambda_i}{\sum_{j=1}^{D}\lambda_j},\\ &\text{累積寄与率}=\frac{\sum_{i=1}^{M}\lambda_i}{\sum_{j=1}^{D}\lambda_j}\end{aligned} $$
- 確率的 PCA の周辺分布(18.7 節) $$ \begin{aligned}p(\bm{x})&=\int p(\bm{x}\mid\bm{z})\,p(\bm{z})\,\dd\bm{z}\\&=\Normal(\bm{x}\mid\bm{\mu},\ \bm{C}),\\ \bm{C}&=\bm{W}\bm{W}^{\tp}+\sigma^{2}\bm{I}_D\end{aligned} $$
- オートエンコーダーの再構成誤差(18.8 節) $$ \begin{aligned}L&=\frac1N\sum_{n=1}^{N}\norm{\bm{x}_n-\hat{\bm{x}}_n}^{2},\\ \hat{\bm{x}}_n&=f_{\mathrm{d}}\bigl(f_{\mathrm{e}}(\bm{x}_n)\bigr)\end{aligned} $$
- 有向グラフによる同時分布の分解(19.2 節) $$ p(\bm{x})=\prod_{k=1}^{n}p(x_k\mid\mathrm{pa}_k) $$
- 無向グラフ(ポテンシャルの積)(19.5 節) $$ \begin{aligned} p(\bm{x})&=\frac{1}{Z}\prod_{C\in\mathcal{C}}\psi_C(\bm{x}_C),\\ Z&=\sum_{\bm{x}}\prod_{C\in\mathcal{C}}\psi_C(\bm{x}_C) \end{aligned} $$
- 因子グラフ(19.6 節) $$ p(\bm{x})=\prod_{s}f_s(\bm{x}_s) $$
- 鎖の上のメッセージによる周辺分布(19.7 節) $$ \begin{aligned} p(x_k)&=\frac{m_{\to}(x_k)\,m_{\leftarrow}(x_k)}{Z},\\ Z&=\sum_{x_k}m_{\to}(x_k)\\ &\qquad\times m_{\leftarrow}(x_k) \end{aligned} $$
- 介入の分布(調整の公式)と観測の条件付き分布(19.9 節) $$ \begin{aligned}&p(y\mid\mathrm{do}(x))\\ &\quad=\sum_{z}p(z)\,p(y\mid x,z) \\ &p(y\mid x)\\ &\quad=\sum_{z}p(z\mid x)\,p(y\mid x,z)\end{aligned} $$
B.5.6 第VI部 近似推論とサンプリング
- 事後分布と周辺尤度の積分(20.1 節) $$ \begin{aligned} p(\bm{\theta}\mid\data)&=\frac{p(\data\mid\bm{\theta})\,p(\bm{\theta})}{p(\data)},\\ p(\data)&=\int_{\R^{M}}p(\data\mid\bm{\theta})\\ &\qquad\times p(\bm{\theta})\,\dd\bm{\theta} \end{aligned} $$
- Laplace 近似(20.2 節) $$ \begin{aligned} q(\bm{\theta})&=\Normal\bigl(\bm{\theta}\mid\bm{\theta}_{\mathrm{MAP}},\,\bm{\Lambda}^{-1}\bigr),\\ \bm{\Lambda}&=-\nabla\nabla\ln p(\bm{\theta}\mid\data)\big|_{\bm{\theta}_{\mathrm{MAP}}} \end{aligned} $$
- 対数周辺尤度の ELBO と KL への分解(20.3 節) $$ \begin{aligned} &\ln p(\data)\\ &\ =\ELBO(q)\\ &\qquad+\KL\bigl(q\,\|\,p(\bm{\theta}\mid\data)\bigr),\\ &\ELBO(q)\\ &\ =\Ex_{q}[\ln p(\data,\bm{\theta})]\\ &\qquad-\Ex_{q}[\ln q(\bm{\theta})] \end{aligned} $$
- ELBO の二つの形(20.4 節) $$ \begin{aligned} &\ELBO(q)\\ &\ =\Ex_{q}[\ln p(\data,\bm{\theta})]+H[q]\\ &\ =\Ex_{q}[\ln p(\data\mid\bm{\theta})]\\ &\qquad-\KL\bigl(q(\bm{\theta})\,\|\,p(\bm{\theta})\bigr) \end{aligned} $$
- 平均場近似の最適な因子(20.5 節) $$ \begin{aligned} \ln q_j^{*}(\bm{\theta}_j)&=\Ex_{i\ne j}\bigl[\ln p(\data,\bm{\theta})\bigr]\\ &\quad+\text{定数} \end{aligned} $$
- 統計力学の変分原理(Gibbs–Bogoliubov)(20.8 節) $$ \begin{aligned} A&=-k_{\mathrm B}T\ln Z\\ &\le A[q]\\ &=\Ex_{q}[E]-T\,S[q] \end{aligned} $$
- Monte Carlo 積分(21.1 節) $$ \hat{I}_S=\frac{1}{S}\sum_{m=1}^{S}f\bigl(x^{(m)}\bigr) $$
- 重点サンプリングの推定量(21.4 節) $$ \begin{aligned} \hat{I}_{\mathrm{IS}}&=\frac1S\sum_{m=1}^{S}w^{(m)}f\bigl(x^{(m)}\bigr),\\ w^{(m)}&=\frac{p(x^{(m)})}{q(x^{(m)})} \end{aligned} $$
- 詳細釣り合い(21.5 節) $$ \begin{aligned} &p(x)\,T(x'\mid x)\\ &\quad=p(x')\,T(x\mid x') \end{aligned} $$
- Metropolis–Hastings 法の受理の比(21.6 節) $$ r=\frac{\tilde{p}(x')\,q(x^{(m)}\mid x')}{\tilde{p}(x^{(m)})\,q(x'\mid x^{(m)})} $$
- 積分自己相関時間と有効標本数(21.8 節) $$ \begin{aligned} \tau_{\mathrm{int}}&=1+2\sum_{k=1}^{\infty}\rho_k,\\ \Var[\bar{f}]&\approx\frac{\Var[f]\,\tau_{\mathrm{int}}}{S},\\ S_{\mathrm{eff}}&=\frac{S}{\tau_{\mathrm{int}}} \end{aligned} $$
- Boltzmann 分布に対する Metropolis 法の受理確率(21.11 節) $$ \begin{aligned} \min(1,r)&=\min\!\left(1,e^{-\beta\,\Delta E}\right),\\ \Delta E&=E(x')-E(x) \end{aligned} $$
B.5.7 第VII部 系列データから GPT へ
- 隠れ Markov モデルの同時分布(22.3 節) $$ \begin{aligned} &p(x_{1:T},z_{1:T})\\ &\quad=\pi_{z_1}\prod_{t=2}^{T}A_{z_{t-1}z_t}\prod_{t=1}^{T}B_{z_tx_t} \end{aligned} $$
- forward 算法(22.5 節) $$ \begin{aligned} \alpha_1(j)&=\pi_jB_{jx_1},\\ \alpha_t(j)&=B_{jx_t}\\ &\times\sum_{i=1}^{K}\alpha_{t-1}(i)A_{ij},\\ p(x_{1:T})&=\sum_{j=1}^{K}\alpha_T(j) \end{aligned} $$
- backward 算法と平滑化(22.6 節) $$ \begin{aligned} \beta_T(i)&=1,\\ \beta_t(i)&=\sum_{j=1}^{K}A_{ij}\,B_{jx_{t+1}}\\ &\quad\times\beta_{t+1}(j),\\ \gamma_t(j)&=\frac{\alpha_t(j)\,\beta_t(j)}{p(x_{1:T})} \end{aligned} $$
- Viterbi 法(22.8 節) $$ \begin{aligned} \omega_t(j)&=B_{jx_t}\max_{i}\bigl[\omega_{t-1}(i)A_{ij}\bigr],\\ \psi_t(j)&=\argmax_{i}\bigl[\omega_{t-1}(i)A_{ij}\bigr] \end{aligned} $$
- Kalman フィルター(1 次元)(22.9 節) $$ \begin{aligned} \mu_{t\mid t-1}&=\mu_{t-1},\\ P_{t\mid t-1}&=P_{t-1}+q,\\ K_t&=\frac{P_{t\mid t-1}}{P_{t\mid t-1}+r},\\ \mu_t&=\mu_{t\mid t-1}\\ &\quad+K_t\bigl(x_t-\mu_{t\mid t-1}\bigr),\\ P_t&=(1-K_t)\,P_{t\mid t-1} \end{aligned} $$
- RNN の隠れ状態の更新(23.2 節) $$ \begin{aligned} &\bm{h}_t=\tanh\bigl(\bm{W}_{hh}\bm{h}_{t-1}\\ &\qquad+\bm{W}_{xh}\bm{x}_t+\bm{b}_h\bigr) \end{aligned} $$
- 出力(ロジット)(23.2 節) $$ \bm{o}_t=\bm{W}_{hy}\bm{h}_t+\bm{b}_y $$
- 言語モデルとしての損失(平均)(23.3 節) $$ \begin{aligned} L&=-\frac{1}{T}\sum_{t=1}^{T}\ln p(x_{t+1}\mid x_{\le t})\\ &=\frac{1}{T}\sum_{t=1}^{T}\ell_t,\\ \ell_t&\equiv-\ln\softmax(\bm{o}_t)_{x_{t+1}} \end{aligned} $$
- 隠れ状態の Jacobi 行列の積(勾配消失・爆発の原因)(23.4 節) $$ \begin{aligned} \pdiff{\bm{h}_t}{\bm{h}_k}&=\pdiff{\bm{h}_t}{\bm{h}_{t-1}}\cdots\pdiff{\bm{h}_{k+1}}{\bm{h}_k}\\ &=\prod_{i=k+1}^{t}\bigl[\diag\bigl(\bm{1}-\bm{h}_i\odot\bm{h}_i\bigr)\\ &\qquad\quad\times\bm{W}_{hh}\bigr] \end{aligned} $$
- LSTM の記憶セルの更新(23.6 節) $$ \bm{c}_t=\bm{f}_t\odot\bm{c}_{t-1}+\bm{i}_t\odot\tilde{\bm{c}}_t $$
- scaled dot-product attention(24.2 節) $$ \begin{aligned} &\mathrm{Attention}(\bm{Q},\bm{K},\bm{V})\\ &\quad=\softmax\!\left(\frac{\bm{Q}\bm{K}^{\tp}}{\sqrt{d_k}}\right)\bm{V} \end{aligned} $$
- スコアと重み(各行の softmax)(24.2 節) $$ \begin{aligned} s_{ij}&=\frac{\bm{q}_i^{\tp}\bm{k}_j}{\sqrt{d_k}},\\ A_{ij}&=\frac{\exp(s_{ij})}{\sum_{j'=1}^{T_k}\exp(s_{ij'})} \end{aligned} $$
- causal mask(24.6 節) $$ M_{ij}=\begin{cases}0 & (j\le i)\\ -\infty & (j\gt i)\end{cases} $$
- 内積の分散は $d_k$(24.4 節) $$ \begin{aligned} \Var\bigl[\bm{q}^{\tp}\bm{k}\bigr]&=\sum_{l=1}^{d_k}\Var[q_lk_l]\\ &=d_k . \end{aligned} $$
- multi-head attention(24.7 節) $$ \begin{aligned} &\mathrm{MHA}(\bm{X})\\ &\quad=\bigl[\bm{Z}_1\ \cdots\ \bm{Z}_{n_{\mathrm{head}}}\bigr]\,\bm{W}_O \end{aligned} $$
- 最初の層への入力(埋め込み+位置)(25.2 節) $$ \bm{x}^{(0)}_t=\bm{e}_{x_t}\bm{W}_E+\bm{p}_t $$
- 正弦波の位置符号(25.2 節) $$ \begin{aligned}PE_{(pos,\,2i)}&=\sin\bigl(\omega_i\,pos\bigr), \\ PE_{(pos,\,2i+1)}&=\cos\bigl(\omega_i\,pos\bigr),\end{aligned} $$
- pre-LN の Transformer ブロック(25.3 節) $$ \begin{aligned} \bm{U}&=\bm{X}\\ &\quad+\mathrm{MHA}\bigl(\mathrm{LN}_1(\bm{X})\bigr),\\ \bm{Y}&=\bm{U}\\ &\quad+\mathrm{FFN}\bigl(\mathrm{LN}_2(\bm{U})\bigr). \end{aligned} $$
- 位置ごとの FFN(25.4 節) $$ \begin{aligned} &\mathrm{FFN}(\bm{x})\\ &=h\bigl(\bm{x}\bm{W}_1+\bm{b}_1\bigr)\,\bm{W}_2\\ &\quad+\bm{b}_2 \end{aligned} $$
- LayerNorm(25.5 節) $$ \begin{aligned} \hat{x}_k&=\frac{x_k-\bar{x}}{\sqrt{s^{2}+\epsilon}},\\ \mathrm{LN}(\bm{x})_k&=g_k\,\hat{x}_k+b_k \end{aligned} $$
- 自己回帰分解(26.3 節) $$ p(x_{1:T})=\prod_{t=1}^{T}p(x_t\mid x_{\lt t}) $$
- 次のトークンの確率はロジットの softmax(26.3 節) $$ \begin{aligned} &p_{\bm{\theta}}(x_{t+1}=i\mid x_{\le t})\\ &=\softmax(\bm{o}_t)_i\\ &=\frac{\exp(o_{t,i})}{\sum_{j=1}^{V_{\mathrm{voc}}}\exp(o_{t,j})} \end{aligned} $$
- 次トークン予測の損失(平均)(26.4 節) $$ \begin{aligned} &L(\bm{\theta})\\ &=-\frac{1}{T}\sum_{t=1}^{T}\ln p_{\bm{\theta}}(x_{t+1}\mid x_{\le t}) \end{aligned} $$
- ロジットについての勾配は「確率 − 正解」(26.4 節) $$ \begin{aligned} &\pdiff{\ell_t}{\bm{o}_t}=\bm{p}_t-\bm{y}_t,\\ &\bm{p}_t=\softmax(\bm{o}_t)\in\R^{V_{\mathrm{voc}}} \end{aligned} $$
- perplexity(26.4 節) $$ \begin{aligned} \mathrm{PPL}&=\exp(L)\\ &=\Bigl(\prod_{t=1}^{T}p_t\Bigr)^{-1/T} \end{aligned} $$
- temperature つきの softmax(26.6 節) $$ \begin{aligned} &p_i(\tau)\\ &=\frac{\exp(o_i/\tau)}{\sum_{j=1}^{V_{\mathrm{voc}}}\exp(o_j/\tau)} \end{aligned} $$
B.5.8 第VIII部 材料科学への接続と総合演習
- Boltzmann 分布(27.1 節) $$ \begin{aligned}p(x)&=\frac{e^{-\beta E(x)}}{Z},\\ Z&=\sum_{x}e^{-\beta E(x)},\quad \beta\equiv\frac{1}{k_{\mathrm B}T}\end{aligned} $$
- エネルギーベースモデル(27.2 節) $$ \begin{aligned}p_{\bm{\theta}}(x)&=\frac{e^{-E_{\bm{\theta}}(x)}}{Z_{\bm{\theta}}},\\ Z_{\bm{\theta}}&=\sum_{x}e^{-E_{\bm{\theta}}(x)}\end{aligned} $$
- エネルギーベースモデルの対数尤度の勾配(27.2 節) $$ \begin{aligned}\pdiff{\ell}{\bm{\theta}}&=-\underbrace{\frac1N\sum_{n=1}^{N}\pdiff{E_{\bm{\theta}}(x_n)}{\bm{\theta}}}_{\text{データの平均}}\\ &\quad+\underbrace{\Ex_{p_{\bm{\theta}}}\Bigl[\pdiff{E_{\bm{\theta}}}{\bm{\theta}}\Bigr]}_{\text{モデルの平均}}\end{aligned} $$
- 変分自由エネルギー(27.4 節) $$ \begin{aligned}A[q]&\equiv\Ex_q[E]-TS[q],\\ S[q]&=-k_{\mathrm B}\,\Ex_q[\ln q]\end{aligned} $$
- 最大エントロピー原理で得られる指数型の分布(27.5 節) $$ \begin{aligned}p(x)&=\frac{1}{Z(\bm{\lambda})}\\ &\quad\times\exp\Bigl(-\sum_{k}\lambda_kf_k(x)\Bigr),\\ Z(\bm{\lambda})&=\sum_x\exp\Bigl(-\sum_{k}\lambda_kf_k(x)\Bigr)\end{aligned} $$
- 機械学習原子間ポテンシャルの原子ごとの和(27.7 節) $$ E(\bm{R})=\sum_{i=1}^{N_{\mathrm{at}}}e_{\mathrm{at}}(\bm{G}_i) $$
- 訓練データの平均と標準偏差による標準化(28.4 節) $$ \tilde{c}=\frac{c-\bar{c}_{\mathrm{tr}}}{s_{c,\mathrm{tr}}},\qquad \tilde{T}=\frac{T-\bar{T}_{\mathrm{tr}}}{s_{T,\mathrm{tr}}} $$
- ガウス過程の予測(標準化した入力)(28.4 節) $$ \begin{aligned} \mu_*&=m+\bm{k}_*^{\tp}\bm{K}_y^{-1}(\bm{y}-m\bm{1}),\\ \sigma_*^{2}&=k(\tilde{\bm{x}}_*,\tilde{\bm{x}}_*)-\bm{k}_*^{\tp}\bm{K}_y^{-1}\bm{k}_* \end{aligned} $$
- バッチのずれを含む観測値の予測分散(28.5 節) $$ \begin{aligned} &\Var[y_*\mid\data]\\ &=\sigma_*^{2}+\sigma_b^{2}+\sigma^{2} \end{aligned} $$
- 予測区間の被覆率(28.5 節) $$ \mathrm{cov}=\frac1N\sum_{n=1}^{N}\chi_n $$
- EI(最大化)(28.6 節) $$ \begin{aligned} &\mathrm{EI}(\bm{x})=d\,\Phi(z)\\ &\quad+\sigma_*\,\Normal(z\mid0,1) \end{aligned} $$