機械学習 — 目次 付録C

付録C演習問題の解答

各章末の演習問題の完全な解答をまとめる.解答を読む前に,必ず一度は自分で手を動かしてほしい. 途中で行き詰まったら,章末のヒントと本文の例題に戻ってから,ここを読むとよい. 各解答の末尾から,その章に戻ることができる.

第1章 機械学習とは何か — データから規則を学ぶ

演習1.1 3 点への直線の当てはめ

解答

(1) 候補 $(w_0,w_1)=(1,1)$ の予測値は $x=0,1,2$ で $1,2,3$,残差は $1-1=0$,$2-2=0$,$4-3=1$.残差の 2 乗の和は $0+0+1=1$ なので $L=\tfrac12\times1=0.5$.候補 $(0,2)$ の予測値は $0,2,4$,残差は $1,0,0$.2 乗の和は 1 なので,こちらも $L=0.5$.2 本の直線は損失では区別できない.

(2) 和を計算する.$N=3$,$\sum x_n=0+1+2=3$,$\sum x_n^{2}=0+1+4=5$,$\sum y_n=1+2+4=7$,$\sum x_ny_n=0\times1+1\times2+2\times4=10$.第1章の式 (1.5) の正規方程式は

$$ 3w_0+3w_1=7,\qquad 3w_0+5w_1=10 . $$

2 式目から 1 式目を引くと $2w_1=3$,よって $\hat{w}_1=1.5$.1 式目に戻すと $3w_0=7-4.5=2.5$,よって $\hat{w}_0=5/6\approx0.833$.予測値は $x=0,1,2$ で $5/6,\ 7/3,\ 23/6$,残差は $1-5/6=1/6$,$2-7/3=-1/3$,$4-23/6=1/6$.2 乗の和は $1/36+4/36+1/36=6/36=1/6$ なので,最小の損失は $L=\tfrac12\times\tfrac16=\tfrac1{12}\approx0.0833$.(1) の 2 本(0.5)より小さい.

(3) 正規方程式の 1 式目 $Nw_0+\bigl(\sum_n x_n\bigr)w_1=\sum_n y_n$ を $N$ で割ると $w_0+\bar{x}w_1=\bar{y}$,すなわち

$$ \hat{w}_0=\bar{y}-\hat{w}_1\bar{x}. $$

これを 2 式目 $\bigl(\sum_n x_n\bigr)w_0+\bigl(\sum_n x_n^{2}\bigr)w_1=\sum_n x_ny_n$ に代入する.$\sum_n x_n=N\bar{x}$ を使うと

$$ \begin{aligned} &N\bar{x}(\bar{y}-w_1\bar{x})+\Bigl(\sum_n x_n^{2}\Bigr)w_1\\ &\qquad=\sum_n x_ny_n,\\ &\Bigl(\sum_n x_n^{2}-N\bar{x}^{2}\Bigr)w_1\\ &\qquad=\sum_n x_ny_n-N\bar{x}\bar{y}. \end{aligned} $$

ここで,右辺と左辺の括弧は平均からのずれの和で書き直せる.

$$ \begin{aligned} &\sum_n(x_n-\bar{x})(y_n-\bar{y})\\ &\quad=\sum_n x_ny_n-\bar{y}\sum_n x_n\\ &\qquad-\bar{x}\sum_n y_n+N\bar{x}\bar{y}\\ &\quad=\sum_n x_ny_n-N\bar{x}\bar{y}\\ &\qquad-N\bar{x}\bar{y}+N\bar{x}\bar{y}\\ &\quad=\sum_n x_ny_n-N\bar{x}\bar{y}. \end{aligned} $$

同じ計算で $y_n$ を $x_n$ に置き換えると $\sum_n(x_n-\bar{x})^{2}=\sum_n x_n^{2}-N\bar{x}^{2}$.したがって,入力がすべて同じ値ではない(分母が 0 でない)とき,

$$ \hat{w}_1=\frac{\sum_n(x_n-\bar{x})(y_n-\bar{y})}{\sum_n(x_n-\bar{x})^{2}}. $$

(2) の数値で確かめる.$\bar{x}=1$,$\bar{y}=7/3$,ずれは $x$:$-1,0,1$,$y$:$-4/3,-1/3,5/3$.分子 $=4/3+0+5/3=3$,分母 $=2$ なので $\hat{w}_1=1.5$,$\hat{w}_0=7/3-1.5=5/6$ で一致する.

演習1.2 材料の課題を分類する

解答

(1) 回帰,教師あり.出力は硬さという数値であり,学習には組成・熱処理条件と測った硬さの組が要る.

(2) 分類(2 クラス),教師あり.専門家の判定が目標値(ラベル)になる.300 枚という数は画像の分類としては少ないので,過学習に注意が要る.

(3) 潜在表現のうちクラスタリング,教師なし.群の正解は与えられておらず,構造の記述子の分布から群を見つける.群の数をいくつにするかもデータと目的から決める必要がある.

(4) 隠した語を当てる段階は自己教師あり学習である.目標値(隠した語)は文章そのものから作られ,人がラベルを付けていない.この段階の仕事は「語彙のどの語か」を当てる分類である.その後,学んだ表現を入力にして物性を予測する段階は,物性値のラベルを使う教師ありの回帰(または分類)になる.

(5) 密度推定,教師なし.出力は静電容量の分布であり,規格の外側の面積(確率)を計算する.規格外が少数しかないときは,分布の裾の形の仮定(Gauss 分布か,裾の重い分布か)が結果を大きく左右する.

演習1.3 3 点から延ばす

解答

3 点は $s=-1,-0.5,0$,$y=74.2,81.4,87.3\ \%$.平均は $\bar{s}=-0.5$,$\bar{y}=(74.2+81.4+87.3)/3$ $=242.9/3=80.967\ \%$.平均からのずれは $s$:$-0.5,0,0.5$,$y$:$-6.767,0.433,6.333$.

$$ \begin{aligned} &\sum_n(s_n-\bar{s})(y_n-\bar{y})\\ &\quad=(-0.5)(-6.767)+0+(0.5)(6.333)\\ &\quad=6.55,\\ &\sum_n(s_n-\bar{s})^{2}=0.25+0+0.25=0.5 . \end{aligned} $$

よって $\hat{w}_1=6.55/0.5=13.1\ \%$,$\hat{w}_0=\bar{y}-\hat{w}_1\bar{s}$ $=80.967+13.1\times0.5=87.517\ \%$.

1400 °C($s=0.5$):$\hat{y}=87.517+6.55=94.07\ \%$(観測 92.6 %,差 $+1.47$ %).1500 °C($s=1$):$\hat{y}=87.517+13.1=100.62\ \%$(観測 91.4 %,差 $+9.22$ %).

予測が 100 % になるのは $87.517+13.1s=100$,すなわち $s=12.483/13.1=0.953$,温度に直すと $T=1300+200\times0.953=1490.6$ °C である.これより高い温度では,相対密度が 100 % を超えるという物理的にありえない予測になる.原因は,(a) 1100〜1300 °C の 3 点には緻密化が頭打ちになる情報が含まれていないこと(外挿),(b) 直線というモデルの形が「相対密度は 100 % を超えない」という物理の制約を含んでいないことである.データ A の真の関数でも,相対密度は約 1425 °C($s\approx0.62$)で最大になり,それより高温では下がる.

演習1.4 自己教師あり学習の組の数

解答

(1) $T$ 語の文からは $T-1$ 組なので,$(6-1)+(9-1)+(12-1)$ $=5+8+11=24$ 組.

(2) 12 語目を当てるとき,本来の入力は 1〜11 語目だが,文脈長が 4 語なので,直前の 4 語(8〜11 語目)だけが入力になる.目標値は 12 語目のままである.目標値になる語(2〜12 語目)は変わらないので,組の数は $12-1=11$ のまま変わらない.変わるのは,各組の入力が「直前の最大 4 語」に切り詰められることで,5 語以上前の情報は使えなくなる.

(3) 目標値は文章そのものが与えている(人がラベルを付けていない).教師あり学習と同じ点:入力と目標値の組があり,予測と目標値の食い違いを損失として最小にする(次の語を語彙の中から当てる分類).教師なし学習と同じ点:外から与えられたラベルを使わず,データの分布(ここでは文章の並び方)そのものを学んでいる.違いは,教師あり学習では目標値を実験や人の判定で別に用意するのに対し,自己教師あり学習ではデータの一部を隠すことで目標値を自動的に作る点である.

演習1.5 二乗の損失と絶対値の損失

解答

(1) $L_2(w)=\tfrac12\sum_n(y_n-w)^{2}$ を $w$ で微分すると,合成関数の微分により

$$ \begin{aligned} \diff{L_2}{w}&=\frac12\sum_{n=1}^{N}2(y_n-w)\times(-1)\\ &=-\sum_{n=1}^{N}(y_n-w)=-\sum_{n=1}^{N}y_n+Nw . \end{aligned} $$

これを 0 とおくと $w=\frac1N\sum_n y_n=\bar{y}$(標本平均).2 階微分は $N\gt0$ なので,ここで最小である.値は $(95.1+95.4+94.8+95.2+89.0)/5$ $=469.5/5$ $=93.9\ \%$.

(2) $\abs{y_n-w}$ は,$w\lt y_n$ のとき $y_n-w$($w$ で微分すると $-1$),$w\gt y_n$ のとき $w-y_n$(微分すると $+1$)である.$w$ より小さい $y_n$ の個数を $N_{\lt}(w)$,大きい $y_n$ の個数を $N_{\gt}(w)$ と書くと,$w$ がどのデータの値とも一致しない所では

$$ \begin{aligned} \diff{L_1}{w}&=N_{\lt}(w)\times(+1)+N_{\gt}(w)\times(-1)\\ &=N_{\lt}(w)-N_{\gt}(w). \end{aligned} $$

値を小さい順に並べると $89.0,\ 94.8,\ 95.1,\ 95.2,\ 95.4$.$w$ が $94.8$ と $95.1$ の間にあるとき,小さいものは 2 個,大きいものは 3 個なので傾きは $2-3=-1$($w$ を増やすと $L_1$ は減る).$w$ が $95.1$ と $95.2$ の間にあるとき,小さいものは 3 個,大きいものは 2 個なので傾きは $+1$(増やすと増える).$L_1$ は折れ線で,傾きが負から正に変わる $w=95.1\ \%$ で最小になる.これは 5 個の真ん中の値,つまり中央値である.一般に,傾きが負から正に変わるのは $w$ より小さい個数と大きい個数が釣り合う所なので,最小点は中央値になる(個数が偶数のときは真ん中の 2 つの間のどこでも最小).

(3) 外れた 1 回を除いた 4 回の平均は $(95.1+95.4+94.8+95.2)/4$ $=380.5/4=95.125\ \%$.中央値 95.1 % はこれにほぼ一致するが,平均 93.9 % は 1 回の外れに引きずられて 1.2 % 以上低い.二乗の損失は大きな外れほど重く罰するので,「誤差は小さくそろっていて,極端な外れはまれ」という仮定(第8章で見るように,誤差が Gauss 分布に従うという仮定に当たる)を置いていることになる.絶対値の損失は外れに強く,「ときどき大きく外れる値がある」データに向く.損失の選択は,データの誤差についての仮定の選択である.

演習1.6 バンドギャップの曲がりと記述子

解答

(1) 第1章の例題1.6 で得た $E_g(x)=1.20+0.40x+0.80x^{2}$ を使う.$E_g(0)=1.20\ \mathrm{eV}$,$E_g(0.5)=1.20+0.20+0.20=1.60\ \mathrm{eV}$,$E_g(1)=1.20+0.40+0.80=2.40\ \mathrm{eV}$.

(2) $\bar{x}=0.5$,$\bar{E}=(1.20+1.60+2.40)/3$ $=5.20/3=1.7333\ \mathrm{eV}$.ずれは $x$:$-0.5,0,0.5$,$E$:$-0.5333,-0.1333,0.6667$.

$$ \begin{aligned} \text{分子}&=(-0.5)(-0.5333)+0\times(-0.1333)\\ &\quad+(0.5)(0.6667)=0.6\ \mathrm{eV},\\ \text{分母}&=0.25+0+0.25=0.5,\\ \hat{w}_1&=\frac{0.6}{0.5}=1.20\ \mathrm{eV}, \end{aligned} $$

$\hat{w}_0=1.7333-1.20\times0.5=1.1333\ \mathrm{eV}$.予測値は $x=0,0.5,1$ で $1.1333,\ 1.7333,\ 2.3333\ \mathrm{eV}$,残差は $1.20-1.1333=+0.0667$,$1.60-1.7333=-0.1333$,$2.40-2.3333=+0.0667\ \mathrm{eV}$.

(3) 最大の残差は $0.133\ \mathrm{eV}$ で,誤差の標準偏差 $0.03\ \mathrm{eV}$ の約 4.4 倍である.しかも残差は「両端で正,中央で負」という規則的な形をしている.観測の誤差だけでは説明できないので,直線モデルでは不十分である(モデルの形が真の関係の曲がりを表せていない).

(4) 記述子に $x^{2}$ を加えたモデル $w_0+w_1x+w_2x^{2}$ は,$(w_0,w_1,w_2)=(1.20,\ 0.40,\ 0.80)\ \mathrm{eV}$ で真の関係と一致し,3 点の残差はすべて 0 になる.ただし,3 点に 3 つのパラメーターなので,どんな 3 点でも残差 0 で通ってしまう.実際の測定値には 0.03 eV の誤差があるので,モデルが正しいかを確かめるには,パラメーターの数より十分多い点を測り,残差に規則的な形が残っていないかを見る必要がある.

演習1.7 繰り返し測定とデータ漏洩

解答

(1) テスト用の 12 行のうち注目する 1 行を固定すると,残りのテスト用 11 行は,その行を除いた 59 行から等しい確率で選ばれる.同じ試料の残り 2 行がどちらもテスト用に入る確率は,1 行目が 11/59,それが入ったもとで 2 行目が 10/58 なので

$$ \frac{11}{59}\times\frac{10}{58}=\frac{110}{3422}\approx0.032 . $$

したがって,テスト用の行の約 $1-0.032=0.968$(97 %)は,同じ試料の測定値を少なくとも 1 行,学習用の中に持っている.

(2) 最も近い行は,ほとんどの場合,同じ試料の別の測定である.モデルはその値を返すだけなので,テストでの誤差は「同じ試料を測り直したときのばらつき」(測定の繰り返し誤差)にほぼ等しくなる.これは新しい試料(まだ作っていない材料)に対する予測の誤差ではなく,それよりずっと小さい.評価は楽観的になり,データ漏洩が起きている.

(3) 行ではなく試料を単位に分ける.たとえば 20 個の試料のうち 4 個(12 行)をテスト用,16 個(48 行)を学習用にし,同じ試料の 3 行は必ず同じ側に入れる(グループ単位の分割.第6章).さらに,同じ原料ロットや同じ焼成バッチの試料どうしも似ているなら,ロットやバッチを単位に分けるほうが,新しいロットへの予測の誤差を正直に見積もれる.

演習1.8 探索と活用の境目

解答

(1) $\mathrm{UCB}(2.2)=-4.00+0.05\kappa$,$\mathrm{UCB}(6.0)=-4.20+0.40\kappa$.等しくなるのは $-4.00+0.05\kappa=-4.20+0.40\kappa$,すなわち $0.20=0.35\kappa$,$\kappa=4/7\approx0.571$.$\kappa\lt4/7$ なら $x=2.2$,$\kappa\gt4/7$ なら $x=6.0$ が選ばれる.

(2) $\mathrm{UCB}(9.0)=-4.70+0.30\kappa$.$x=6.0$ との差は

$$ \begin{aligned} &\mathrm{UCB}(6.0)-\mathrm{UCB}(9.0)\\ &\quad=(-4.20+4.70)+(0.40-0.30)\kappa\\ &\quad=0.50+0.10\kappa\gt0 \end{aligned} $$

で,$\kappa\ge0$ のどの値でも正である.$x=9.0$ は平均でも幅でも $x=6.0$ に劣るので,$\kappa$ をどう選んでも選ばれない.

(3) 観測値 $-3.95$ は予測の平均 $-4.20$ より高かった.ベイズ推定でこの観測を取り込むと,$x=6.0$ の予測の平均は観測値の側へ引き上げられ(観測の誤差の標準偏差 0.05 は予測の幅 0.40 よりずっと小さいので,ほぼ $-3.95$ の近くまで動く),予測の標準偏差は大きく縮む(観測の誤差と同じ程度まで).$x=6.0$ の近くの添加量でも,平均が上がり幅が縮む.その結果,大きな山がこの付近にある見込みが強まり,次の測定では,6.0 mol% の周りのまだ測っていない所が選ばれる可能性が高まる.具体的な数値はガウス過程回帰(第12章)で計算できる.

第2章 確率・期待値・条件付き確率 — 不確かさを数える道具

演習2.1 焼成雰囲気と割れ

解答

雰囲気を $x\in\{\text{大気},\text{Ar}\}$,割れを $y\in\{\text{有},\text{無}\}$ とする.大気は 50 個(有 15,無 35),Ar は 100 個(有 10,無 90),全体は 150 個である.

(1) 度数を 150 で割る.

割れあり割れなし$p(x)$
大気$15/150=0.100$$35/150\approx0.233$$50/150=1/3$
Ar$10/150\approx0.067$$90/150=0.600$$100/150=2/3$
$p(y)$$25/150=1/6$$125/150=5/6$1

(2) 加法定理より $p(\text{割れ})=0.100+0.067$ $=25/150=1/6\approx0.167$.条件付き確率の定義より

$$ \begin{aligned} p(\text{割れ}\mid\text{大気})&=\frac{p(\text{大気},\text{割れ})}{p(\text{大気})}\\ &=\frac{15/150}{50/150}=\frac{15}{50}=0.30,\\ p(\text{大気}\mid\text{割れ})&=\frac{15/150}{25/150}=\frac{15}{25}=0.60 . \end{aligned} $$

(3) $p(\text{大気},\text{割れ})=0.100$ に対し,$p(\text{大気})\,p(\text{割れ})=\tfrac13\times\tfrac16=\tfrac1{18}\approx0.056$ で一致しない.したがって独立ではない.条件付き確率で見ても $p(\text{割れ}\mid\text{大気})=0.30$,$p(\text{割れ}\mid\text{Ar})=10/100=0.10$ で,雰囲気によって割れの確率が変わる.

(補足)2×2 の表では,1 つのますで $p(x,y)=p(x)p(y)$ が成り立てば残りも成り立つ.たとえば大気・割れのますで成り立てば,加法定理から

$$ \begin{aligned} p(\text{大気},\text{無})&=p(\text{大気})-p(\text{大気},\text{割れ})\\ &=p(\text{大気})-p(\text{大気})\,p(\text{割れ})\\ &=p(\text{大気})\bigl(1-p(\text{割れ})\bigr)\\ &=p(\text{大気})\,p(\text{無}) \end{aligned} $$

となるからである(残りの 2 つのますも同様).

演習2.2 2 種類の分析で異相を判定する

解答

異相の有無を $z\in\{\text{有},\text{無}\}$,XRD の判定を $x_1$,SEM–EDS の判定を $x_2$($+$ が「検出」)とする.$p(\text{有})=0.10$,$p(x_1=+\mid\text{有})=0.80$,$p(x_1=+\mid\text{無})=0.10$,$p(x_2=+\mid\text{有})=0.90$,$p(x_2=+\mid\text{無})=0.02$.

(1) Bayes の定理より

$$ \begin{aligned} &p(\text{有}\mid x_1=+)\\ &=\frac{0.80\times0.10}{0.80\times0.10+0.10\times0.90}\\ &=\frac{0.080}{0.080+0.090}=\frac{0.080}{0.170}\approx0.471 . \end{aligned} $$

(2) 条件付き独立より $p(x_1=+,x_2=+\mid z)$ $=p(x_1=+\mid z)\,p(x_2=+\mid z)$ なので

$$ \begin{aligned} &p(\text{有}\mid +,+)\\ &=\frac{0.80\times0.90\times0.10}{0.80\times0.90\times0.10+0.10\times0.02\times0.90}\\ &=\frac{0.0720}{0.0720+0.0018}=\frac{0.0720}{0.0738}\approx0.976 . \end{aligned} $$

(1) の結果 $q_1=0.4706$($0.080/0.170$)を事前確率として SEM–EDS の結果で更新しても同じになる:

$$ \begin{aligned} \frac{0.90\,q_1}{0.90\,q_1+0.02\,(1-q_1)}&=\frac{0.4235}{0.4235+0.0106}\\ &\approx0.976 . \end{aligned} $$

(3) $p(x_2=-\mid\text{有})=0.10$,$p(x_2=-\mid\text{無})=0.98$ なので

$$ \begin{aligned} &p(\text{有}\mid +,-)\\ &=\frac{0.80\times0.10\times0.10}{0.80\times0.10\times0.10+0.10\times0.98\times0.90}\\ &=\frac{0.0080}{0.0080+0.0882}=\frac{0.0080}{0.0962}\approx0.083 . \end{aligned} $$

SEM–EDS は偽陽性率が低く感度が高いので,その「検出せず」は強い証拠になり,事前確率 0.10 よりも小さくなる.

(4) 一度に更新する式は,分子が $p(x_1\mid\text{有})\,p(x_2\mid\text{有})\,p(\text{有})$,分母がこれと $p(x_1\mid\text{無})\,p(x_2\mid\text{無})\,p(\text{無})$ の和である.積は掛ける順序によらないので,SEM–EDS を先に使っても結果は同じである.実際に SEM–EDS を先に使うと $p(\text{有}\mid x_2=+)$ $=0.090/(0.090+0.018)$ $=0.833$,次に XRD で

$$ \begin{aligned} &\frac{0.80\times0.833}{0.80\times0.833+0.10\times0.167}\\ &=\frac{0.6667}{0.6833}\approx0.976 \end{aligned} $$

となり,(2) と一致する.条件付き独立が成り立たない場合(たとえば同じ粒子の凝集を両方が見落とす)は,この計算は使えない.

演習2.3 共分散の公式

解答

$\mu_x=\Ex[x]$,$\mu_y=\Ex[y]$ とする.

(1) 積を展開し,期待値の線形性を使う($\mu_x,\mu_y$ は定数).

$$ \begin{aligned} \Cov[x,y]&=\Ex[xy-\mu_y x-\mu_x y+\mu_x\mu_y]\\ &=\Ex[xy]-\mu_y\mu_x-\mu_x\mu_y+\mu_x\mu_y\\ &=\Ex[xy]-\mu_x\mu_y . \end{aligned} $$

(2) $u=ax+by+c$ とおくと $\Ex[u]=a\mu_x+b\mu_y+c$,$u-\Ex[u]=a(x-\mu_x)+b(y-\mu_y)$.よって

$$ \begin{aligned} &\Var[u]\\ &=\Ex\!\left[\bigl(a(x-\mu_x)+b(y-\mu_y)\bigr)^{2}\right]\\ &=a^{2}\Ex[(x-\mu_x)^{2}]+b^{2}\Ex[(y-\mu_y)^{2}]\\ &\quad+2ab\,\Ex[(x-\mu_x)(y-\mu_y)]\\ &=a^{2}\Var[x]+b^{2}\Var[y]+2ab\,\Cov[x,y]. \end{aligned} $$

$a=b=1$,$c=0$ とすると本文の式(和の分散)になる.$a=1$,$b=-1$ とすると $\Var[x-y]=\Var[x]+\Var[y]-2\Cov[x,y]$ である.

(3) $\bm{\mu}=\Ex[\bm{x}]$ とすると $\Ex[\bm{a}^{\tp}\bm{x}]=\bm{a}^{\tp}\bm{\mu}$,$\Ex[\bm{b}^{\tp}\bm{x}]=\bm{b}^{\tp}\bm{\mu}$.スカラー $\bm{b}^{\tp}(\bm{x}-\bm{\mu})$ は転置しても同じなので $(\bm{x}-\bm{\mu})^{\tp}\bm{b}$ と書ける.よって

$$ \begin{aligned} &\Cov[\bm{a}^{\tp}\bm{x},\bm{b}^{\tp}\bm{x}]\\ &=\Ex\!\left[\bm{a}^{\tp}(\bm{x}-\bm{\mu})(\bm{x}-\bm{\mu})^{\tp}\bm{b}\right]\\ &=\bm{a}^{\tp}\,\Ex\!\left[(\bm{x}-\bm{\mu})(\bm{x}-\bm{\mu})^{\tp}\right]\bm{b}\\ &=\bm{a}^{\tp}\bm{\Sigma}\bm{b}. \end{aligned} $$

成分で書けば $\sum_{i}\sum_{j}a_i b_j\Cov[x_i,x_j]$ であり,定数を期待値の外に出しただけである.$\bm{b}=\bm{a}$ とすると第2章の定理2.7 の $\Var[\bm{a}^{\tp}\bm{x}]=\bm{a}^{\tp}\bm{\Sigma}\bm{a}$ になる.

演習2.4 相関係数は −1 以上 1 以下

解答

演習2.3 (2) で $a=1/\sigma_x$,$b=\pm1/\sigma_y$ とおく.$\Var[x]/\sigma_x^{2}=1$,$\Var[y]/\sigma_y^{2}=1$,$\Cov[x,y]/(\sigma_x\sigma_y)=\rho$ なので

$$ \begin{aligned} \Var[u]&=\Var\!\left[\frac{x}{\sigma_x}+\frac{y}{\sigma_y}\right]\\ &=1+1+2\rho=2(1+\rho),\\ \Var[v]&=\Var\!\left[\frac{x}{\sigma_x}-\frac{y}{\sigma_y}\right]=2(1-\rho). \end{aligned} $$

分散は 0 以上なので $1+\rho\ge0$ かつ $1-\rho\ge0$,すなわち $-1\le\rho\le1$.

$\rho=1$ のときは $\Var[v]=0$ である.分散が 0 の確率変数は確率 1 で平均に等しいので,$x/\sigma_x-y/\sigma_y$ は確率 1 で定数 $c=\mu_x/\sigma_x-\mu_y/\sigma_y$ に等しい.すなわち $y=\dfrac{\sigma_y}{\sigma_x}x+\text{定数}$ で,$y$ が $x$ の傾き正の 1 次関数のとき(点がすべて右上がりの直線上に並ぶとき)である.同様に $\rho=-1$ は傾き負の直線上に並ぶときである.

(別解)2×2 の共分散行列 $\begin{pmatrix}\sigma_x^{2}&\rho\sigma_x\sigma_y\\\rho\sigma_x\sigma_y&\sigma_y^{2}\end{pmatrix}$ は半正定値なので行列式が 0 以上:$\sigma_x^{2}\sigma_y^{2}(1-\rho^{2})\ge0$,よって $\rho^{2}\le1$.

演習2.5 粒の半径から体積の分布へ

解答

長さの単位を $\mu\mathrm{m}$,体積の単位を $\mu\mathrm{m}^{3}$ とする.$p_r(r)=1$($1\le r\le2$).

(1) $V=\tfrac43\pi r^{3}$ は増加関数で,$V$ は $V_1=\tfrac43\pi\approx4.19$ から $V_2=\tfrac{32}{3}\pi\approx33.5$ まで動く.逆関数は $r=\left(\dfrac{3V}{4\pi}\right)^{1/3}$ で,

$$ \begin{aligned} \diff{r}{V}&=\frac13\left(\frac{3V}{4\pi}\right)^{-2/3}\cdot\frac{3}{4\pi}\\ &=\frac{1}{4\pi}\left(\frac{3V}{4\pi}\right)^{-2/3}=\frac{1}{4\pi r^{2}} . \end{aligned} $$

変数変換の式より

$$ \begin{gathered} p_V(V)=p_r(r)\,\abs{\diff{r}{V}}=\frac{1}{4\pi}\left(\frac{3V}{4\pi}\right)^{-2/3}\\ \left(\tfrac43\pi\le V\le\tfrac{32}{3}\pi\right). \end{gathered} $$

密度は $V_1$ で $1/(4\pi)\approx0.0796\ \mu\mathrm{m}^{-3}$,$V_2$ で $1/(16\pi)\approx0.0199\ \mu\mathrm{m}^{-3}$ で,体積が大きいほど薄く引き延ばされる.正規化は,$V$ から $r$ に積分変数を戻すと $\dd V=4\pi r^{2}\dd r$ なので $\int_{V_1}^{V_2}p_V\,\dd V=\int_1^2\frac{1}{4\pi r^{2}}\cdot4\pi r^{2}\,\dd r=\int_1^2\dd r=1$.

(2) $p_r(r)=1$ を使って

$$ \begin{aligned} \Ex[V]&=\int_1^2\tfrac43\pi r^{3}\,\dd r=\tfrac43\pi\cdot\frac{2^{4}-1^{4}}{4}\\ &=\tfrac43\pi\cdot\frac{15}{4}=5\pi\approx15.71\ \mu\mathrm{m}^{3}. \end{aligned} $$

一方,$\Ex[r]=1.5\ \mu\mathrm{m}$ から $\tfrac43\pi(1.5)^{3}$ $=\tfrac43\pi\times3.375$ $=4.5\pi\approx14.14\ \mu\mathrm{m}^{3}$.

(3) 平均粒径から計算した体積は,平均の体積を約 10% 小さく見積もる($4.5\pi$ 対 $5\pi$).$r^{3}$ は下に凸な関数なので,大きい粒が体積の平均を大きく引き上げる効果が,小さい粒が引き下げる効果より大きいからである(一般に下に凸な $f$ では $\Ex[f(x)]\ge f(\Ex[x])$.Jensen の不等式.付録A A.9).非線形な変換をする量について「平均を変換したもの」と「変換したものの平均」は違う,という点が本章の誤差の伝播の一次近似の限界でもある.

演習2.6 尤度の面積

解答

ベータ関数を使うと

$$ \begin{aligned} \int_0^1\theta^{m}(1-\theta)^{N-m}\,\dd\theta&=B(m+1,N-m+1)\\ &=\frac{m!\,(N-m)!}{(N+1)!}. \end{aligned} $$

したがって

$$ \begin{aligned} \int_0^1 L(\theta)\,\dd\theta&=\frac{N!}{m!\,(N-m)!}\cdot\frac{m!\,(N-m)!}{(N+1)!}\\ &=\frac{N!}{(N+1)!}=\frac{1}{N+1}. \end{aligned} $$

$N=10$,$m=7$ なら $1/11$ で,本文の例題2.9 と一致する.

意味:$m$ によらないことは,「$\theta$ を $[0,1]$ の一様分布から選び,その $\theta$ で $N$ 回試行する」とき,成功回数 $m=0,1,\dots,N$ がすべて等しい確率 $1/(N+1)$ で起こることを表している($\int_0^1 p(m\mid\theta)\cdot1\,\dd\theta=p(m)$ は加法定理の連続版).これは第4章 4.3 で扱う周辺尤度 $p(\data)$ の最も簡単な例である.尤度の面積は 1 ではないので,尤度を $\theta$ の分布とみなすことはできない.$\theta$ の分布を得るには,事前分布を掛けてこの面積で割る(Bayes の定理)必要がある.

3 回中 3 回成功のとき $L(\theta)=\binom33\theta^{3}(1-\theta)^{0}=\theta^{3}$.$[0,1]$ で増加関数なので最大は $\theta=1$(最尤推定値 $m/N=1$).$L(0.5)=0.125$.データが 3 個しかないと,尤度だけで判断すれば「必ず成功する」という極端な結論になる.このことが,第4章で事前分布を導入する動機になる.

演習2.7 硬さの繰り返し測定

解答

(1) 和は $612+598+631+605$ $+620+589+617+608$ $=4880$ なので $\bar{x}=4880/8=610\ \mathrm{HV}$.平均からのずれは $2,\,-12,\,21,\,-5,\,10,\,-21,\,7,\,-2$ で,その 2 乗の和は

$$ \begin{aligned} &4+144+441+25\\ &+100+441+49+4=1208 . \end{aligned} $$

$s^{2}=1208/(8-1)\approx172.6\ \mathrm{HV^{2}}$,$s\approx13.1\ \mathrm{HV}$.標準誤差は $s/\sqrt{8}\approx13.14/2.828\approx4.6\ \mathrm{HV}$.報告は「$610\pm5\ \mathrm{HV}$(8 回の平均 ± 標準誤差,1 回のばらつき $s=13\ \mathrm{HV}$)」のように書く.

(2) $s/\sqrt{N}\le3$ より $N\ge(s/3)^{2}=(13.14/3)^{2}\approx19.2$.したがって 20 回.

(3) 報告してはいけない(少なくとも,そのまま「材料の硬さの不確かさ」とは言えない).$s/\sqrt{N}$ は,8 回の測定が「材料の硬さの分布」からの独立な標本であることを前提にしている.1 枚の試料の狭い範囲で測った値は,その試料の局所的な組織や作製のばらつき(バッチ)を共有しており,互いに相関している.2.10 節の例題2.12 のように,相関があると標準誤差は過小評価になり,試料をいくら測っても試料間・バッチ間のばらつきは見えない.$s/\sqrt{N}$ は「この試料のこの領域の平均硬さの不確かさ」として報告し,材料としての値を言うには,複数の試料(できれば複数のバッチ)で測る必要がある.

演習2.8 バッチの数と試料の数

解答

(1) 案 A:バッチ $b$($b=1,\dots,5$)の 4 個の平均を $\bar{x}_b$ とすると,例題2.12 の結果で $N=4$ として $\Var[\bar{x}_b]=\dfrac{\sigma^{2}}{4}\bigl[1+3\rho\bigr]$.全体の平均は $\bar{x}=\frac15\sum_b\bar{x}_b$ で,バッチ平均どうしは独立なので

$$ \Var[\bar{x}]=\frac{1}{5^{2}}\cdot5\cdot\frac{\sigma^{2}}{4}(1+3\rho)=\frac{\sigma^{2}}{20}(1+3\rho). $$

(2) $\rho=0.5$ なら $\Var[\bar{x}]=\sigma^{2}\times2.5/20=\sigma^{2}/8$.独立な測定 $N_{\mathrm{eff}}$ 個の平均の分散 $\sigma^{2}/N_{\mathrm{eff}}$ と比べて $N_{\mathrm{eff}}=8$.20 個測っても独立な測定 8 個分の情報しかない.

(3) 案 B は $\Var[\bar{x}]=\sigma^{2}/20$ で,同じ 20 個の測定から最も小さい不確かさが得られる.さらに,20 個がすべて別のバッチなので,標本のばらつきにバッチ間のばらつき(作製の再現性)がそのまま含まれ,材料としてのばらつきを小さく見積もる心配がない.欠点は,バッチを作る費用と時間が 4 倍かかること,そして「同じバッチの中でのばらつき」と「バッチ間のばらつき」を分けて見積もれないことである.案 A のように 1 バッチに複数個あると,両者を分けて見積もれる(分散の成分分け).
機械学習の観点では,案 A のデータで訓練データとテストデータを試料単位で無作為に分けると,同じバッチの試料が両方に入り,テストの成績が実力より良く見える(データ漏洩.第6章 6.8).案 A のデータを使うなら,バッチ単位で分ける必要がある.案 B ならこの問題は起きにくいが,代わりに 1 バッチ 1 個なので,バッチ内の測定の再現性は分からない.費用が許すなら「バッチの数をできるだけ増やし,その中で少数個を測る」設計が,平均の精度と漏洩の防止の両方に有利である.

第3章 さまざまな確率分布 — データのばらつき方の型

演習3.1 不良数の二項分布と Poisson 近似

解答

$N=100$,$\mu=0.02$ である.

(1) 二項分布(第3章の式 (3.3) の形 $\binom{N}{m}\mu^{m}(1-\mu)^{N-m}$)で,

$$ \begin{aligned} P(m=0)&=0.98^{100}=\exp(100\ln0.98)\\ &=\exp(-2.0203)\approx0.1326, \end{aligned} $$ $$ P(m=1)=100\times0.02\times0.98^{99}\approx0.2707, $$ $$ \begin{aligned} P(m=2)&=\binom{100}{2}0.02^{2}\,0.98^{98}\\ &=4950\times0.0004\times0.98^{98}\\ &\approx0.2734 . \end{aligned} $$

よって $P(m\le2)$ $\approx0.1326+0.2707+0.2734$ $=0.6767$.

(2) Poisson 近似では $\lambda=N\mu=2$ なので

$$ P(m=0)=e^{-2}\approx0.1353, $$ $$ \begin{aligned} P(m\le2)&=e^{-2}\left(1+2+\frac{2^{2}}{2}\right)\\ &=5e^{-2}\approx0.6767 . \end{aligned} $$

0 個の確率は 2 % ほど(0.1326 と 0.1353)違うが,2 個以下の確率はほぼ一致する(各項の差が打ち消し合う).$\mu=0.02$ は十分に小さいので,Poisson 近似はよく当たっている.

(3) 二項分布の分散は $N\mu(1-\mu)=100\times0.02\times0.98=1.96$,Poisson 分布の分散は $\lambda=2$.比は $1-\mu=0.98$ で,ほとんど同じである.

演習3.2 Poisson 分布の性質

解答

(1) $m=0,1,2$ の項は $m(m-1)(m-2)=0$ なので $m=3$ から和をとり,$m(m-1)(m-2)/m!=1/(m-3)!$ を使う.

$$ \begin{aligned} &\Ex[m(m-1)(m-2)]\\ &=\sum_{m=3}^{\infty}\frac{\lambda^{m}e^{-\lambda}}{(m-3)!}\\ &=\lambda^{3}e^{-\lambda}\sum_{j=0}^{\infty}\frac{\lambda^{j}}{j!}\\ &=\lambda^{3}e^{-\lambda}e^{\lambda}=\lambda^{3}. \end{aligned} $$

(3 行目で $j=m-3$ と置いた.)一般に $\Ex[m(m-1)\cdots(m-r+1)]=\lambda^{r}$ となる.

(2) $m_1+m_2=n$ となるのは,$m_1=j$,$m_2=n-j$($j=0,\dots,n$)のどれかであり,これらは互いに排反である.独立性から各場合の確率は積なので

$$ \begin{aligned} &P(m_1+m_2=n)\\ &=\sum_{j=0}^{n}\frac{\lambda_1^{j}e^{-\lambda_1}}{j!}\cdot\frac{\lambda_2^{n-j}e^{-\lambda_2}}{(n-j)!}\\ &=\frac{e^{-(\lambda_1+\lambda_2)}}{n!}\sum_{j=0}^{n}\frac{n!\,\lambda_1^{j}\lambda_2^{n-j}}{j!\,(n-j)!}\\ &=\frac{e^{-(\lambda_1+\lambda_2)}}{n!}(\lambda_1+\lambda_2)^{n}. \end{aligned} $$

最後に二項定理を使った.これは $\mathrm{Pois}(n\mid\lambda_1+\lambda_2)$ である.

(3) 20 秒の計数は,前半 10 秒の計数 $m_1$ と後半 10 秒の計数 $m_2$ の和である.事象が独立に一定の率で起こるなら,$m_1$ と $m_2$ は独立にどちらも $\mathrm{Pois}(\lambda)$ に従う.(2) より和は $\mathrm{Pois}(2\lambda)$ に従う.平均も分散も $2\lambda$ になり,相対誤差は $1/\sqrt{2\lambda}$ と $1/\sqrt2$ 倍に減る.

演習3.3 XPS の測定時間

解答

(1) 時間 $t$(s)の計数は,ピークの位置で平均 $80t$,バックグラウンドで平均 $30t$ の Poisson 分布に従う.正味の強度の平均は $(80-30)t=50t$,2 つの計数は独立なので分散は和 $80t+30t=110t$ である.相対誤差は

$$ \frac{\sqrt{110t}}{50t}=\frac{\sqrt{110}}{50\sqrt{t}}\approx\frac{0.2098}{\sqrt{t}} . $$

(2) $\sqrt{110}/(50\sqrt t)\le0.01$ より $\sqrt t\ge\sqrt{110}/0.5\approx20.98$,$t\ge440\ \mathrm{s}$(ピークとバックグラウンドを各 440 s,合計 880 s).

(3) バックグラウンドが無ければ,平均 $50t$,分散 $50t$ で相対誤差は $1/\sqrt{50t}$.$1/\sqrt{50t}\le0.01$ より $t\ge200\ \mathrm{s}$.

正味の強度は同じ $50\ \mathrm{s^{-1}}$ なのに,バックグラウンドがあると 1 か所あたり 2.2 倍の時間が要り,バックグラウンドの測定も合わせると 4.4 倍になる.バックグラウンドは信号を増やさずに分散だけを増やすので,低いバックグラウンドの条件(測定の配置や励起源の選択)は測定時間の短縮に直接効く.

演習3.4 2 次元 Gauss 分布の周辺化と回帰

解答

(1) 第3章 3.6.4 項の分解で $\rho=0$ とおくと,因子 (A) は $\dfrac{1}{\sqrt{2\pi}\sigma_a}\exp(-u^{2}/2)=\Normal(x_a\mid\mu_a,\sigma_a^{2})$ となり,$x_b$ によらない.したがって $p(x_a,x_b)$ $=\Normal(x_a\mid\mu_a,\sigma_a^{2})\,\Normal(x_b\mid\mu_b,\sigma_b^{2})$ $=p(x_a)p(x_b)$ で,独立である.Gauss 分布では無相関なら独立である(一般の分布では成り立たない.第2章 2.5 節).

(2) $a$ と $b$ を入れ替えると

$$ \Ex[x_b\mid x_a]=\mu_b+\rho\frac{\sigma_b}{\sigma_a}(x_a-\mu_a), $$

$(x_a,x_b)$ 平面での傾きは $\dd x_b/\dd x_a=\rho\sigma_b/\sigma_a$.一方 $\Ex[x_a\mid x_b]=\mu_a+\rho\frac{\sigma_a}{\sigma_b}(x_b-\mu_b)$ の直線を $x_b$ について解くと,傾きは $\dd x_b/\dd x_a=\sigma_b/(\rho\sigma_a)$.2 つの傾きの比は $\rho^{2}$ で,$0\lt\abs{\rho}\lt1$ なら一致しない(どちらも点 $(\mu_a,\mu_b)$ を通るが傾きが違う).

(3) $\rho\sigma_b/\sigma_a=0.8\times30/1.5=16\ \mathrm{HV}/\%$,$\sigma_b/(\rho\sigma_a)=30/(0.8\times1.5)=25\ \mathrm{HV}/\%$.

密度から硬さを予想する直線(傾き 16)は,硬さから密度を予想する直線(傾き 25)より寝ている.どちらの予想も,条件にした量が平均から $k$ 標準偏差ずれているとき,予想する量のずれを $\rho k$ 標準偏差($\abs{\rho}\lt1$ なので $k$ より小さい)にとどめる.これを平均への回帰という.相関が完全でない限り,「片方が極端なら,もう片方はそれほど極端ではないだろう」と予想するのが最適であり,その結果 2 本の直線は一致しない.

演習3.5 Mahalanobis 距離と楕円の中の確率

解答

(1) 固有方程式 $\det(\bm{\Sigma}-\lambda\bm{I})$ $=(5-\lambda)(2-\lambda)-4$ $=\lambda^{2}-7\lambda+6=0$ より $\lambda_1=6$,$\lambda_2=1$.

$\lambda_1=6$:$(5-6)u_1+2u_2=0$ より $u_1=2u_2$,単位ベクトルは $\bm{u}_1=(2,1)^{\tp}/\sqrt5$.$\lambda_2=1$:$4u_1+2u_2=0$ より $u_2=-2u_1$,$\bm{u}_2=(1,-2)^{\tp}/\sqrt5$(どちらも符号を反転させてもよい).$\bm{u}_1^{\tp}\bm{u}_2=(2-2)/5=0$ で直交している.

楕円 $\Delta=1$ は,$\bm{u}_1$(傾き $1/2$ の方向)に半径 $\sqrt6\approx2.45$ の長軸,$\bm{u}_2$ の方向に半径 1 の短軸を持つ.

(2) $\abs{\bm{\Sigma}}=5\times2-2\times2=6$ なので $\bm{\Sigma}^{-1}=\dfrac16\begin{pmatrix}2&-2\\-2&5\end{pmatrix}$.

$\bm{x}=(2,1)^{\tp}$:$\Delta^{2}=\dfrac16(2\cdot4-2\cdot2\cdot2\cdot1+5\cdot1)$ $=\dfrac{8-8+5}{6}=\dfrac56\approx0.833$.

$\bm{x}=(1,-2)^{\tp}$:$\Delta^{2}=\dfrac16\bigl(2\cdot1-2\cdot2\cdot1\cdot(-2)$ $+5\cdot4\bigr)=\dfrac{2+8+20}{6}=5$.

どちらも原点からの通常の距離は $\sqrt5$ だが,$(2,1)^{\tp}$ は長軸の方向($\sqrt5\,\bm{u}_1$)にあるので $\Delta^{2}=5/6$ と小さく,$(1,-2)^{\tp}$ は短軸の方向($\sqrt5\,\bm{u}_2$)にあるので $\Delta^{2}=5$ と大きい.第3章の式 (3.13) の $\Delta^{2}=\sum_iy_i^{2}/\lambda_i$ でも,$y_1=\sqrt5$,$y_2=0$ から $5/6$,$y_1=0$,$y_2=\sqrt5$ から $5/1$ と確かめられる.

(3) 第3章 3.6.2 項より $y_1,y_2$ は独立で $y_i\sim\Normal(0,\lambda_i)$.$z_i=y_i/\sqrt{\lambda_i}$ とおくと $z_1,z_2$ は独立な標準 Gauss 分布に従い,$\Delta^{2}=z_1^{2}+z_2^{2}$.$z$ 平面の極座標 $z_1=r\cos\theta$,$z_2=r\sin\theta$(Jacobi 行列式 $r$)を使うと

$$ \begin{aligned} P(\Delta\le c)&=\int_{0}^{2\pi}\!\!\int_{0}^{c}\frac{1}{2\pi}e^{-r^{2}/2}\,r\,\dd r\,\dd\theta\\ &=\Bigl[-e^{-r^{2}/2}\Bigr]_{0}^{c}=1-e^{-c^{2}/2}. \end{aligned} $$

$1-e^{-c^{2}/2}=0.95$ より $c^{2}=-2\ln0.05=5.991$,$c\approx2.45$.2 次元では,95 % を含む楕円は $\Delta\approx2.45$ であり,一変量の 1.96 より大きい.

演習3.6 Cauchy 分布の重み付き平均と中央値

解答

(1) 特性関数 $\varphi(k)=\exp(ix_0k-\gamma\abs{k})$(第3章 3.7.3 項)を使う.$x_1,x_2$ の独立性から

$$ \begin{aligned} &\Ex\!\left[e^{ik(wx_1+(1-w)x_2)}\right]\\ &=\varphi(wk)\,\varphi((1-w)k)\\ &=e^{ix_0wk-\gamma w\abs{k}}\\ &\quad\times e^{ix_0(1-w)k-\gamma(1-w)\abs{k}}\\ &=e^{ix_0k-\gamma\abs{k}} . \end{aligned} $$

$w\ge0$,$1-w\ge0$ なので $\abs{wk}=w\abs{k}$,$\abs{(1-w)k}=(1-w)\abs{k}$ を使った.結果は元の Cauchy 分布の特性関数そのものなので,重み付き平均も同じ Cauchy 分布 $(x_0,\gamma)$ に従う.

(2) (1) を繰り返し使うと,重みが 0 以上で和が 1 の任意の重み付き平均 $\sum_jw_jx_j$ も同じ Cauchy 分布に従う.つまり,何個のデータをどう重み付けして平均しても,中心 $x_0$ の推定の散らばり(半値半幅 $\gamma$)は 1 個のデータと変わらない.平均という操作そのものが,この分布では情報を集めない.

(3) 累積分布関数 $F(x)=\frac12+\frac1\pi\arctan\frac{x-x_0}{\gamma}$ から,中央値は $F=1/2$ の $x_0$,四分位点は $F=1/4,3/4$ の $x_0\mp\gamma$ で,四分位範囲は $2\gamma$.3 個の観測の中央値 $\tilde x$ は,「3 個のうち 2 個以上が $x$ 以下」の確率から $P(\tilde x\le x)=3F^{2}-2F^{3}$ に従う.$x_0=0$,$\gamma=1$ のとき,$3F^{2}-2F^{3}=1/4$ を解くと $F=0.3264$,$x=\tan(\pi(F-1/2))=-0.607$ なので,$\tilde x$ の四分位範囲は $1.21\gamma$ で,標本平均($2\gamma$ のまま)より狭い.また $\tilde x$ の密度の裾は $\abs{x}^{-3}$ で減る(極端な値が 1 個出ても,中央値は残りの 2 個のどちらかで決まる).このように中央値は 1 個の巨大な外れ値に左右されず,標本を増やすと $x_0$ に集まっていく.

演習3.7 Weibull プロットから Weibull 係数を求める

解答

(1) $F_i=(i-0.5)/8$ は $0.0625$,$0.1875$,$0.3125$,$0.4375$,$0.5625$,$0.6875$,$0.8125$,$0.9375$.

$i$$s_i$ / MPa$X_i=\ln s_i$$Y_i$
13065.7236−2.7405
23225.7746−1.5720
33365.8171−0.9816
43435.8377−0.5528
53695.9108−0.1903
63935.97380.1511
73965.98140.5152
84136.02341.0198

たとえば $i=1$ では $1/(1-0.0625)=1.0667$,$\ln1.0667=0.06454$,$\ln0.06454=-2.7405$.

(2) 平均は $\bar X=5.8803$,$\bar Y=-0.5439$.偏差の積和と 2 乗和は $S_{XY}=\sum_i(X_i-\bar X)(Y_i-\bar Y)=0.8877$,$S_{XX}=\sum_i(X_i-\bar X)^{2}=0.08194$.

$$ \hat m=\frac{S_{XY}}{S_{XX}}=\frac{0.8877}{0.08194}\approx10.83, $$ $$ \begin{aligned} c&=\bar Y-\hat m\bar X\\ &=-0.5439-10.83\times5.8803\\ &\approx-64.25 . \end{aligned} $$

第3章の式 (3.25)(Weibull プロットの直線)の切片は $-m\ln s_0$ なので $\ln\hat s_0=-c/\hat m=5.9305$,$\hat s_0=e^{5.9305}\approx376\ \mathrm{MPa}$.

(3) 生成に使った値は $m=10$,$s_0=400\ \mathrm{MPa}$ で,推定値 $\hat m=10.8$,$\hat s_0=376\ \mathrm{MPa}$ はそれなりに近い.しかし 8 本では偶然のばらつきが大きい.同じ手順を $m=10$ の Weibull 分布から 8 本ずつ引いて何千回も繰り返すと,$\hat m$ はおよそ 5〜20 の範囲(95 %)に散らばる.8 本から求めた $m$ は「10 前後」程度の精度しかなく,信頼性の評価には数十本の試験片が望ましい.$\hat s_0$ が 400 より小さいのも,この 8 本がたまたま弱めだったためである.

(4) $F(300)=1-\exp[-(300/376.3)^{10.83}]$.$(300/376.3)^{10.83}$ $=\exp(10.83\times\ln0.7972)$ $=\exp(10.83\times(-0.2266))$ $=\exp(-2.454)$ $=0.0859$ なので $F(300)=1-e^{-0.0859}\approx0.082$.約 8 % が 300 MPa で壊れると見積もられる.ただし (3) のとおり $\hat m$ の不確かさが大きいので,この値も大きな不確かさを持つ.

演習3.8 Lorentz 型のピークを Gauss 型で当てはめる

解答

(1) Lorentz 型 $h\gamma^{2}/((x-x_0)^{2}+\gamma^{2})$ の積分は,Cauchy 分布の正規化($\int\frac1\pi\frac{\gamma}{y^{2}+\gamma^{2}}\dd y=1$)から $\pi\gamma h$.半値全幅 $2\gamma$ が等しい Gauss 型は $2\sqrt{2\ln2}\,\sigma=2\gamma$ より $\sigma=\gamma/\sqrt{2\ln2}=0.8493\gamma$,高さ $h$ の Gauss 型の積分は $\sqrt{2\pi}\,\sigma h$.比は

$$ \frac{\sqrt{2\pi}\,\sigma h}{\pi\gamma h}=\frac{\sqrt{2\pi}}{\pi\sqrt{2\ln2}}=\frac{1}{\pi}\sqrt{\frac{\pi}{\ln2}}\approx0.678 . $$

Gauss 型は積分強度を約 32 % 小さく見積もる.

(2) Lorentz 型:$\pm3\gamma$ の内側の割合は $\frac{2}{\pi}\arctan3=0.7952$ なので,外側は $0.205$(20.5 %).Gauss 型:$3\gamma=3\times\sqrt{2\ln2}\,\sigma=3.53\sigma$ なので,外側の割合は $2[1-\Phi(3.53)]\approx4.1\times10^{-4}$(0.04 %).

(3) Lorentz 型の性格の強い相のピークだけが約 3 割小さく見積もられるので,その相の割合を少なく,もう一方の相を多く見積もる.たとえば真の積分強度の比が 1 : 1 なら,見かけの比は $0.678:1$ になり,その相の割合は 50 % ではなく $0.678/1.678\approx40$ % と出る(強度の比を割合に換算する係数は共通とした).両方の相のピークを同じ型(たとえば Voigt 型や擬 Voigt 関数)で当てはめ,残差の裾を対数の縦軸で確かめるべきである.

第4章 最尤推定・MAP 推定・ベイズ推定 — データから分布を知る

演習4.1 事後分布と点推定

解答

事前分布 $\mathrm{Beta}(a,b)=\mathrm{Beta}(3,2)$,$N=10$,成功 $m=4$,失敗 $l=6$ である.

(1) 共役性(第4章の定理4.3)より,事後分布は $\mathrm{Beta}(\mu\mid a+m,\ b+l)=\mathrm{Beta}(\mu\mid 7,\ 8)$.

(2) 最尤推定値は $m/N=4/10=0.4$.MAP は $A=7\gt1$,$B=8\gt1$ なので内部の最大点の式が使えて

$$ \mu_{\mathrm{MAP}}=\frac{A-1}{A+B-2}=\frac{6}{13}\approx0.4615 . $$

事後平均は $\dfrac{A}{A+B}=\dfrac{7}{15}\approx0.4667$.

(3) $w=\dfrac{N}{a+b+N}=\dfrac{10}{15}=\dfrac23$.事前平均は $\dfrac{a}{a+b}=\dfrac35=0.6$ なので

$$ \begin{aligned} &w\,\frac{m}{N}+(1-w)\,\frac{a}{a+b}\\ &\quad=\frac23\times0.4+\frac13\times0.6\\ &\quad=\frac{0.8+0.6}{3}=\frac{1.4}{3}\approx0.4667 \end{aligned} $$

となり,(2) の事後平均と一致する.

(4) Beta 分布の分散の式より

$$ \begin{aligned} \Var[\mu\mid\data]&=\frac{AB}{(A+B)^{2}(A+B+1)}\\ &=\frac{7\times8}{15^{2}\times16}=\frac{56}{3600}\\ &\approx0.01556 , \end{aligned} $$

標準偏差は $\sqrt{0.01556}\approx0.125$.

(5) 事後予測確率は事後平均に等しく $p(x=1\mid\data)=7/15\approx0.467$.

事前分布(平均 0.6)がデータ(0.4)の側から見て上にあるので,事後平均と MAP は最尤推定値 0.4 より大きい側に引き戻されている.

演習4.2 事後分布はどれくらいの速さで細くなるか

解答

$A=a+m=a+\hat\mu N$,$B=b+l=b+(1-\hat\mu)N$,$A+B=a+b+N$ とおく.Beta 分布の分散は

$$ \Var[\mu\mid\data]=\frac{AB}{(A+B)^{2}(A+B+1)} . $$

分子を展開すると

$$ \begin{aligned} AB={}&\hat\mu(1-\hat\mu)N^{2}\\ &+\bigl[a(1-\hat\mu)+b\hat\mu\bigr]N+ab \end{aligned} $$

で,$N$ の最高次は $\hat\mu(1-\hat\mu)N^{2}$ である.分母は $(a+b+N)^{2}(a+b+N+1)$ $=N^{3}+(\text{$N^{2}$ 以下の項})$ である.分子・分母を $N^{3}$ で割って $N\to\infty$ とすると

$$ \begin{aligned} \Var[\mu\mid\data]&=\frac{\hat\mu(1-\hat\mu)N^{2}+O(N)}{N^{3}+O(N^{2})}\\ &=\frac{\hat\mu(1-\hat\mu)}{N}\bigl(1+O(1/N)\bigr) . \end{aligned} $$

よって $\Var[\mu\mid\data]\approx\hat\mu(1-\hat\mu)/N$ であり,事後分布の標準偏差は $1/\sqrt{N}$ の速さで小さくなる.

意味:成功率が $\mu$ の試行を $N$ 回したときの成功回数 $m$ は二項分布に従い,$\Var[m]=N\mu(1-\mu)$,したがって最尤推定量 $m/N$ の分散は $\mu(1-\mu)/N$ である(第3章).データが多いとき,「データを取り直したときの最尤推定値のばらつき」と,「1 組のデータから見た $\mu$ についての知らなさ(事後分布の幅)」がほぼ同じ大きさになる.このため,データが十分多ければ,ベイズの信用区間と頻度論の信頼区間は数値の上でほぼ一致する.データが少ないときは $a,b$ の寄与が残り,両者は一致しない.

演習4.3 XRD のバックグラウンドの計数率

解答

$N=5$,$\sum_n x_n=12+9+15+11+13=60$.

(1) 独立なので尤度は積である.

$$ p(\data\mid\lambda)=\prod_{n=1}^{5}\frac{\lambda^{x_n}e^{-\lambda}}{x_n!}=\frac{\lambda^{\sum_n x_n}e^{-N\lambda}}{\prod_n x_n!} . $$

対数をとると $\ln p=\left(\sum_n x_n\right)\ln\lambda-N\lambda-\sum_n\ln x_n!$.$\lambda$ で微分して 0 とおく.

$$ \begin{gathered} \diff{}{\lambda}\ln p=\frac{\sum_n x_n}{\lambda}-N=0\\ \Longrightarrow\quad\lambda_{\mathrm{ML}}=\frac{1}{N}\sum_n x_n=\frac{60}{5}=12 . \end{gathered} $$

2 階微分 $-\sum_n x_n/\lambda^{2}\lt0$ なので最大である.計数率にすると $12$ カウント/10 秒 $=1.2$ カウント/秒.

(2) 事後分布 ∝ 尤度 × 事前分布で,$\lambda$ に依らない因子を除くと

$$ \begin{aligned} p(\lambda\mid\data)&\propto\lambda^{60}e^{-5\lambda}\times\lambda^{2-1}e^{-0.1\lambda}\\ &=\lambda^{61}e^{-5.1\lambda}=\lambda^{62-1}e^{-5.1\lambda}. \end{aligned} $$

これは Gamma 分布 $\mathrm{Gam}(\lambda\mid a',b')$,$a'=a+\sum_n x_n=62$,$b'=b+N=5.1$ の形であり,事後分布は再び Gamma 分布になる(Gamma 分布は Poisson 分布の共役事前分布).事後平均は $a'/b'=62/5.1\approx12.16$,最頻値は $(a'-1)/b'=61/5.1\approx11.96$ である(最頻値は $(a'-1)\ln\lambda-b'\lambda$ を微分して 0 とおけば得られる.$a'\gt1$ なので内部の最大).事後の標準偏差は $\sqrt{a'}/b'=\sqrt{62}/5.1\approx1.54$.

(3) 事後平均は $\dfrac{a+\sum x_n}{b+N}=w\,\bar{x}+(1-w)\,\dfrac{a}{b}$,$w=\dfrac{N}{b+N}=\dfrac{5}{5.1}\approx0.980$ と書ける(事前平均 $a/b=20$).$0.980\times12+0.020\times20\approx12.16$ で一致する.事前分布の重みは約 2% で,「10 秒間の観測 0.1 回分」に相当する弱い事前分布である.事後平均は最尤推定値 12 から 0.16 しか動かず,事後の標準偏差 1.54 に比べて小さい.したがって事前分布の影響は実質的に無視できる.

演習4.4 Gauss 分布の平均の逐次更新

解答

$k$ 個目までの事後分布 $\Normal(\mu\mid\mu_k,\sigma_k^{2})$ を事前分布とし,観測 1 個 $x_{k+1}$(尤度 $\Normal(x_{k+1}\mid\mu,\sigma^{2})$)で更新する.これは第4章の定理4.5 で $N=1$,$\mu_0\to\mu_k$,$\sigma_0^{2}\to\sigma_k^{2}$,$\bar{x}\to x_{k+1}$ とした場合なので

$$ \begin{gathered} \frac{1}{\sigma_{k+1}^{2}}=\frac{1}{\sigma_k^{2}}+\frac{1}{\sigma^{2}},\\ \frac{\mu_{k+1}}{\sigma_{k+1}^{2}}=\frac{\mu_k}{\sigma_k^{2}}+\frac{x_{k+1}}{\sigma^{2}} . \end{gathered} $$

(2 つ目は,定理4.5 の平均の式の両辺を $\sigma_{k+1}^{2}$ で割ったもの.)精度 $\pi_k\equiv1/\sigma_k^{2}$ と,精度 × 平均 $h_k\equiv\mu_k/\sigma_k^{2}$ を使うと,$\pi_{k+1}=\pi_k+1/\sigma^{2}$,$h_{k+1}=h_k+x_{k+1}/\sigma^{2}$ という単純な足し算になる.$k=0$($\pi_0=1/\sigma_0^{2}$,$h_0=\mu_0/\sigma_0^{2}$)から $N$ 回繰り返すと

$$ \begin{aligned} \pi_N&=\frac{1}{\sigma_0^{2}}+\frac{N}{\sigma^{2}},\\ h_N&=\frac{\mu_0}{\sigma_0^{2}}+\frac{1}{\sigma^{2}}\sum_{n=1}^{N}x_n\\ &=\frac{\mu_0}{\sigma_0^{2}}+\frac{N\bar{x}}{\sigma^{2}} . \end{aligned} $$

$\sigma_N^{2}=1/\pi_N$,$\mu_N=h_N/\pi_N=\sigma_N^{2}h_N$ は一括の式(第4章の定理4.5 の式 (4.18))と同じである.足し算の順番は結果を変えないので,観測の順番を入れ替えても最後は同じになる.

演習4.5 強すぎる文献値

解答

(1) 事前の精度 $1/\sigma_0^{2}=1/0.0025=400\ \mathrm{pm^{-2}}$,データの精度 $N/\sigma^{2}=9/0.09=100\ \mathrm{pm^{-2}}$.和は $500\ \mathrm{pm^{-2}}$ なので

$$ \begin{gathered} \sigma_N^{2}=\frac{1}{500}=0.002\ \mathrm{pm^{2}},\\ \sigma_N=\sqrt{0.002}\approx0.045\ \mathrm{pm}. \end{gathered} $$ $$ \begin{aligned} \mu_N&=0.002\times(400\times390.50\\ &\qquad+100\times391.10)\\ &=0.002\times(156200+39110)\\ &=390.62\ \mathrm{pm}. \end{aligned} $$

データの重みは $w=\dfrac{N\sigma_0^{2}}{N\sigma_0^{2}+\sigma^{2}}$ $=\dfrac{9\times0.0025}{9\times0.0025+0.09}$ $=\dfrac{0.0225}{0.1125}=0.2$.事後平均は文献値の側に 8 割寄り,事後の不確かさは 0.045 pm と非常に小さく見える.

(2) 両者が同じ $\mu$ を測っているなら,$\bar{x}-\mu_0$ は平均 0,分散 $\sigma_0^{2}+\sigma^{2}/N=0.0025+0.01=0.0125\ \mathrm{pm^{2}}$ の Gauss 分布に従う(独立な量の差の分散は和).標準偏差は $\sqrt{0.0125}\approx0.112\ \mathrm{pm}$ で,

$$ \frac{\bar{x}-\mu_0}{\sqrt{\sigma_0^{2}+\sigma^{2}/N}}=\frac{391.10-390.50}{0.112}\approx5.4 . $$

Gauss 分布で 5 標準偏差を超えるずれが偶然に起こる確率は $10^{-6}$ 程度以下であり,事前分布とデータは整合していない.このとき (1) の $\mu_N=390.62\ \mathrm{pm}$,$\sigma_N=0.045\ \mathrm{pm}$ は「両方とも正しい」という前提に立った数字で,信用できない.二つの値の中間に狭い区間を報告するのは誤りである.

(3) 考えられる原因の例:

また,文献の $\sigma_0=0.05\ \mathrm{pm}$ が測定の繰り返し精度だけで,系統誤差を含んでいない可能性もある.その場合は $\sigma_0$ を大きくとり直すべきである.

演習4.6 MAP 推定値は変数の選び方で変わる

解答

$\mu=1/(1+e^{-\eta})$ で,$\dd\mu/\dd\eta=\mu(1-\mu)\gt0$ である.変数変換の式より

$$ \begin{aligned} p_\eta(\eta\mid\data)&=\mathrm{Beta}(\mu\mid A,B)\,\mu(1-\mu)\\ &\propto\mu^{A-1}(1-\mu)^{B-1}\cdot\mu(1-\mu)\\ &=\mu^{A}(1-\mu)^{B}. \end{aligned} $$

$\eta$ で微分すると,連鎖律より $\dfrac{\dd}{\dd\eta}=\mu(1-\mu)\dfrac{\dd}{\dd\mu}$ で,$\mu(1-\mu)\gt0$ なので,$\eta$ についての停留点は $\mu^{A}(1-\mu)^{B}$ の $\mu$ についての停留点と同じである.対数を微分して

$$ \frac{A}{\mu}-\frac{B}{1-\mu}=0\quad\Longrightarrow\quad\mu=\frac{A}{A+B}. $$

$A,B\gt0$ なので $\mu^{A}(1-\mu)^{B}$ は両端 $\mu=0,1$($\eta\to\mp\infty$)で 0 になり,この点が最大である.つまり $\eta$ の密度は $A,B$ が 1 未満でも有限の最大をもつ.なお $A/(A+B)$ は $\mu$ の事後平均と同じ値である.

大小:

$$ \begin{aligned} &\frac{A}{A+B}-\frac{A-1}{A+B-2}\\ &\quad=\frac{A(A+B-2)-(A-1)(A+B)}{(A+B)(A+B-2)}\\ &\quad=\frac{B-A}{(A+B)(A+B-2)} . \end{aligned} $$

$A\gt1$,$B\gt1$ なら分母は正なので,$B\gt A$($\mu$ の MAP が 1/2 より小さい)なら $\eta$ で求めた値の方が大きく,$A\gt B$ なら小さい.どちらの場合も,$\eta$ で求めた値は $\mu$ の MAP より 1/2 に近い.$A=B$ なら両者とも 1/2 で一致する.

$\mathrm{Beta}(4,1)$ では,$\mu$ の MAP は端の 1(第4章の例題4.5)だが,$\eta$ の密度は $\mu=4/5=0.8$ に当たる点で内部の最大をとる.「3 回中 3 回なので最も確からしい合格率は 1」という主張は,$\mu$ という変数を選んだことに依存しており,対数オッズで考えると「最も確からしいのは 0.8」になる.

考察:MAP 推定値は変数の選び方という任意の約束に依存するので,それだけを報告するのは避けるべきである.変数変換に対して整合する量(分位点,中央値,信用区間)や,予測に直接使える事後平均(=事後予測確率),あるいは事後分布そのもの(図や $\mathrm{Beta}(A,B)$ のパラメーター)を報告するのがよい.MAP を報告するときは,どの変数で求めたかを明記する.

演習4.7 何個作れば不良率 1% 以下と言えるか

解答

条件 $c_{95}=1-0.05^{1/(N+1)}\le0.01$ は $0.05^{1/(N+1)}\ge0.99$ と同じである.両辺の自然対数をとる($\ln$ は単調増加なので向きは変わらない).

$$ \frac{\ln0.05}{N+1}\ge\ln0.99 . $$

両辺に $(N+1)\gt0$ を掛け,次に負の数 $\ln0.99\approx-0.010050$ で割ると不等号の向きが逆になる.

$$ N+1\ge\frac{\ln0.05}{\ln0.99}=\frac{-2.9957}{-0.010050}\approx298.07 . $$

$N+1$ は整数なので $N+1\ge299$,すなわち $N\ge298$.確かめると $N=298$ で $c_{95}=1-0.05^{1/299}\approx0.00997\le0.01$,$N=297$ で $c_{95}\approx0.01000$($0.0100024$)$\gt0.01$ である.よって最小の $N$ は 298 個.

3 の法則では $3/N\le0.01$ より $N\ge300$ で,ほぼ同じ値になる($c_{95}\approx-\ln0.05/(N+1)\approx3/(N+1)$ のため).

割れが 1 個出た場合:$N$ 個中 1 個なら事後分布は $\mathrm{Beta}(\mu\mid 2,\ N)$($a+m=1+1$,$b+l=1+(N-1)$)である.その 95% 点 $c$ を,累積分布関数 $P(\mu\le c\mid\data)=0.95$ を数値的に解いて求め,$c\le0.01$ となる $N$ を探す.1 個の割れの分だけ上限は大きくなるので,同じ目標には 298 個より多くの試料が要る(数値計算をすると $N\ge472$ 程度になる).「0 個なら合格」という計画を立てるときは,1 個出たときにどうするか(追加で何個作るか)も事前に決めておくのがよい.

演習4.8 事前分布の違いはいつ消えるか

解答

(1) $m=18$,$l=12$.A:$\mathrm{Beta}(1+18,\ 1+12)=\mathrm{Beta}(19,13)$,事後平均 $19/32\approx0.594$.B:$\mathrm{Beta}(10+18,\ 2+12)=\mathrm{Beta}(28,14)$,事後平均 $28/42\approx0.667$.差は約 0.073 で,最尤推定値 0.6 に対して B は大きく上にずれている.

(2) 成功の割合 0.6 のまま $N$ 回なら $m=0.6N$ で,差は

$$ d(N)=\frac{10+0.6N}{12+N}-\frac{1+0.6N}{2+N}. $$

通分すると分子は

$$ \begin{aligned} &(10+0.6N)(2+N)-(1+0.6N)(12+N)\\ &\quad=(20+11.2N+0.6N^{2})\\ &\qquad-(12+8.2N+0.6N^{2})\\ &\quad=8+3N \end{aligned} $$

なので $d(N)=\dfrac{3N+8}{(N+12)(N+2)}$.$N=30$ では $98/1344\approx0.073$ で (1) と一致する.$d(N)\lt0.02$ を解く.$N=138$ では $422/(150\times140)=422/21000\approx0.0201$,$N=139$ では $425/(151\times141)=425/21291\approx0.0200$($0.01996$)で,最小の $N$ は 139 である.おおよそ $d\approx3/N$ なので,差は $1/N$ でしか縮まない.

(3) $\mathrm{Beta}(10,2)$ は「成功 9 回・失敗 1 回」の仮想的な観測に相当し,平均 $10/12\approx0.83$ を強く主張する.この実績が新しい材料に当てはまらないと,データが少ないうちは B の事後平均が真の値より系統的に高く出る.しかも B の事後分布は A より細い(事前分布の分だけ情報が多いと見なしている)ので,信用区間が狭く,誤った値を自信をもって報告することになる.(2) のとおり差が 0.02 未満になるには 140 回近い試行が要る.対策としては,A のような弱い事前分布との比較(感度分析),事前分布の根拠となった材料と新しい材料の違いの検討,事前分布の仮想的な観測回数を小さくする(たとえば $\mathrm{Beta}(5,1)$ のように,平均 $5/6\approx0.83$ を保ったまま $a+b$ を 12 から 6 に減らす)ことが挙げられる.

第5章 情報量・エントロピー・KL ダイバージェンス — 分布の違いを測る

演習5.1 エントロピーと実効的な選択肢の数

解答

(1) 各項 $-p\ln p$ を計算する.

$$ \begin{aligned} -0.4\ln0.4&=0.4\times0.9163=0.3665,\\ -0.3\ln0.3&=0.3\times1.2040=0.3612,\\ -0.2\ln0.2&=0.2\times1.6094=0.3219,\\ -0.1\ln0.1&=0.1\times2.3026=0.2303 . \end{aligned} $$

和は $H[p]=1.2799\ \mathrm{nat}$.bit では $1.2799/\ln2=1.2799/0.6931\approx1.846\ \mathrm{bit}$.

(2) $\exp(1.2799)\approx3.60$.4 つの値があるが,偏りのため実効的には約 3.6 個の選択肢に迷っているのと同じである.

(3) $u=(1/4,1/4,1/4,1/4)$ として $\KL(p\,\|\,u)=\sum_x p(x)\ln\{4p(x)\}$ を項ごとに計算する.

$$ \begin{aligned} &0.4\ln1.6=0.1880,\quad 0.3\ln1.2=0.0547,\\ &0.2\ln0.8=-0.0446,\quad 0.1\ln0.4=-0.0916 . \end{aligned} $$

和は $0.1064\ \mathrm{nat}$.一方 $\ln4-H[p]=1.3863-1.2799=0.1064\ \mathrm{nat}$ で一致する.これは $\KL(p\,\|\,u)$ $=\sum p\ln p+\ln4\sum p$ $=-H[p]+\ln4$ という恒等式の数値例である.

演習5.2 同時エントロピーの上限

解答

(1) エントロピーの連鎖則 $H[x,y]=H[x]+H[y\mid x]$ と,相互情報量の式 $I[x;y]=H[y]-H[y\mid x]$,すなわち $H[y\mid x]=H[y]-I[x;y]$ を組み合わせると

$$ H[x,y]=H[x]+H[y]-I[x;y]. $$

相互情報量は KL ダイバージェンス $\KL(p(x,y)\,\|\,p(x)p(y))$ なので Gibbs の不等式から $I[x;y]\ge0$.よって $H[x,y]\le H[x]+H[y]$.等号は $I[x;y]=0$,すなわち $p(x,y)=p(x)p(y)$(独立)のときに限る.

(2) 同時分布 $(0.12,\,0.28,\,0.06,\,0.54)$ の各項 $-p\ln p$ は $0.2544$,$0.3564$,$0.1688$,$0.3327$ で,和は $H[x,y]=1.1124\ \mathrm{nat}$.第5章の例題5.7 より $H[x]=0.6730$,$H[y]=0.4714$,$I[x;y]=0.0320$ なので,$H[x]+H[y]-I$ $=0.6730+0.4714-0.0320$ $=1.1124$ で一致する.$H[x]+H[y]=1.1444$ より小さい.

(3) 連鎖則を $y$ から先に使うと $H[x,y]=H[y]+H[x\mid y]$ なので,$H[x\mid y]=1.1124-0.4714=0.6410\ \mathrm{nat}$.確かめとして $H[x]-I=0.6730-0.0320=0.6410$ とも一致する.

演習5.3 分散が同じ 3 つの分布の微分エントロピー

解答

(1) 幅 $a$ の一様分布の分散は $a^{2}/12$ である(区間 $[-a/2,a/2]$ として $\int_{-a/2}^{a/2}x^{2}\frac1a\,\dd x=\frac{1}{a}\cdot\frac{2}{3}\left(\frac a2\right)^{3}=\frac{a^{2}}{12}$).分散 1 なら $a=\sqrt{12}\approx3.464$.微分エントロピーは $\ln a=\ln\sqrt{12}=\tfrac12\ln12\approx1.2425\ \mathrm{nat}$.

(2) $\ln p(x)=-\ln(2b)-\abs{x}/b$ なので

$$ h=\Ex[-\ln p(x)]=\ln(2b)+\frac{\Ex[\abs{x}]}{b}. $$

$\Ex[\abs{x}]$ は,被積分関数が偶関数なので $2\int_0^{\infty}x\,\frac{1}{2b}e^{-x/b}\,\dd x$ $=\frac1b\int_0^{\infty}xe^{-x/b}\,\dd x$ $=\frac1b\cdot b^{2}=b$($\int_0^\infty xe^{-x/b}\dd x=b^{2}$).よって $h=\ln(2b)+1$.同様に $\Ex[x^{2}]=\frac1b\int_0^\infty x^{2}e^{-x/b}\dd x=\frac1b\cdot2b^{3}=2b^{2}$ なので,分散 1 には $b=1/\sqrt2$.このとき $h=1+\ln\sqrt2=1+0.3466=1.3466\ \mathrm{nat}$.

(3) 第5章 5.3.1 節の Gauss 分布の微分エントロピーの式で $\sigma=1$ とすると $h=\tfrac12\ln(2\pi e)=\tfrac12(1.8379+1)=1.4189\ \mathrm{nat}$.

大小は $1.2425\lt1.3466\lt1.4189$ で,分散が同じなら Gauss 分布が最大である.これは定理5.2 (b) の例である.

演習5.4 二値分類の交差エントロピー損失

解答

(1) 1 試料の損失は $L_n=-\{y_n\ln\hat{y}_n+(1-y_n)\ln(1-\hat{y}_n)\}$.$y=1$ の試料では $-\ln\hat{y}$,$y=0$ の試料では $-\ln(1-\hat{y})$ である.

$$ \begin{aligned} L_1&=-\ln0.9=0.1054,\\ L_2&=-\ln(1-0.2)=-\ln0.8=0.2231,\\ L_3&=-\ln0.6=0.5108,\\ L_4&=-\ln0.4=0.9163 . \end{aligned} $$

平均は $(0.1054+0.2231+0.5108+0.9163)/4$ $=1.7556/4$ $=0.4389\ \mathrm{nat}$.4 番目の試料(良品なのに良品の確率を 0.4 とした)の寄与が最も大きい.

(2) 常に $c$ を出すと,良品 3 個と不良品 1 個の平均の損失は

$$ \bar{L}(c)=-\frac14\bigl(3\ln c+\ln(1-c)\bigr). $$

微分して 0 とおくと $-\frac14\left(\frac3c-\frac{1}{1-c}\right)=0$ より $3(1-c)=c$,$c=3/4$.このときの損失は $-(0.75\ln0.75+0.25\ln0.25)=0.5623\ \mathrm{nat}$ で,正解ラベルの経験分布 $(0.75,0.25)$ のエントロピーに等しい(経験分布との KL が 0 になる).

(3) $c=0.5$ では $-\ln0.5=0.6931\ \mathrm{nat}$.大小は $0.4389\lt0.5623\lt0.6931$.何も学ばない $0.5$ より,ラベルの割合だけを学んだ $0.75$ の方が良く,入力を使う (1) の分類器はさらに良い.入力を使うモデルの価値は,「割合だけのモデル」の損失 $0.5623$ からどれだけ下げられるかで測るのがよい.

演習5.5 確率 0 と KL の発散

解答

(1) $\KL(p\,\|\,q)$:第 3 の値は $p=0$ なので項は 0.残りは $2\times0.5\ln\frac{0.5}{0.45}=\ln\frac{10}{9}\approx0.1054\ \mathrm{nat}$.
$\KL(q\,\|\,p)$:第 3 の値で $q=0.1\gt0$ なのに $p=0$ なので,項 $0.1\ln(0.1/0)$ が $+\infty$ になり,$\KL(q\,\|\,p)=+\infty$.

(2) 交差エントロピー損失は経験分布 $\hat{p}$ に対する $H[\hat{p},q]=H[\hat{p}]+\KL(\hat{p}\,\|\,q)$ である.モデル $q$ があるクラスに確率 0 を出し,そのクラスの試料がデータに 1 つでもあれば,その試料の損失は $-\ln0=+\infty$ で,平均の損失も $+\infty$ になる.これは (1) の $\KL(q\,\|\,p)$ と同じ構造(左の分布が確率を置く所で右の分布が 0)である.数値計算では $\ln0$ が $-\infty$ や NaN になり,勾配も計算できなくなる.

(3) 対策の例:(a) 出力の確率を $[\varepsilon,1-\varepsilon]$($\varepsilon$ は $10^{-7}$ 程度)に切ってから対数をとる.(b) 確率を求めてから対数をとるのではなく,ロジットから log-softmax を log-sum-exp で直接計算する(確率が丸めで 0 になっても対数は有限に保たれる).(c) 目標の one-hot を少しだけ一様分布と混ぜる(label smoothing).(a)(b) は損失を有限に保つための数値上の対処で,最適なモデルはほとんど変わらない.(c) は目標の分布そのものを変えるので,学習されるモデルは正解のクラスに確率 1 を付けなくなる(確信の度合いが下がる).

演習5.6 非等モルの高エントロピー合金

解答

(1) モル分率は $x_{\mathrm{Al}}=0.5/4.5=1/9$,Co,Cr,Fe,Ni はそれぞれ $1/4.5=2/9$.各項は

$$ \begin{aligned} -\tfrac19\ln\tfrac19&=\tfrac{\ln9}{9}=0.2441,\\ -\tfrac29\ln\tfrac29&=\tfrac29\ln4.5=0.3342 . \end{aligned} $$

よって $\Delta S_{\mathrm{conf}}/R=0.2441+4\times0.3342=1.5811$,$\Delta S_{\mathrm{conf}}$ $=1.5811\times8.314$ $\approx13.15\ \mathrm{J\,mol^{-1}\,K^{-1}}$.

(2) 等モル 4 元系:$R\ln4=1.3863R\approx11.53\ \mathrm{J\,mol^{-1}\,K^{-1}}$.等モル 5 元系:$R\ln5=1.6094R\approx13.38\ \mathrm{J\,mol^{-1}\,K^{-1}}$.$\mathrm{Al_{0.5}CoCrFeNi}$ は 4 元系より大きく,等モル 5 元系よりわずかに小さい(差は約 $0.24\ \mathrm{J\,mol^{-1}\,K^{-1}}$).

(3) 等モル組成 $x_i=1/5$.配置エントロピーは $R\,H[\bm{x}]$(組成を確率分布と見たエントロピーの $R$ 倍)であり,定理5.2 (a) より 5 つの値をとる分布のエントロピーは一様分布のときに限り最大値 $\ln5$ をとるからである.ただし,これは理想的なランダム混合を仮定した配置エントロピーだけの話であり,実際の合金の相の安定性は混合のエンタルピーや短範囲規則にも依存する.

演習5.7 常磁性体のスピンのエントロピー

解答

(1) 2 状態のエネルギーは $\mp\mu_{\mathrm B}B$ なので,カノニカル分布(第5章 5.8.2 節)で $\beta E=\mp\xi$.分配関数は $Z=e^{\xi}+e^{-\xi}=2\cosh\xi$,確率は

$$ p_{\text{平行}}=\frac{e^{\xi}}{2\cosh\xi},\qquad p_{\text{反平行}}=\frac{e^{-\xi}}{2\cosh\xi}. $$

平均のエネルギーは $\bar{E}=-\mu_{\mathrm B}B\,(p_{\text{平行}}-p_{\text{反平行}})=-\mu_{\mathrm B}B\tanh\xi$ なので $\beta\bar{E}=-\xi\tanh\xi$.カノニカル分布のエントロピーは $H=\beta\bar{E}+\ln Z$(第5章 5.8.2 節)だから

$$ H=\ln(2\cosh\xi)-\xi\tanh\xi . $$

モーメントどうしは独立なので,1 mol では $N_{\mathrm A}$ 倍して $S=N_{\mathrm A}k_{\mathrm B}H=RH$,すなわち $S/R=\ln(2\cosh\xi)-\xi\tanh\xi$.

(2) $\xi=0.5$:$\ln(2\cosh0.5)=\ln2.2553=0.8133$,$0.5\tanh0.5=0.2311$ より $S/R=0.5822$,$S\approx4.84\ \mathrm{J\,mol^{-1}\,K^{-1}}$.
$\xi=1$:$\ln(2\cosh1)=\ln3.0862=1.1269$,$\tanh1=0.7616$ より $S/R=0.3653$,$S\approx3.04\ \mathrm{J\,mol^{-1}\,K^{-1}}$.
$\xi=2$:$\ln(2\cosh2)=\ln7.5244=2.0182$,$2\tanh2=1.9281$ より $S/R=0.0901$,$S\approx0.75\ \mathrm{J\,mol^{-1}\,K^{-1}}$.

(3) $\xi\to0$(高温または弱い磁場):$\cosh\xi\to1$,$\xi\tanh\xi\to0$ なので $S\to R\ln2\approx5.76\ \mathrm{J\,mol^{-1}\,K^{-1}}$.2 つの向きが等確率で,1 個あたり 1 bit の迷いがある.$\xi\to\infty$(低温または強い磁場):$\ln(2\cosh\xi)=\xi+\ln(1+e^{-2\xi})\to\xi$,$\xi\tanh\xi\to\xi$ なので $S\to0$.すべてのモーメントが磁場の向きにそろい,迷いが無くなる.

(4) $S$ は $\xi=\mu_{\mathrm B}B/(k_{\mathrm B}T)$ だけの関数なので,$S$ を一定に保つと $\xi$ が一定,すなわち $B/T$ が一定である.したがって断熱的に磁場を弱めると,温度は磁場に比例して下がる.これが断熱消磁による冷却の原理である(実際には格子振動のエントロピーやモーメント間の相互作用があるので,この理想的な模型が成り立つ範囲に限られる).

演習5.8 記述子と生成相の相互情報量

解答

(1) どちらの表も周辺分布は記述子 $(0.5,0.5)$,相 $(0.5,0.5)$ なので,$p(\cdot)p(\cdot)=0.25$.
記述子 $a$:同時確率は $0.40,\,0.10,\,0.10,\,0.40$.

$$ \begin{aligned} I[a;y]&=2\times0.40\ln\frac{0.40}{0.25}\\ &\quad+2\times0.10\ln\frac{0.10}{0.25}\\ &=0.8\times0.4700+0.2\times(-0.9163)\\ &=0.3760-0.1833=0.1927\ \mathrm{nat}. \end{aligned} $$

記述子 $b$:同時確率は $0.30,\,0.20,\,0.20,\,0.30$.

$$ \begin{aligned} I[b;y]&=2\times0.30\ln\frac{0.30}{0.25}\\ &\quad+2\times0.20\ln\frac{0.20}{0.25}\\ &=0.6\times0.1823+0.4\times(-0.2231)\\ &=0.1094-0.0893=0.0201\ \mathrm{nat}. \end{aligned} $$

(2) $H[y]=\ln2=0.6931\ \mathrm{nat}$.記述子 $a$ を知ると $0.1927/0.6931\approx27.8\%$,記述子 $b$ では $0.0201/0.6931\approx2.9\%$ の迷いが減る.$a$ の方がはるかに有用である.

(3) 言えない.相互情報量は依存の強さを測るだけで,向き(どちらが原因か)も,第三の要因による見かけの依存かどうかも区別しない.たとえば,記述子 $a$ が大きい組成が特定の元素の系統に偏っていて,その系統がたまたまペロブスカイト型になりやすいなら,$a$ を変えても構造は変わらないかもしれない.同じ系統の組成が多数含まれるとデータは独立でなく,依存は見かけ上強く見える.また 100 個程度の標本から計算した相互情報量は,真の値が 0 でも正の値になりやすい.因果を言うには,系統をそろえて $a$ だけを変えた合成(介入)や物理的な機構の裏付けが必要である(第6章 6.11).

第6章 汎化・モデル選択・正則化 — 未知のデータに当たるモデル

演習6.1 訓練誤差の楽観の大きさ(導出と計算)

解答

(0) $\bm{H}$ の性質.$\bm{\Phi}$ の列が線形独立なので $\bm{\Phi}^{\tp}\bm{\Phi}\in\R^{M\times M}$ は正則である.

二次形式の期待値.定数行列 $\bm{A}\in\R^{N\times N}$ について $\bm{\varepsilon}^{\tp}\bm{A}\bm{\varepsilon}=\sum_{i,j}A_{ij}\varepsilon_i\varepsilon_j$.$\Cov[\bm{\varepsilon}]=\sigma^{2}\bm{I}$,$\Ex[\bm{\varepsilon}]=\bm{0}$ より $\Ex[\varepsilon_i\varepsilon_j]=\sigma^{2}$($i=j$),$0$($i\ne j$)なので,$\Ex[\bm{\varepsilon}^{\tp}\bm{A}\bm{\varepsilon}]=\sigma^{2}\sum_iA_{ii}=\sigma^{2}\tr\bm{A}$.

訓練誤差.$\bm{y}-\hat{\bm{y}}=(\bm{I}-\bm{H})(\bm{\Phi}\bm{w}_0+\bm{\varepsilon})=(\bm{I}-\bm{H})\bm{\varepsilon}$($\bm{H}\bm{\Phi}=\bm{\Phi}$).$(\bm{I}-\bm{H})^{\tp}(\bm{I}-\bm{H})=\bm{I}-2\bm{H}+\bm{H}^{2}=\bm{I}-\bm{H}$ なので

$$ \begin{aligned} \Ex\bigl[\norm{\bm{y}-\hat{\bm{y}}}^{2}\bigr]&=\Ex\bigl[\bm{\varepsilon}^{\tp}(\bm{I}-\bm{H})\bm{\varepsilon}\bigr]\\ &=\sigma^{2}\tr(\bm{I}-\bm{H})=\sigma^{2}(N-M) . \end{aligned} $$

同じ入力での新しい測定.$\bm{y}'=\bm{\Phi}\bm{w}_0+\bm{\varepsilon}'$($\bm{\varepsilon}'$ は $\bm{\varepsilon}$ と独立で同じ分布)とすると,$\bm{y}'-\hat{\bm{y}}=\bm{\varepsilon}'-\bm{H}\bm{\varepsilon}$.交差項の期待値 $-2\,\Ex[\bm{\varepsilon}'^{\tp}\bm{H}\bm{\varepsilon}]$ は独立性と平均 0 から 0.よって

$$ \begin{aligned} &\Ex\bigl[\norm{\bm{y}'-\hat{\bm{y}}}^{2}\bigr]\\ &\quad=N\sigma^{2}+\Ex\bigl[\bm{\varepsilon}^{\tp}\bm{H}^{\tp}\bm{H}\bm{\varepsilon}\bigr]\\ &\quad=N\sigma^{2}+\sigma^{2}\tr\bm{H}=\sigma^{2}(N+M) . \end{aligned} $$

(2 行目から 3 行目へは $\bm{H}^{\tp}\bm{H}=\bm{H}^{2}=\bm{H}$ と二次形式の期待値を使った.)

両方を $N$ で割ると,第6章の式 (6.3) の $\sigma^{2}(1-M/N)$ と $\sigma^{2}(1+M/N)$ が得られる.

(1) $\sigma^{2}=0.25\ \%^{2}$,$M=4$,$N=20$ で,訓練の二乗誤差の平均の期待値は $0.25\times(1-4/20)=0.25\times0.8=0.20\ \%^{2}$,新しい測定に対しては $0.25\times(1+0.2)=0.30\ \%^{2}$.

(2) $M=10$:$0.25\times(1-0.5)=0.125\ \%^{2}$ と $0.25\times1.5=0.375\ \%^{2}$.差(楽観の大きさ)は $M=4$ で $0.10$,$M=10$ で $0.25\ \%^{2}$ と,$M$ に比例して大きくなる.

(3) (0) より残差二乗和の期待値は $\sigma^{2}(N-M)$ なので,$\hat\sigma^{2}=\norm{\bm{y}-\hat{\bm{y}}}^{2}/(N-M)$ は $\sigma^{2}$ の不偏推定値である.$\hat\sigma^{2}=3.2/(20-4)=0.20\ \%^{2}$,$\hat\sigma=\sqrt{0.20}\approx0.447\ \%$.$N$ で割ると $3.2/20=0.16\ \%^{2}$,平方根 $0.40\ \%$ で,ノイズを約 1 割小さく見積もってしまう.

演習6.2 縮小推定と 1 次元の Ridge 回帰

解答

(1) 第6章の例題6.4 と同様に $\Ex[\hat\mu_c]=r+c(\mu-r)$ なので,バイアスは $-(1-c)\Delta$,分散は $c^{2}\sigma^{2}/N$ であり,

$$ m(c)\equiv\Ex[(\hat\mu_c-\mu)^{2}]=(1-c)^{2}\Delta^{2}+c^{2}\frac{\sigma^{2}}{N} . $$

$c$ で微分して 0 とおく:$-2(1-c)\Delta^{2}+2c\,\sigma^{2}/N=0$ より

$$ c^{\ast}=\frac{\Delta^{2}}{\Delta^{2}+\sigma^{2}/N} . $$

2 階微分 $2\Delta^{2}+2\sigma^{2}/N\gt0$ なので最小である.$v=\sigma^{2}/N$ と書くと $1-c^{\ast}=v/(\Delta^{2}+v)$ で,

$$ \begin{aligned} m(c^{\ast})&=\frac{v^{2}\Delta^{2}+\Delta^{4}v}{(\Delta^{2}+v)^{2}}=\frac{v\Delta^{2}(v+\Delta^{2})}{(\Delta^{2}+v)^{2}}\\ &=\frac{\Delta^{2}}{\Delta^{2}+v}\,v=c^{\ast}\,\frac{\sigma^{2}}{N} . \end{aligned} $$

標本平均($c=1$)の二乗誤差 $\sigma^{2}/N$ より必ず小さい($\sigma^{2}/N\gt0$ なら $c^{\ast}\lt1$).例題6.4 の $\Delta=1$,$v=0.25$ では $c^{\ast}=0.8$,最小値 $0.2$ で一致する.ただし $c^{\ast}$ は未知の $\Delta$ を含むので,実際には検証データなどで縮小の強さを選ぶ必要がある.

(2) $z=\sum_nx_ny_n$ とおく.$y_n=w^{\ast}x_n+\varepsilon_n$ を代入すると $z=w^{\ast}S+\sum_nx_n\varepsilon_n$ なので $\Ex[z]=w^{\ast}S$,$\Var[z]=\sum_nx_n^{2}\sigma^{2}=\sigma^{2}S$($\varepsilon_n$ は独立).$w_\lambda=z/(S+\lambda)$ より

$$ \begin{aligned} \Ex[w_\lambda]-w^{\ast}&=\frac{w^{\ast}S}{S+\lambda}-w^{\ast}=-\frac{w^{\ast}\lambda}{S+\lambda},\\ \Var[w_\lambda]&=\frac{\sigma^{2}S}{(S+\lambda)^{2}} . \end{aligned} $$

二乗誤差の期待値は (バイアス)²+分散で

$$ m(\lambda)=\frac{(w^{\ast})^{2}\lambda^{2}+\sigma^{2}S}{(S+\lambda)^{2}} . $$

商の微分で

$$ \begin{aligned} m'(\lambda)&=\frac{2(w^{\ast})^{2}\lambda(S+\lambda)}{(S+\lambda)^{3}}\\ &\qquad-\frac{2\bigl((w^{\ast})^{2}\lambda^{2}+\sigma^{2}S\bigr)}{(S+\lambda)^{3}}\\ &=\frac{2S\bigl((w^{\ast})^{2}\lambda-\sigma^{2}\bigr)}{(S+\lambda)^{3}} . \end{aligned} $$

$\lambda\lt\sigma^{2}/(w^{\ast})^{2}$ で負,それより大きいと正なので,$\lambda^{\ast}=\sigma^{2}/(w^{\ast})^{2}$ で最小になる.ノイズが大きいほど,また真の係数が小さいほど強い正則化が良い.第8章で導くベイズ線形回帰の $\lambda=\sigma^{2}/\sigma_w^{2}$ は,係数の大きさの見込み $\sigma_w^{2}$ を $(w^{\ast})^{2}$ の代わりに置いたものと読める.

演習6.3 3 分割交差検証と leave-one-out

解答

データは $y=(2.1,\ 2.5,\ 1.8,\ 2.9,\ 2.2,\ 2.6)$ eV.

(1) 組 1(2.1,2.5)を抜くと訓練の平均は $(1.8+2.9+2.2+2.6)/4=9.5/4=2.375$.残差は $2.1-2.375=-0.275$,$2.5-2.375=0.125$.組 2(1.8,2.9)を抜くと平均は $(2.1+2.5+2.2+2.6)/4=9.4/4=2.350$,残差 $-0.550$,$0.550$.組 3(2.2,2.6)を抜くと平均は $(2.1+2.5+1.8+2.9)/4=9.3/4=2.325$,残差 $-0.125$,$0.275$.二乗は $0.075625,\ 0.015625,\ 0.3025,$ $0.3025,\ 0.015625,\ 0.075625$ で和は $0.7875$.3 分割交差検証の二乗誤差の平均は $0.7875/6=0.131\ \mathrm{eV}^{2}$(RMSE 0.362 eV).

(2) 全体の平均は $14.1/6=2.35$.訓練の残差は $-0.25,\ 0.15,\ -0.55,\ 0.55,\ -0.15,\ 0.25$,二乗の和は $0.0625+0.0225+0.3025$ $+0.3025+0.0225+0.0625$ $=0.775$,平均は $0.775/6=0.1292\ \mathrm{eV}^{2}$.LOO の残差は $\frac{N}{N-1}=\frac65=1.2$ 倍で $-0.30,\ 0.18,\ -0.66,\ 0.66,\ -0.18,\ 0.30$.たとえば 1 個目を抜いた平均は $(2.5+1.8+2.9+2.2+2.6)/5$ $=12.0/5=2.40$ で,残差 $2.1-2.40=-0.30$ と一致する.二乗の和は $0.09+0.0324+0.4356$ $+0.4356+0.0324+0.09$ $=1.116$,平均 $1.116/6=0.186\ \mathrm{eV}^{2}$.これは $(6/5)^{2}\times0.1292=1.44\times0.1292=0.186$ と一致する.

3 分割(0.131)より LOO(0.186)の方が大きいのは,この例では組の分け方によって残差が偶然打ち消しあったためで,一般にどちらが大きいとは決まらない.データが 6 個しかないと,交差検証の値は分け方で大きく変わる.

演習6.4 データベースの重複と分割

解答

(1) 重複した 120 行のそれぞれについて,その行が検証側に入る確率は $40/200=0.2$.そのもとで相方(残り 199 行のうちの特定の 1 行)が訓練側の 160 枠に入る確率は $160/199$.期待値の線形性から,相方が訓練データにある検証の行の数の期待値は

$$ 120\times\frac{40}{200}\times\frac{160}{199}=24\times0.804=19.3\ \text{行} $$

で,検証の 40 行の約 48 %($19.3/40=0.482$)にあたる.

(2) 相方がある行では,予測値は相方の測定値なので誤差は 2 つの独立な測定値の差で,二乗誤差の期待値は $2\times0.04^{2}=0.0032\ \mathrm{eV}^{2}$.それ以外の行では $0.35^{2}=0.1225\ \mathrm{eV}^{2}$.検証の二乗誤差の平均の期待値は $0.518\times0.1225+0.482\times0.0032$ $=0.0634+0.0015$ $=0.0650\ \mathrm{eV}^{2}$,その平方根は $0.255\ \mathrm{eV}$.本当の 0.35 eV より約 27 % 小さく見える.

(3) (a) 分割の前に重複を見つけ,同じ組成の測定値を平均するなどして 1 組成 1 行にまとめる.(b) 組成をグループとしたグループ分割を行い,同じ組成の行が訓練と検証にまたがらないようにする.どちらの場合も,重複を見つける基準(組成の表記の揺れ,多形を区別するか)を先に決めて記録しておく.

演習6.5 混晶のバンドギャップを半分の組成範囲から外挿する

解答

(1) $E_g(x)=1.20-1.20x+2.40x$ $-0.80x+0.80x^{2}$ $=1.20+0.40x+0.80x^{2}$ eV.

(2) まず $[0,h]$ で $x^{2}$ を近似する直線 $\alpha+\beta x$ を求める.$J(\alpha,\beta)=\int_0^{h}(x^{2}-\alpha-\beta x)^{2}\dd x$ を $\alpha,\beta$ で偏微分して 0 とおくと(正規方程式の積分版)

$$ \begin{aligned} \int_0^{h}(x^{2}-\alpha-\beta x)\,\dd x&=0,\\ \int_0^{h}x\,(x^{2}-\alpha-\beta x)\,\dd x&=0 . \end{aligned} $$

積分すると $\dfrac{h^{3}}{3}=\alpha h+\beta\dfrac{h^{2}}{2}$,$\dfrac{h^{4}}{4}=\alpha\dfrac{h^{2}}{2}+\beta\dfrac{h^{3}}{3}$.1 式目を $h$ で,2 式目を $h^{2}/2$ で割ると $\dfrac{h^{2}}{3}=\alpha+\dfrac{\beta h}{2}$,$\dfrac{h^{2}}{2}=\alpha+\dfrac{2\beta h}{3}$.差をとって $\dfrac{h^{2}}{6}=\dfrac{\beta h}{6}$,$\beta=h$,$\alpha=\dfrac{h^{2}}{3}-\dfrac{h^{2}}{2}=-\dfrac{h^{2}}{6}$.

定数と $x$ の項は直線でそのまま表せるので,$E_g$ の最良の直線は $1.20+0.40x+0.80(hx-h^{2}/6)$.$h=0.5$ を入れて

$$ \begin{aligned} a+bx&=1.20-\frac{0.80\times0.25}{6}\\ &\qquad+(0.40+0.80\times0.5)\,x\\ &=1.1667+0.80\,x\ \ \mathrm{eV}. \end{aligned} $$

(3) 誤差(直線 − 真の値)は,$x=0$:$1.1667-1.20=-0.033$ eV,$x=0.25$:$1.3667-1.35=+0.017$ eV,$x=0.5$:$1.5667-1.60=-0.033$ eV.範囲の中の誤差は最大でも 0.033 eV で,ノイズの標準偏差 0.03 eV と同程度であり,測定値から「直線では足りない」と気づくのは難しい.一方 $x=1$ では直線は $1.967$ eV,真の値は $2.40$ eV で,誤差は $-0.433$ eV とノイズの 14 倍以上になる.

(4) 範囲の中で誤差がノイズ程度だったことは,範囲の外での正しさを保証しない.$x(1-x)$ の曲がり(bowing)のように範囲の中では弱く見える項が,外では大きく効く.組成範囲を広げて予測するときは,(a) 外挿であることを明示し,(b) 物理的に妥当な関数形(Vegard 則に bowing の項を足した形など,第8章)を使い,(c) 可能なら範囲の端($x=1$ の BC)を 1 点でも測ってモデルを確かめる.

演習6.6 負の決定係数

解答

テストデータの平均は $\bar{y}=(3.0+3.4+2.8+3.6)/4=3.2$ eV,$\sum_n(y_n-\bar{y})^{2}$ $=0.04+0.04+0.16+0.16$ $=0.40\ \mathrm{eV}^{2}$.

(1) モデル A の誤差 $y-\hat{y}$ は $(-0.3,\ 0.1,\ -0.5,\ 0.3)$.MAE $=(0.3+0.1+0.5+0.3)/4=0.30$ eV.二乗和 $0.09+0.01+0.25+0.09=0.44$,RMSE $=\sqrt{0.44/4}=\sqrt{0.11}=0.332$ eV.$R^{2}=1-0.44/0.40=-0.10$.

(2) モデル B の誤差は $(-0.1,\ 0.1,\ -0.1,\ 0.2)$.MAE $=0.5/4=0.125$ eV.二乗和 $0.01+0.01+0.01+0.04=0.07$,RMSE $=\sqrt{0.0175}=0.132$ eV.$R^{2}=1-0.07/0.40=0.825$.

(3) $R^{2}$ の分母 $\sum_n(y_n-\bar{y})^{2}$ は,「テストデータ自身の平均 3.2 eV で全点を予測したときの二乗誤差の和」である.モデル A の予測 3.3 eV はこの平均より外れているので二乗和が 0.44 と分母 0.40 より大きく,$R^{2}\lt0$ になる.テストデータの平均は予測の時点では分からない値なので,$R^{2}\lt0$ は「テストデータの平均を知っていれば勝てた」ことを意味する.訓練データの平均とテストデータの平均がずれている(分布が変わった)ときに起こりやすい.

演習6.7 表面の色と密度

解答

(1) 独立な量の和の分散は分散の和,独立な量どうしの共分散は 0 なので

$$ \begin{aligned} \Var[x]&=0.8^{2}\times1+0.36=1.00,\\ \Cov[x,y]&=0.8\times1.5\times\Var[z]=1.20,\\ \Var[y]&=1.5^{2}+0.75=3.00 . \end{aligned} $$

回帰の傾きは $\Cov[x,y]/\Var[x]=1.20$,相関係数は $1.20/\sqrt{1.00\times3.00}=0.693$.

(2) $y=1.5z+n_y$ で,$n_y$ は $x$ とも $z$ とも独立($x$ は $z$ と $n_x$ だけで決まる)なので $\Ex[y\mid x,z]=1.5z$.$x$ と $z$ の両方を入れた回帰(母集団での最小二乗)は条件付き期待値に一致し,$x$ の係数は 0,$z$ の係数は 1.5 になる.$x$ と $y$ の相関はすべて $z$ を通したものなので,$z$ を固定すると $x$ は $y$ について何も教えない.

(3) 実験の例:同じ炉・同じ位置(同じ $z$)で焼いた試料を 2 群にランダムに分け,片方だけ表面を研磨または塗装して明度を変え,密度を比べる.密度に差がなければ明度は原因ではない.別の設計として,炉内の位置を試料ごとにランダムに割り当てて実際の温度を熱電対で測り,$z$ を記録して (2) の回帰を行う.

(4) 同じ炉・同じ雰囲気・同じ原料で作る限り,明度と密度の関係($z$ を通した相関)は保たれるので,明度は密度を推定する安価な検査として役に立ちうる.ただし役に立つのは「同じ仕組みでデータが生じる」間だけである.炉を替える,雰囲気を変えて変色の仕方が変わる,表面を仕上げ加工するなど,$z\to x$ の関係が変わると予測は崩れる(6.9 節の分布の変化).密度を上げるために明度を操作するような使い方はできない.

演習6.8 2 つの候補の小さい方の期待値

解答

任意の実数 $a,b$ について $\min(a,b)=\dfrac{a+b}{2}-\dfrac{\abs{a-b}}{2}$ である($a\le b$ なら右辺 $=\frac{a+b}{2}-\frac{b-a}{2}=a$,$a\gt b$ でも同様).期待値の線形性より

$$ \begin{aligned} \Ex[\min(a,b)]&=\frac{\Ex[a]+\Ex[b]}{2}-\frac{\Ex\abs{a-b}}{2}\\ &=\mu-\frac{\Ex\abs{a-b}}{2} . \end{aligned} $$

$a,b$ は独立な Gauss 分布なので $u=a-b$ も Gauss 分布で,平均 0,分散 $s^{2}+s^{2}=2s^{2}$.$u\sim\Normal(0,\sigma_u^{2})$($\sigma_u$ は $u$ の標準偏差)の $\Ex\abs{u}$ は,被積分関数が偶関数であることを使って

$$ \begin{aligned} \Ex\abs{u}&=2\int_0^{\infty}u\,\frac{1}{\sqrt{2\pi}\,\sigma_u}e^{-u^{2}/(2\sigma_u^{2})}\,\dd u\\ &=\frac{2}{\sqrt{2\pi}\,\sigma_u}\Bigl[-\sigma_u^{2}e^{-u^{2}/(2\sigma_u^{2})}\Bigr]_0^{\infty}\\ &=\frac{2\sigma_u^{2}}{\sqrt{2\pi}\,\sigma_u}=\sigma_u\sqrt{\frac{2}{\pi}} . \end{aligned} $$

$\sigma_u=\sqrt2\,s$ を入れると $\Ex\abs{a-b}=\sqrt2\,s\sqrt{2/\pi}=2s/\sqrt{\pi}$.よって

$$ \Ex[\min(a,b)]=\mu-\frac{s}{\sqrt{\pi}} . $$

偏り $s/\sqrt\pi$ は検証誤差の推定値のばらつき $s$ に比例する.検証データが少ないほど $s$ が大きく,選んだモデルの検証誤差は楽観的になる.逆に検証データを増やして $s$ を小さくすれば,選択による偏りも小さくなる.

第7章 最適化の基礎 — 損失の谷を下る

演習7.1 2 次元の勾配降下法を手で追う

解答

(1) $\det(\bm{H}-\lambda\bm{I})=(3-\lambda)^{2}-1=0$ より $3-\lambda=\pm1$,固有値は $\lambda=2$ と $\lambda=4$.$\lambda=4$:$(\bm{H}-4\bm{I})\bm{q}=\bm{0}$ は $-q_1+q_2=0$ なので $\bm{q}_2=(1,1)^{\tp}/\sqrt2$.$\lambda=2$:$q_1+q_2=0$ なので $\bm{q}_1=(1,-1)^{\tp}/\sqrt2$.2 つは直交する.

(2) 収束の条件は $0\lt\eta\lt2/\lambda_{\max}=2/4=0.5$.$\eta_{\mathrm{opt}}=2/(4+2)=1/3$,$\kappa=4/2=2$,$\rho_{\mathrm{opt}}=(2-1)/(2+1)=1/3$.

(3) $\bm{H}\bm{w}_0=(3\cdot2+1\cdot0,\ 1\cdot2+3\cdot0)^{\tp}=(6,2)^{\tp}$ なので

$$ \begin{aligned} \bm{w}_1&=\bm{w}_0-\tfrac13\bm{H}\bm{w}_0\\ &=(2,0)^{\tp}-(2,\tfrac23)^{\tp}=\bigl(0,\ -\tfrac23\bigr)^{\tp}. \end{aligned} $$

$\bm{H}\bm{w}_1=(-\tfrac23,\ -2)^{\tp}$ なので

$$ \begin{aligned} \bm{w}_2&=\bm{w}_1-\tfrac13\bm{H}\bm{w}_1\\ &=\bigl(0+\tfrac29,\ -\tfrac23+\tfrac23\bigr)^{\tp}=\bigl(\tfrac29,\ 0\bigr)^{\tp}. \end{aligned} $$

ノルムは $\norm{\bm{w}_0}=2$,$\norm{\bm{w}_1}=2/3$,$\norm{\bm{w}_2}=2/9$ で,毎回ちょうど $1/3$ 倍になる.損失は $L(\bm{w}_0)=\tfrac12\bm{w}_0^{\tp}\bm{H}\bm{w}_0=\tfrac12(2\cdot6)=6$,$L(\bm{w}_1)=\tfrac12\cdot\tfrac23\cdot2=\tfrac23$,$L(\bm{w}_2)=\tfrac12\cdot\tfrac29\cdot\tfrac23=\tfrac{2}{27}\approx0.0741$ で,毎回 $1/9$ 倍である.

(見通し)$\bm{w}_0=(2,0)^{\tp}=\sqrt2\,\bm{q}_1+\sqrt2\,\bm{q}_2$.$\eta=1/3$ では $\bm{q}_1$ の成分は $1-\tfrac13\cdot2=\tfrac13$ 倍,$\bm{q}_2$ の成分は $1-\tfrac13\cdot4=-\tfrac13$ 倍になる.どちらも絶対値が $1/3$ なのでノルムがちょうど $1/3$ 倍になり,$\bm{q}_2$ の成分の符号だけが毎回反転する($\bm{w}$ が $w_1$ 軸と $w_2$ 軸の上を交互に移る理由).

演習7.2 最適な一定の学習率

解答

(1) $\eta\gt0$ を固定すると,$\phi(\lambda)=1-\eta\lambda$ は $\lambda$ の一次関数(減少関数)である.区間 $[\lambda_{\min},\lambda_{\max}]$ の中の $\lambda$ について $\phi(\lambda_{\max})\le\phi(\lambda)\le\phi(\lambda_{\min})$ なので,$\abs{\phi(\lambda)}\le\max\bigl(\abs{\phi(\lambda_{\min})},\abs{\phi(\lambda_{\max})}\bigr)$.固有値はすべてこの区間にあり,両端は固有値そのものなので,$\rho(\eta)=\max\bigl(\abs{1-\eta\lambda_{\min}},\abs{1-\eta\lambda_{\max}}\bigr)$.

(2) $a(\eta)=\abs{1-\eta\lambda_{\min}}$,$b(\eta)=\abs{1-\eta\lambda_{\max}}$ とおく.$0\lt\eta\le1/\lambda_{\max}$ では両方とも $1-\eta\lambda$ の形で,$a\ge b$ なので $\rho=a=1-\eta\lambda_{\min}$ は $\eta$ について減少する.$\eta\ge1/\lambda_{\min}$ では $b=\eta\lambda_{\max}-1\ge a=\eta\lambda_{\min}-1$ なので $\rho=b$ は増加する.その間 $1/\lambda_{\max}\le\eta\le1/\lambda_{\min}$ では $a=1-\eta\lambda_{\min}$(減少),$b=\eta\lambda_{\max}-1$(増加)で,$\rho=\max(a,b)$ は $a=b$ の点で最小になる.

$$ \begin{aligned} &1-\eta\lambda_{\min}=\eta\lambda_{\max}-1\\ &\Longrightarrow\quad \eta_{\mathrm{opt}}=\frac{2}{\lambda_{\max}+\lambda_{\min}} . \end{aligned} $$

このとき

$$ \begin{aligned} \rho_{\mathrm{opt}}&=1-\frac{2\lambda_{\min}}{\lambda_{\max}+\lambda_{\min}}\\ &=\frac{\lambda_{\max}-\lambda_{\min}}{\lambda_{\max}+\lambda_{\min}}=\frac{\kappa-1}{\kappa+1} \end{aligned} $$

(最後は分子と分母を $\lambda_{\min}$ で割った).$\eta_{\mathrm{opt}}$ が $[1/\lambda_{\max},1/\lambda_{\min}]$ に入ることは,$\lambda_{\min}\le\lambda_{\max}$ から $\lambda_{\max}+\lambda_{\min}\le2\lambda_{\max}$ と $\lambda_{\max}+\lambda_{\min}\ge2\lambda_{\min}$ で確かめられる.

(3) 誤差は $k$ 回で $\rho^{k}$ 倍以下になるので,$\rho^{k}=\epsilon$ から $k=\ln\epsilon/\ln\rho=\ln(1/\epsilon)/\bigl(-\ln\rho\bigr)$.$\rho=(\kappa-1)/(\kappa+1)=1-2/(\kappa+1)$ で,$\kappa\gg1$ なら $2/(\kappa+1)\approx2/\kappa$ は小さいので $\ln(1-x)\approx-x$ より $-\ln\rho\approx2/\kappa$.よって $k\approx\tfrac{\kappa}{2}\ln(1/\epsilon)$.たとえば $\kappa=1000$,$\epsilon=10^{-6}$ なら約 $500\times13.8\approx6900$ 回である.

演習7.3 焼成温度と保持時間の標準化

解答

(1) $N=5$ の平均をとる.$\overline{1}=1$,$\overline{T}=6500/5=1300$,$\overline{t_{\mathrm h}}=(1+4+2+3+2)/5=2.4$,$\overline{T^{2}}=8.55\times10^{6}/5=1.71\times10^{6}$(分子は $(1.21+1.44+1.69+1.96+2.25)\times10^{6}$),$\overline{Tt_{\mathrm h}}=15700/5=3140$(分子は $1100+4800+2600+4200+3000$),$\overline{t_{\mathrm h}^{2}}=(1+16+4+9+4)/5=6.8$.よって

$$ \bm{H}=\begin{pmatrix}1&1300&2.4\\1300&1.71\times10^{6}&3140\\2.4&3140&6.8\end{pmatrix}. $$

(2) $s_T^{2}=1.71\times10^{6}-1300^{2}=20000$,$s_T=141.42\ ^{\circ}\mathrm{C}$.$s_t^{2}=6.8-2.4^{2}=1.04$,$s_t=1.0198\ \mathrm{h}$.共分散 $3140-1300\times2.4=20$,相関係数 $r=20/(141.42\times1.0198)=0.1387$.標準化した後の $\bm{H}$ は本文の形 $\begin{pmatrix}1&0&0\\0&1&r\\0&r&1\end{pmatrix}$ で,固有値は $1,\ 1+r=1.1387,\ 1-r=0.8613$.条件数は $1.1387/0.8613=1.322$.

(3) 学習率の上限は $2/(1.710\times10^{6})=1.17\times10^{-6}$,条件数は $1.710\times10^{6}/1.15\times10^{-2}\approx1.48\times10^{8}$.最適な一定の学習率での反復回数は,演習7.2 (3) より約 $\tfrac{\kappa}{2}\ln10^{6}=0.74\times10^{8}\times13.8\approx1.0\times10^{9}$ 回.標準化の後は $\rho=(1.322-1)/(1.322+1)=0.1387$($=r$ に等しい)なので,$\ln10^{-6}/\ln0.1387=13.8/1.975\approx7.0$,7 回でよい.

(4) 変わらない.「分」で表すと $t_{\mathrm h}$ の値は 60 倍になるが,平均と標準偏差も 60 倍になるので,標準化した値 $(t_{\mathrm h}-m)/s$ は同じである.相関係数も単位によらない.標準化は特徴量の単位と原点の選び方を消すので,標準化した後の $\bm{H}$ は単位の選び方によらない.(標準化の前の条件数は,分にすると変わる.)

演習7.4 非復元抽出のミニバッチ勾配の分散

解答

(1) 非復元抽出でも,ミニバッチの中の特定の位置(たとえば 1 番目)に入る番号 $i$ は,対称性から $\{1,\dots,N\}$ のどれも確率 $1/N$ である.よって $\Ex[\bm{d}_i]=\frac1N\sum_n\bm{d}_n=\bm{0}$.$\bm{g}_{\mathcal{B}}-\nabla L=\frac1B\sum_{b=1}^{B}\bm{d}_{i_b}$ なので,期待値の線形性から $\Ex[\bm{g}_{\mathcal{B}}]=\nabla L$(不偏).

(2) 異なる 2 つの位置に入る番号の組 $(i,j)$ は,$N(N-1)$ 個の順序付きの異なる組のどれも等確率 $1/\{N(N-1)\}$ である.一方,$\sum_n\bm{d}_n=\bm{0}$ なので

$$ \begin{aligned} 0=\Bigl\|\sum_n\bm{d}_n\Bigr\|^{2}&=\sum_n\norm{\bm{d}_n}^{2}+\sum_{n\ne n'}\bm{d}_n^{\tp}\bm{d}_{n'}\\ &=Ns^{2}+\sum_{n\ne n'}\bm{d}_n^{\tp}\bm{d}_{n'} . \end{aligned} $$

よって $\sum_{n\ne n'}\bm{d}_n^{\tp}\bm{d}_{n'}=-Ns^{2}$ で,

$$ \Ex[\bm{d}_i^{\tp}\bm{d}_j]=\frac{1}{N(N-1)}\sum_{n\ne n'}\bm{d}_n^{\tp}\bm{d}_{n'}=-\frac{s^{2}}{N-1}. $$

(3) 本文の証明と同じく展開すると

$$ \begin{aligned} &\Ex\Bigl[\norm{\bm{g}_{\mathcal{B}}-\nabla L}^{2}\Bigr]\\ &=\frac1{B^{2}}\Bigl(\sum_{b}\Ex\norm{\bm{d}_{i_b}}^{2}+\sum_{b\ne b'}\Ex[\bm{d}_{i_b}^{\tp}\bm{d}_{i_{b'}}]\Bigr)\\ &=\frac1{B^{2}}\Bigl(Bs^{2}-B(B-1)\frac{s^{2}}{N-1}\Bigr)\\ &=\frac{s^{2}}{B}\Bigl(1-\frac{B-1}{N-1}\Bigr)=\frac{s^{2}}{B}\cdot\frac{N-B}{N-1}. \end{aligned} $$

例題7.6 では $s^{2}=6.6875$,$N=4$,$B=2$ なので $\frac{6.6875}{2}\cdot\frac{2}{3}=2.229$ で,6 通りを数え上げた分散 $13.375/6=2.229$ と一致する.$B=N$ では $(N-B)=0$ で分散が 0 になり,全データの勾配に一致することとも整合する.

演習7.5 モーメンタムで反復回数はどれだけ減るか

解答

(1) 固有値は $100$ と $1$,$\kappa=100$.$\eta_{\mathrm{opt}}=2/(100+1)=0.0198$,$\rho_{\mathrm{opt}}=99/101=0.9802$.反復回数は $\ln10^{-6}/\ln0.9802$ $=-13.816/(-0.02000)\approx691$ 回.

(2) $\eta=4/(\sqrt{100}+\sqrt1)^{2}=4/121=0.0331$,$\beta_1=\bigl((10-1)/(10+1)\bigr)^{2}=(9/11)^{2}=0.669$.縮み方は $9/11=0.818$ で,反復回数は $\ln10^{-6}/\ln0.818$ $=-13.816/(-0.2007)\approx69$ 回.勾配降下法の約 1/10 である.(この $\eta,\beta_1$ では各向きの反復の固有値が重根になり,誤差は $\rho^{k}$ に $k$ の 1 次式を掛けた形で減る.そのため実際の回数はこの見積もりより多く,$\bm{w}_0=(1,1)^{\tp}$ から $\norm{\bm{w}_k}$ を $10^{-6}$ 倍にするには 93 回かかる.それでも勾配降下法の約 7 分の 1 である.)$\kappa$ が $\sqrt{\kappa}$ に置き換わったので,$\kappa=100$ では回数が $\sqrt{100}=10$ 分の 1 程度になる.

(3) $\kappa=1$ では $\beta_1=\bigl((1-1)/(1+1)\bigr)^{2}=0$ が最適で,モーメンタムを使わない(勾配降下法そのもの)のが最良になる.もともと勾配降下法が $\eta=1/\lambda$ で 1 歩で着く問題なので,過去の速度を持ち越すことは行き過ぎを生むだけである(例題7.8 の $w_3=-0.25$).モーメンタムが効くのは,緩い向きに勾配が積み重なって加速し,急な向きの振動が打ち消し合う,条件数の大きい問題である.

演習7.6 3 つの不等式制約

解答

制約を $g_1=w_1+w_2-2\le0$,$g_2=-w_1\le0$,$g_3=-w_2\le0$ と書く.$\nabla g_1=(1,1)^{\tp}$,$\nabla g_2=(-1,0)^{\tp}$,$\nabla g_3=(0,-1)^{\tp}$.

(1) $\nabla f=(2(w_1-1),\ 2(w_2-2))^{\tp}$.制約なしの最小点 $(1,2)$ は $w_1+w_2=3\gt2$ で斜辺の外にあり,$w_1,w_2\gt0$ は満たす.そこで $g_1$ だけが効いている($\alpha_2=\alpha_3=0$)と仮定する.停留条件 $2(w_1-1)+\alpha_1=0$,$2(w_2-2)+\alpha_1=0$ より $w_1=1-\alpha_1/2$,$w_2=2-\alpha_1/2$.$g_1=0$ に代入すると $3-\alpha_1=2$,$\alpha_1=1$.よって $\bm{w}^{*}=(0.5,\ 1.5)$,$f^{*}=0.25+0.25=0.5$.確認:1.$\nabla f+\alpha_1\nabla g_1=(-1,-1)+(1,1)=\bm{0}$.2.$g_1=0$,$g_2=-0.5$,$g_3=-1.5$ はすべて $\le0$.3.$\alpha=(1,0,0)\ge\bm{0}$.4.$\alpha_1g_1=0$,$\alpha_2g_2=0\cdot(-0.5)=0$,$\alpha_3g_3=0$.すべて満たす.

(2) $\nabla f=(2(w_1+1),\ 2(w_2-3))^{\tp}$.制約なしの最小点 $(-1,3)$ は $w_1\lt0$ かつ $w_1+w_2=2$ の線上で,三角形の左上の頂点 $(0,2)$ の外側にある.まず $g_1$ だけが効くと仮定すると,$w_1=-1-\alpha_1/2$,$w_2=3-\alpha_1/2$,$g_1=0$ から $2-\alpha_1=2$,$\alpha_1=0$ で $\bm{w}=(-1,3)$ となり,$g_2=1\gt0$ で条件 2 に反する.$g_2$ だけが効くと仮定すると $w_1=0$,$2(0+1)-\alpha_2=0$ で $\alpha_2=2$,$w_2=3$ となり $g_1=1\gt0$ で反する.そこで $g_1$ と $g_2$ の両方が効く(頂点 $(0,2)$)と仮定する.停留条件は

$$ \begin{aligned} 2(0+1)+\alpha_1-\alpha_2&=0,\\ 2(2-3)+\alpha_1&=0 . \end{aligned} $$

第 2 式から $\alpha_1=2$,第 1 式から $\alpha_2=4$.よって $\bm{w}^{*}=(0,2)$,$f^{*}=1+1=2$.確認:1.$\nabla f=(2,-2)$ に $2(1,1)+4(-1,0)=(-2,2)$ を足して $\bm{0}$.2.$g_1=0$,$g_2=0$,$g_3=-2$.3.$\alpha=(2,4,0)\ge\bm{0}$.4.$\alpha_1g_1=\alpha_2g_2=0$,$\alpha_3=0$.すべて満たす.$f$ と $g_j$ はすべて凸なので,これが最小点である.

演習7.7 硬い結合と柔らかい結合をもつ構造の緩和

解答

$\bm{F}=(-k_1u_1,\ -k_2u_2)^{\tp}$ なので,更新は成分ごとに $u_i\leftarrow(1-\eta k_i)u_i$ で,Hesse 行列 $\diag(k_1,k_2)$ の勾配降下法である.

(1) $\eta\lt2/k_1=2/20=0.1\ \text{Å}^{2}/\mathrm{eV}$($\eta F$ が長さ Å になるので,$\eta$ の単位は Å を eV/Å で割った $\text{Å}^{2}/\mathrm{eV}$).

(2) $\eta_{\mathrm{opt}}=2/(20+0.5)=0.0976\ \text{Å}^{2}/\mathrm{eV}$.$\kappa=20/0.5=40$,縮み方は $(40-1)/(40+1)=0.951$.$\ln10^{-3}/\ln0.951$ $=-6.908/(-0.0500)\approx138$ 回.

(3) $\eta=0.05$ では $1-0.05\times20=0$ で硬い向きは 1 歩で緩和するが,柔らかい向きは $1-0.05\times0.5=0.975$ 倍ずつで,$\ln10^{-3}/\ln0.975\approx273$ 回かかる.上限の半分の学習率では,遅い向きの回数が約 2 倍になる.

(4) $\eta_i=1/k_i$ なら $1-\eta_ik_i=0$ で,どちらの向きも 1 回で $u_i=0$ に着く.これは Hesse 行列 $\diag(k_1,k_2)$ の逆行列を掛けた $\bm{\Delta}=-\bm{H}^{-1}\nabla E$,すなわち Newton 法(7.9 節)である.現実の構造では,(i) 基準振動の座標(力の定数行列の固有ベクトル)はあらかじめ分からず,原子の座標では硬い結合と柔らかい変形が混ざっている,(ii) 力の定数行列 $3N_{\mathrm a}\times3N_{\mathrm a}$ を計算するには多数のエネルギー・力の計算が要り高くつく,(iii) 安定点から遠いとエネルギーは二次式でなく,行列は場所によって変わる,ため,そのままでは使えない.そこで BFGS や L-BFGS で,力の変化から Hesse 行列(あるいは逆行列)を少しずつ近似する.

演習7.8 Newton 法は尺度に左右されない

解答

(1) $\bm{w}=\bm{A}\bm{w}'$ の成分は $w_i=\sum_jA_{ij}w'_j$ なので $\partial w_i/\partial w'_j=A_{ij}$.連鎖律より

$$ \begin{aligned} \pdiff{L'}{w'_j}&=\sum_i\pdiff{L}{w_i}\pdiff{w_i}{w'_j}\\ &=\sum_iA_{ij}\pdiff{L}{w_i}=\bigl(\bm{A}^{\tp}\nabla_{\bm{w}}L\bigr)_j . \end{aligned} $$

もう一度 $w'_l$ で微分すると,同じく

$$ \begin{aligned} \frac{\partial^{2}L'}{\partial w'_j\partial w'_l}&=\sum_i\sum_mA_{ij}\,\frac{\partial^{2}L}{\partial w_i\partial w_m}\,A_{ml}\\ &=(\bm{A}^{\tp}\bm{H}\bm{A})_{jl}. \end{aligned} $$

よって $\bm{H}'=\bm{A}^{\tp}\bm{H}\bm{A}$.

(2) $\bm{w}'$ の側の Newton 法の一歩は $\bm{H}'\bm{\Delta}'=-\nabla_{\bm{w}'}L'$,すなわち $\bm{A}^{\tp}\bm{H}\bm{A}\bm{\Delta}'=-\bm{A}^{\tp}\nabla_{\bm{w}}L$.$\bm{A}^{\tp}$ は正則なので両辺に $(\bm{A}^{\tp})^{-1}$ を左から掛けて $\bm{H}(\bm{A}\bm{\Delta}')=-\nabla_{\bm{w}}L$.これは $\bm{w}$ の側の Newton 法の式 $\bm{H}\bm{\Delta}=-\nabla_{\bm{w}}L$ と同じなので,$\bm{H}$ が正則なら $\bm{A}\bm{\Delta}'=\bm{\Delta}$.よって $\bm{A}\bm{w}'_{k+1}=\bm{A}\bm{w}'_k+\bm{A}\bm{\Delta}'=\bm{w}_k+\bm{\Delta}=\bm{w}_{k+1}$.どちらの座標で計算しても同じ点を通る.

(3) $\bm{w}'$ の側の勾配降下法の一歩を $\bm{w}$ の側に戻すと

$$ \bm{A}\bigl(\bm{w}'_k-\eta\bm{A}^{\tp}\nabla_{\bm{w}}L\bigr)=\bm{w}_k-\eta\,\bm{A}\bm{A}^{\tp}\nabla_{\bm{w}}L $$

で,$\bm{A}\bm{A}^{\tp}=\bm{I}$(回転など)でない限り $\bm{w}_k-\eta\nabla_{\bm{w}}L$ と一致しない.つまり勾配降下法の進み方は座標(特徴量の単位)の選び方に依存する.標準化は $\bm{w}=\bm{A}\bm{w}'$ の形の座標変換にあたり(特徴量を $s_j$ で割ると $w_j=w'_j/s_j$ なので,$\bm{A}$ の対角成分は標準偏差の逆数 $1/s_j$.平均を引く部分は切片の成分に他の成分を混ぜる),勾配降下法にとっての谷の形 $\bm{A}^{\tp}\bm{H}\bm{A}$ を丸くする.Newton 法ではこの変換が自動的に織り込まれているので,標準化の有無で点列は変わらない(ただし,丸め誤差の面では標準化は Newton 法にも有益である).勾配降下法に $\bm{A}\bm{A}^{\tp}$ を掛けた $\bm{w}_k-\eta\bm{P}\nabla L$($\bm{P}$ は正定値)の形を前処理つき勾配降下法といい,$\bm{P}=\bm{H}^{-1}$ が Newton 法,$\bm{P}$ を対角にとったものが RMSProp や Adam の考え方に近い.

第8章 線形回帰モデル — 基底関数と最小二乗法

演習8.1 直線の当てはめの公式(導出)

解答

基底 $(1,x)$ の正規方程式は

$$ \begin{aligned} Nw_0+w_1\sum_n x_n&=\sum_n y_n,\\ w_0\sum_n x_n+w_1\sum_n x_n^{2}&=\sum_n x_ny_n . \end{aligned} $$

$w_0$ の消去.第 1 式を $N$ で割ると $w_0+w_1\bar{x}=\bar{y}$,すなわち $w_0=\bar{y}-w_1\bar{x}$.これは「直線 $w_0+w_1x$ が $x=\bar{x}$ で $\bar{y}$ をとる」こと,つまり直線が点 $(\bar{x},\bar{y})$ を通ることを意味する.

$w_1$ の式.第 2 式に $w_0=\bar{y}-w_1\bar{x}$ を代入し,$\sum_nx_n=N\bar{x}$ を使う.

$$ \begin{aligned} (\bar{y}-w_1\bar{x})N\bar{x}+w_1\sum_n x_n^{2}&=\sum_n x_ny_n\\ w_1\Bigl(\sum_n x_n^{2}-N\bar{x}^{2}\Bigr)&=\sum_n x_ny_n-N\bar{x}\bar{y}. \end{aligned} $$

右辺と左辺の括弧を偏差で書き直す.

$$ \begin{aligned}&\sum_n(x_n-\bar{x})(y_n-\bar{y})\\&=\sum_nx_ny_n-\bar{y}\sum_nx_n-\bar{x}\sum_ny_n+N\bar{x}\bar{y}\\&=\sum_nx_ny_n-N\bar{x}\bar{y}\end{aligned} $$

なので右辺は $S_{xy}$.同様に($y$ を $x$ に替えて)左辺の括弧は $S_{xx}$.よって $w_1=S_{xy}/S_{xx}$(第8章の式 (8.7)).

残差の性質.残差 $r_n=y_n-w_0-w_1x_n$ について,正規方程式の第 1 式は $\sum_n r_n=0$,第 2 式は $\sum_n x_nr_n=0$ と同じである(それぞれ $\sum_n y_n-Nw_0-w_1\sum_nx_n=0$,$\sum_nx_ny_n-w_0\sum_nx_n-w_1\sum_nx_n^{2}=0$ を書き直しただけ).これは「残差が計画行列の 2 つの列 $(1,\dots,1)^{\tp}$ と $(x_1,\dots,x_N)^{\tp}$ に直交する」ことにほかならない.

演習8.2 ハット行列と $\sigma^{2}_{\mathrm{ML}}$ の偏り(導出)

解答

(1) $\bm{A}\equiv\bm{\Phi}^{\tp}\bm{\Phi}$ は対称で正則なので,その逆行列も対称である.

同様に $\bm{I}-\bm{H}$ も対称で $(\bm{I}-\bm{H})^{2}=\bm{I}-2\bm{H}+\bm{H}^{2}=\bm{I}-\bm{H}$,$\tr(\bm{I}-\bm{H})=N-M$ である.

(2) 最小二乗の予測値は $\hat{\bm{y}}=\bm{H}\bm{y}$ なので,残差は $\bm{r}=(\bm{I}-\bm{H})\bm{y}$.$\bm{H}\bm{\Phi}=\bm{\Phi}\bm{A}^{-1}\bm{A}=\bm{\Phi}$ より $(\bm{I}-\bm{H})\bm{\Phi}\bm{w}_{\mathrm{true}}=\bm{0}$ なので $\bm{r}=(\bm{I}-\bm{H})\bm{\varepsilon}$.よって

$$ \begin{aligned}\norm{\bm{r}}^{2}&=\bm{\varepsilon}^{\tp}(\bm{I}-\bm{H})^{\tp}(\bm{I}-\bm{H})\bm{\varepsilon}\\&=\bm{\varepsilon}^{\tp}(\bm{I}-\bm{H})\bm{\varepsilon}.\end{aligned} $$

スカラーはそれ自身の跡に等しく,跡は積の順を巡回してよいので,

$$ \begin{aligned} \Ex\bigl[\norm{\bm{r}}^{2}\bigr]&=\Ex\bigl[\tr\bigl((\bm{I}-\bm{H})\bm{\varepsilon}\bm{\varepsilon}^{\tp}\bigr)\bigr]\\&=\tr\bigl((\bm{I}-\bm{H})\Ex[\bm{\varepsilon}\bm{\varepsilon}^{\tp}]\bigr)\\ &=\sigma^{2}\tr(\bm{I}-\bm{H})=\sigma^{2}(N-M). \end{aligned} $$

$\sigma^{2}_{\mathrm{ML}}=\norm{\bm{r}}^{2}/N$ なので $\Ex[\sigma^{2}_{\mathrm{ML}}]=\frac{N-M}{N}\sigma^{2}$.$\norm{\bm{r}}^{2}/(N-M)$ が不偏な推定値である.同じ性質は第6章の演習6.1 でも使った.

(3) 例題8.2 では $\bm{\Phi}^{\tp}\bm{\Phi}=\begin{pmatrix}3&3\\3&5\end{pmatrix}$,その逆行列は $\frac16\begin{pmatrix}5&-3\\-3&3\end{pmatrix}$.第 $n$ 行が $(1,x_n)$ なので $H_{nm}=\frac16(5-3x_n-3x_m+3x_nx_m)$.$x=0,1,2$ を入れると

$$ \bm{H}=\frac16\begin{pmatrix}5&2&-1\\2&2&2\\-1&2&5\end{pmatrix}. $$

対称で,跡は $(5+2+5)/6=2=M$.$\bm{H}^{2}$ の (1,1) 成分は $(25+4+1)/36=30/36=5/6$ で $H_{11}$ と一致する(他の成分も同様).$\bm{H}\bm{y}=\frac16(5+2-4,\ 2+2+8,$ $-1+2+20)^{\tp}$ $=(0.5,\ 2.0,\ 3.5)^{\tp}$ は例題8.2 の $\hat{\bm{y}}$ と一致する.

演習8.3 端成分が分かっているときの bowing パラメーター(材料の題材)

解答

(1) 第8章の式 (8.23) を移項すると $E_g-[(1-x)E_{\mathrm{A}}+xE_{\mathrm{B}}]=b\cdot\{-x(1-x)\}$.目標値 $z_n=E_{g,n}-[(1-x_n)1.20+x_n2.40]$,基底 $\psi(x)=-x(1-x)$,係数 $b$ の係数 1 個の線形モデル $z=b\,\psi(x)$(定数項なし)である.

(2) 直線部分 $1.20+1.20x_n$ は $1.44,\ 1.68,\ 1.80,\ 1.92,\ 2.16$.$z_n=-0.11,\ -0.21,\ -0.19,\ -0.22,\ -0.11$.$\psi_n=-0.16,\ -0.24,\ -0.25,$ $-0.24,\ -0.16$.係数 1 個の正規方程式 $b\sum_n\psi_n^{2}=\sum_n\psi_nz_n$ より

$$ \begin{aligned} \sum_n\psi_nz_n&=0.0176+0.0504+0.0475\\&\quad+0.0528+0.0176=0.1859,\\ \sum_n\psi_n^{2}&=0.0256+0.0576+0.0625\\&\quad+0.0576+0.0256=0.2289,\\ b&=0.1859/0.2289=0.812\ \mathrm{eV}. \end{aligned} $$

(3) 平らな事前分布($\sigma_w\to\infty$)では $S_N=\sigma^{2}/\sum_n\psi_n^{2}=0.03^{2}/0.2289$,標準偏差は $0.03/\sqrt{0.2289}=0.03/0.4784=0.063$ eV.$b=0.81\pm0.06$ eV.

(4) $x=0.3$ では直線部分 $1.20+1.20\times0.3=1.56$,$\psi=-0.3\times0.7=-0.21$.予測平均は $1.56+0.812\times(-0.21)=1.389$ eV.知識不足の標準偏差は $\abs{\psi}\sqrt{S_N}=0.21\times0.063=0.013$ eV(観測値の標準偏差は $\sqrt{0.013^{2}+0.03^{2}}=0.033$ eV).端成分を既知として係数を 1 個に減らしたので,第8章 8.10 節の 3 係数の当てはめ($b$ の標準偏差 0.14 eV,データ 12 点)より不確かさがずっと小さい.ただし端成分の値に誤差があれば,その分 $b$ が偏ることに注意する.

演習8.4 4 温度の Arrhenius プロット(材料の題材)

解答

(1) $u=1000/T=2.0000,\ 1.6667,\ 1.4286,\ 1.2500$(K$^{-1}$ の 1000 倍),$\bar{u}=1.5863$,$\bar{l}=-6.00$($l=\ln\sigma_{\mathrm{ion}}$).偏差は $u_n-\bar{u}=0.4137,\ 0.0804,$ $-0.1577,\ -0.3363$,$l_n-\bar{l}=-2.14,\ -0.37,\ 0.82,\ 1.69$.

$$ \begin{aligned} S_{uu}&=0.1711+0.0065+0.0249+0.1131\\&=0.3156,\\ S_{ul}&=-0.8853-0.0297-0.1294-0.5684\\&=-1.6127,\\ w_1&=S_{ul}/S_{uu}=-5.110,\\ w_0&=\bar{l}-w_1\bar{u}=2.107. \end{aligned} $$

$E_a=-1000\,k_{\mathrm B}w_1$ $=1000\times8.617\times10^{-5}\times5.110$ $=0.440$ eV.

(2) $\sigma/\sqrt{S_{uu}}=0.10/\sqrt{0.3156}=0.178$.$E_a$ の標準偏差は $1000\,k_{\mathrm B}\times0.178=0.0862\times0.178=0.015$ eV.$E_a=0.440\pm0.015$ eV.

(3) $u_*=1000/900=1.1111$.予測平均 $2.107-5.110\times1.1111=-3.572$($\sigma_{\mathrm{ion}}\approx e^{-3.572}=0.028$ S/cm).知識不足の分散は

$$ \begin{aligned}&0.10^{2}\bigl[1/4+(1.1111-1.5863)^{2}/0.3156\bigr]\\&=0.01\times(0.25+0.716)=0.00966,\end{aligned} $$

標準偏差 0.098.観測値の標準偏差 $\sqrt{0.00966+0.01}=0.140$.900 K は測定範囲(500〜800 K)の外なので,知識不足の分がノイズと同じ程度まで大きくなっている.

この式は,基底を中心化した $(1,\ u-\bar{u})$ にすると $\bm{\Phi}^{\tp}\bm{\Phi}=\diag(N,\ S_{uu})$ となり(交差項 $\sum_n(u_n-\bar{u})=0$),平らな事前分布で $\bm{S}_N=\sigma^{2}\diag(1/N,\ 1/S_{uu})$ となることから,$\bm{\phi}_*=(1,\ u_*-\bar{u})^{\tp}$ を挟んで得られる.

(4) 絶対値で一定の誤差 $\delta$ なら,$\ln\sigma_{\mathrm{ion}}$ の誤差は近似的に $\delta/\sigma_{\mathrm{ion},n}$ で,低温の点(伝導度が小さい)ほど大きい.各点の分散 $\sigma_n^{2}=(\delta/\sigma_{\mathrm{ion},n})^{2}$ で重みを付け,$\sum_n r_n^{2}/\sigma_n^{2}$ を最小にする(重み付き最小二乗法).この例では 500 K の点の伝導度は 800 K の約 $e^{3.8}\approx45$ 分の 1 なので,対数での誤差は約 45 倍,重みは約 $45^{2}\approx2000$ 分の 1 になり,500 K の点は傾きにほとんど効かなくなる.あるいは対数をとらずに $\sigma_{\mathrm{ion}}=\sigma_0e^{-E_a/(k_{\mathrm B}T)}$ を非線形の最小二乗法(第7章の方法)で当てはめる.

演習8.5 Ridge の係数は $\lambda$ とともに縮む(導出)

解答

(1) 第8章の式 (8.14) より $\hat{\bm{w}}_\lambda=\sum_ic_i(\lambda)\bm{v}_i$,$c_i(\lambda)=\dfrac{s_i}{s_i^{2}+\lambda}\bm{u}_i^{\tp}\bm{y}$.$\bm{v}_i^{\tp}\bm{v}_j=\delta_{ij}$ なので

$$ \norm{\hat{\bm{w}}_\lambda}^{2}=\sum_i c_i(\lambda)^{2}=\sum_i\frac{s_i^{2}}{(s_i^{2}+\lambda)^{2}}(\bm{u}_i^{\tp}\bm{y})^{2}. $$

$\lambda$ で微分すると,各項は $-\dfrac{2s_i^{2}}{(s_i^{2}+\lambda)^{3}}(\bm{u}_i^{\tp}\bm{y})^{2}\le0$.したがって $\norm{\hat{\bm{w}}_\lambda}^{2}$ は $\lambda\ge0$ で単調に減少する($\bm{u}_i^{\tp}\bm{y}\ne0$ の項があれば狭義に).$\lambda\to\infty$ で 0 に近づく.

(2) $\bm{\Phi}^{\tp}\bm{\Phi}+\lambda\bm{I}=\bm{V}(\bm{\Sigma}^{2}+\lambda\bm{I})\bm{V}^{\tp}$ なので,その逆行列は $\bm{V}(\bm{\Sigma}^{2}+\lambda\bm{I})^{-1}\bm{V}^{\tp}$.よって

$$ \begin{aligned} &\bm{\Phi}(\bm{\Phi}^{\tp}\bm{\Phi}+\lambda\bm{I})^{-1}\bm{\Phi}^{\tp}\\&=\bm{U}\bm{\Sigma}\bm{V}^{\tp}\bm{V}(\bm{\Sigma}^{2}+\lambda\bm{I})^{-1}\bm{V}^{\tp}\bm{V}\bm{\Sigma}\bm{U}^{\tp}\\ &=\bm{U}\,\bm{\Sigma}(\bm{\Sigma}^{2}+\lambda\bm{I})^{-1}\bm{\Sigma}\,\bm{U}^{\tp}. \end{aligned} $$

跡をとり $\tr(\bm{U}\bm{D}\bm{U}^{\tp})=\tr(\bm{D}\bm{U}^{\tp}\bm{U})=\tr\bm{D}$ を使うと,$\tr\bm{D}=\sum_is_i^{2}/(s_i^{2}+\lambda)=\mathrm{df}(\lambda)$.$\lambda=0$ ではハット行列の跡 $M$(演習8.2)に一致する.

(3) 例題8.6 では $\bm{\Phi}^{\tp}\bm{\Phi}=\diag(4,\ 0.2)$,$\bm{\Phi}^{\tp}\bm{y}=(6.0,\ 0.34)^{\tp}$.$\lambda=1$ で $w_0=6.0/5=1.2$,$w_1=0.34/1.2=0.283$.有効自由度は $4/5+0.2/1.2=0.800+0.167=0.967$.$\norm{\bm{w}}^{2}$ は $\lambda=0$ の $1.5^{2}+1.7^{2}=5.14$,$\lambda=0.2$ の $1.4286^{2}+0.85^{2}=2.76$,$\lambda=1$ の $1.2^{2}+0.283^{2}=1.52$ と単調に減る.

演習8.6 逐次更新と一括更新(導出・計算)

解答

(1) まず $\data_1$ で更新する.事前分布 $\Normal(\bm{0},\sigma_w^{2}\bm{I})$ から,第8章の式 (8.20) で

$$ \begin{aligned}\bm{S}_1^{-1}&=\sigma_w^{-2}\bm{I}+\sigma^{-2}\bm{\Phi}_1^{\tp}\bm{\Phi}_1,\\ \bm{S}_1^{-1}\bm{m}_1&=\sigma^{-2}\bm{\Phi}_1^{\tp}\bm{y}_1 .\end{aligned} $$

これを事前分布($\bm{m}_0\to\bm{m}_1$,$\bm{S}_0\to\bm{S}_1$)として $\data_2$ で更新すると

$$ \begin{aligned} \bm{S}_2^{-1}&=\bm{S}_1^{-1}+\sigma^{-2}\bm{\Phi}_2^{\tp}\bm{\Phi}_2\\&=\sigma_w^{-2}\bm{I}+\sigma^{-2}(\bm{\Phi}_1^{\tp}\bm{\Phi}_1+\bm{\Phi}_2^{\tp}\bm{\Phi}_2),\\ \bm{S}_2^{-1}\bm{m}_2&=\bm{S}_1^{-1}\bm{m}_1+\sigma^{-2}\bm{\Phi}_2^{\tp}\bm{y}_2\\&=\sigma^{-2}(\bm{\Phi}_1^{\tp}\bm{y}_1+\bm{\Phi}_2^{\tp}\bm{y}_2). \end{aligned} $$

全データの計画行列は $\bm{\Phi}=\begin{pmatrix}\bm{\Phi}_1\\ \bm{\Phi}_2\end{pmatrix}$,目標 $\bm{y}=\begin{pmatrix}\bm{y}_1\\ \bm{y}_2\end{pmatrix}$ なので $\bm{\Phi}^{\tp}\bm{\Phi}=\bm{\Phi}_1^{\tp}\bm{\Phi}_1+\bm{\Phi}_2^{\tp}\bm{\Phi}_2$,$\bm{\Phi}^{\tp}\bm{y}=\bm{\Phi}_1^{\tp}\bm{y}_1+\bm{\Phi}_2^{\tp}\bm{y}_2$.よって $\bm{S}_2,\bm{m}_2$ は一括で求めた $\bm{S}_N,\bm{m}_N$(式 (8.18))と一致する.精度行列と「精度 × 平均」がデータについての和になっていることが要点である.

(2) 例題8.7 の事後分布は $m_1=0.90625$,$S_1^{-1}=16$.4 点目 $x=4$,$y=4.1$($\sigma=1$)で

$$ \begin{aligned}S_2^{-1}&=16+\frac{4^{2}}{1}=32,\\ m_2&=\frac{16\times0.90625+4\times4.1}{32}\\&=\frac{14.5+16.4}{32}=0.9656 .\end{aligned} $$

一括では $\sum x_n^{2}=1+4+9+16=30$,$\sum x_ny_n=14.5+16.4=30.9$,$S^{-1}=1/0.5+30=32$,$m=30.9/32=0.9656$ で一致する.事後標準偏差は $1/\sqrt{32}=0.177$(3 点のときの 0.25 から縮んだ).

演習8.7 2 点で決めた直線の予測分散(計算)

解答

(1) $\bm{\Phi}=\begin{pmatrix}1&-1\\1&1\end{pmatrix}$,$\bm{\Phi}^{\tp}\bm{\Phi}=\begin{pmatrix}2&0\\0&2\end{pmatrix}$.よって

$$ \begin{aligned}\bm{S}_N^{-1}&=\Bigl(\frac{1}{\sigma_w^{2}}+\frac{2}{\sigma^{2}}\Bigr)\bm{I}=\frac{\sigma^{2}+2\sigma_w^{2}}{\sigma^{2}\sigma_w^{2}}\bm{I},\\ \bm{S}_N&=\frac{\sigma^{2}\sigma_w^{2}}{\sigma^{2}+2\sigma_w^{2}}\bm{I}.\end{aligned} $$

(2) $\bm{\phi}_*=(1,x_*)^{\tp}$ なので

$$ \bm{\phi}_*^{\tp}\bm{S}_N\bm{\phi}_*=\frac{\sigma^{2}\sigma_w^{2}}{\sigma^{2}+2\sigma_w^{2}}\,(1+x_*^{2}). $$

$x_*=0$(2 点の中央)で最小で,$x_*^{2}$ に比例して増える.

(3) $\sigma_w=1$,$\sigma=0.5$ では係数は $0.25/(0.25+2)=1/9$.$x_*=0,1,2,3$ で $1/9=0.111$,$2/9=0.222$,$5/9=0.556$,$10/9=1.111$.$x_*=3$ ではノイズの分散 $\sigma^{2}=0.25$ の 4 倍を超える.

$\bm{S}_N$ には $\bm{y}$ が入らない(第8章の式 (8.18)).したがって知識不足の分散は「どこを測ったか」(計画行列)だけで決まり,測った値には依らない.このため,測定を行う前に,どの入力で測れば予測の不確かさが最も減るかを計算できる.これが実験計画(第13章)の考え方の土台である.ただしこれは $\sigma^{2}$ と $\sigma_w^{2}$ を固定した場合で,それらを周辺尤度で選ぶ(第8章 8.7 節の発展の囲み)と $\bm{y}$ にも依存する.

演習8.8 Gauss 基底の外挿(考察・材料の題材)

解答

(1) $\phi_j(s)=\exp[-(s-c_j)^{2}/(2\times0.25^{2})]$ $=\exp[-(s-c_j)^{2}/0.125]$.

($s=0$ では $1+2\times0.6065^{2}+2\times0.1353^{2}+\dots=1.77$,分散 177 なので,データの範囲の中のほうが事前の分散が大きい.)

(2) 1700 °C($s=2.0$)では,データの有無に関係なく知識不足の分散がほぼ 0 になり,予測平均は $\bm{m}_N^{\tp}\bm{\phi}\approx0$,すなわち基準値 88 % に戻る.画面の帯は観測値の帯 ±2σ = ±2 % だけになるが,これは「1700 °C の相対密度が 88 ± 2 % とよく分かっている」ことを意味しない.基底関数がこの温度で 0 になるというモデルの仮定から機械的に出た値で,外挿の信頼性について何も言っていない.実際の焼結体なら,さらに高温で緻密化が進むか,粒成長や分解で密度が下がるかは,データからも基底からも分からない.

(3) 例:(a) 定数と 1 次の基底($1,s$)や多項式の基底を足し,データの外でも「何らかの形が続く」ことを表せるようにする(多項式の帯は外で広がる).(b) 基底の中心を予測したい範囲(たとえば $[-2,2]$)まで広げて置く,または幅 $r$ を大きくする.(c) 基底を無限に並べた極限としてのガウス過程(第12章)を使い,データから遠いと事前分散 $\sigma_f^{2}$ に戻るようにする.(d) 焼結の物理(緻密化の速度式など)に基づく関数形を基底に使う.いずれの場合も,帯はモデルの仮定のもとでの幅であることに変わりはないので,範囲外の予測は確認の実験で確かめる.

第9章 線形識別モデル — 決定境界と確率

演習9.1 境界までの距離

解答

(1) $f(\bm{x})=3x_1-4x_2+5$ なので,決定境界は $3x_1-4x_2+5=0$,すなわち $x_2=\tfrac34x_1+\tfrac54$ の直線である.

(2) $\norm{\bm{w}}=\sqrt{3^{2}+(-4)^{2}}=5$.符号付き距離は $r=f(\bm{x})/\norm{\bm{w}}$(第9章の式 (9.2)).

(3) 原点から境界に下ろした垂線の足が求める点である.原点は $\bm{w}$ の向きの側に距離 1 だけ離れているので,そこから $-\bm{w}$ の向きに 1 だけ進めばよい.

$$ \begin{aligned} \bm{x}_{\perp}&=\bm{0}-1\times\frac{\bm{w}}{\norm{\bm{w}}}\\ &=-\frac{(3,-4)}{5}=(-0.6,\ 0.8). \end{aligned} $$

確かめ:$3\times(-0.6)-4\times0.8+5$ $=-1.8-3.2+5=0$ で境界の上にあり,原点からの距離は $\sqrt{0.36+0.64}=1$ である.

演習9.2 sigmoid と tanh

解答

(1) $u=a/2$ とおくと $\tanh u=\dfrac{e^{u}-e^{-u}}{e^{u}+e^{-u}}$.分子と分母に $e^{-u}$ を掛けると $\tanh u=\dfrac{1-e^{-2u}}{1+e^{-2u}}=\dfrac{1-e^{-a}}{1+e^{-a}}$.よって

$$ \begin{aligned} &\tfrac12\{1+\tanh(a/2)\}\\ &=\frac12\cdot\frac{(1+e^{-a})+(1-e^{-a})}{1+e^{-a}}\\ &=\frac{1}{1+e^{-a}}=\sigma(a). \end{aligned} $$

sigmoid は tanh を横に 2 倍に伸ばし,値の範囲を $(-1,1)$ から $(0,1)$ へ移したものである.

(2) $p=\sigma(a)$ とおくと,$1-p=e^{-a}/(1+e^{-a})$ なので $p/(1-p)=1/e^{-a}=e^{a}$,両辺の対数をとって $a=\ln\{p/(1-p)\}=\ell(p)$.逆に $\ell(p)=a$ なら $p/(1-p)=e^{a}$ を解いて $p=\sigma(a)$.よって $\ell$ と $\sigma$ は互いに逆関数である.微分は

$$ \begin{aligned} \diff{\ell}{p}&=\diff{}{p}\bigl\{\ln p-\ln(1-p)\bigr\}\\ &=\frac1p+\frac{1}{1-p}=\frac{1}{p(1-p)} . \end{aligned} $$

これは逆関数の微分 $1/\sigma'(a)=1/\{\sigma(1-\sigma)\}$ とも一致する.

(3) 第9章の式 (9.9) $\sigma'=\sigma(1-\sigma)$ を使う.

$$ \begin{aligned} \diff{}{a}\ln\sigma(a)&=\frac{\sigma'(a)}{\sigma(a)}=1-\sigma(a),\\ \frac{\dd^{2}}{\dd a^{2}}\ln\sigma(a)&=-\sigma'(a)\\ &=-\sigma(a)\bigl(1-\sigma(a)\bigr). \end{aligned} $$

よって $\dfrac{\dd^{2}}{\dd a^{2}}\{-\ln\sigma(a)\}=\sigma(a)(1-\sigma(a))\gt0$ であり,$-\ln\sigma(a)$ は凸関数である.$-\ln(1-\sigma(a))=-\ln\sigma(-a)$ も同様に凸なので,1 点の交差エントロピー損失は $a$ について凸である.$a$ は $(\bm{w},b)$ の 1 次式なので,凸関数と 1 次式の合成である損失は $(\bm{w},b)$ についても凸になる.

演習9.3 Hesse 行列が正定値になる条件

解答

(1) $s_n=\hat{y}_n(1-\hat{y}_n)$ とおくと $0\lt s_n\le1/4$ である($0\lt\hat{y}_n\lt1$).任意の $\bm{v}\in\R^{M+1}$ について

$$ \bm{v}^{\tp}\bm{H}\bm{v}=\sum_{n=1}^{N}s_n(\bm{v}^{\tp}\tilde{\bm{\phi}}_n)^{2}\ge0 . $$

等号が成り立つとすると,$s_n\gt0$ なので各項が 0,つまりすべての $n$ で $\bm{v}^{\tp}\tilde{\bm{\phi}}_n=0$,行列で書けば $\tilde{\bm{\Phi}}\bm{v}=\bm{0}$ である.$\tilde{\bm{\Phi}}$ の階数が $M+1$(列が線形独立)なら,$\tilde{\bm{\Phi}}\bm{v}=\bm{0}$ の解は $\bm{v}=\bm{0}$ だけである.したがって $\bm{v}\ne\bm{0}$ なら $\bm{v}^{\tp}\bm{H}\bm{v}\gt0$ で,$\bm{H}$ は正定値である.

(2) 正則化項 $\tfrac{\lambda}{2}\norm{\bm{w}}^{2}$ の $\bm{w}$ についての Hesse 行列は $\lambda\bm{I}_M$ である.$\bm{w}$ の部分のブロックを $\bm{H}_{ww}+\lambda\bm{I}_M$ と書くと,任意の $\bm{u}\in\R^{M}$,$\bm{u}\ne\bm{0}$ について

$$ \begin{aligned} \bm{u}^{\tp}(\bm{H}_{ww}+\lambda\bm{I}_M)\bm{u}&=\bm{u}^{\tp}\bm{H}_{ww}\bm{u}+\lambda\norm{\bm{u}}^{2}\\ &\ge\lambda\norm{\bm{u}}^{2}\gt0 \end{aligned} $$

である($\bm{H}_{ww}$ は (1) と同じ理由で半正定値).データの階数によらず正定値になる.

(3) 正定値な Hesse 行列は「損失が狭義凸である」ことを保証し,最小点があればそれが 1 つであることを意味する.しかし「最小点が存在する」ことまでは保証しない.たとえば $g(w)=e^{-w}$ は $g''=e^{-w}\gt0$ で狭義凸だが,$w\to\infty$ で 0 に近づくだけで最小値をもたない.線形分離可能なデータの損失はこれと同じで,ある向きに進むと損失が下がり続け,その向きの曲率 $s_n$ が 0 に近づく($\hat{y}_n\to0$ か 1).有限の点ではどこでも正定値だが,最小点は無限の遠くにある.正則化を足すと,(2) の下限 $\lambda$ によって曲率が 0 に近づかず,さらに損失が $\norm{\bm{w}}\to\infty$ で無限大に増えるので,最小点が有限の位置にできる.

演習9.4 Newton 法の 1 ステップ

解答

データは $x=(-1.5,-0.5,0.5,1.5)$,$y=(0,1,0,1)$.$\tilde{\bm{\phi}}_n=(x_n,1)^{\tp}$,$\tilde{\bm{w}}=(w,b)^{\tp}$.

(1) $w=b=0$ では $\hat{y}_n=0.5$,$s_n=\hat{y}_n(1-\hat{y}_n)=0.25$.

$$ \begin{aligned} \bm{H}&=0.25\sum_n\begin{pmatrix}x_n^{2}&x_n\\x_n&1\end{pmatrix}\\ &=0.25\begin{pmatrix}5&0\\0&4\end{pmatrix}=\begin{pmatrix}1.25&0\\0&1\end{pmatrix}. \end{aligned} $$

($\sum x_n^{2}=2.25+0.25+0.25+2.25=5$,$\sum x_n=0$.)勾配は例題9.4 (2) より $\nabla L=(-1.0,\ 0)^{\tp}$.

(2) $\bm{H}\bm{d}=\nabla L$ を解くと $\bm{d}=(-1.0/1.25,\ 0/1)^{\tp}=(-0.8,\ 0)^{\tp}$.更新 $\tilde{\bm{w}}\leftarrow\tilde{\bm{w}}-\bm{d}$ で $(w,b)=(0.8,\ 0)$.このとき $a_n=0.8x_n=(-1.2,\ -0.4,\ 0.4,\ 1.2)$,$\hat{y}_n=(0.2315,\ 0.4013,\ 0.5987,\ 0.7685)$ で,損失は

$$ \begin{aligned} L&=-2\ln0.7685-2\ln0.4013\\ &=2\times0.2633+2\times0.9130\\ &\approx2.3526 . \end{aligned} $$

勾配降下法($\eta=0.5$)は 1 ステップ後 $w=0.5$,$L=2.4256$,2 ステップ後 $w=0.700$,$L=2.3669$ だったので,Newton 法の 1 ステップ($L=2.3526$)は勾配降下法の 2 ステップより最小値 $L^{*}\approx2.3475$ に近い.Newton 法は曲率 $\bm{H}$ を使って 1 歩の大きさを方向ごとに決めるからである.

(3) 2 ステップ目:$(w,b)=(0.8,0)$ で $s_n=(0.1779,\ 0.2403,\ 0.2403,\ 0.1779)$,$\bm{H}=\begin{pmatrix}0.9207&0\\0&0.8363\end{pmatrix}$,$\partial L/\partial w=-0.0957$,$\partial L/\partial b=0$.$w\leftarrow0.8+0.0957/0.9207=0.9040$.3 ステップ目で $w=0.90818$ となり,最小点 $w^{*}=0.90818$ と 3 桁以上一致する(2 ステップ目の 0.904 は 3 桁目が違う).最小点の近くでは誤差がおよそ 2 乗ずつ小さくなる(2 次収束).

演習9.5 2 クラスの softmax はロジスティック回帰

解答

(1) $\hat{y}_1=\dfrac{e^{a_1}}{e^{a_1}+e^{a_2}}$ の分子と分母を $e^{a_1}$ で割ると $\hat{y}_1=\dfrac{1}{1+e^{-(a_1-a_2)}}=\sigma(a_1-a_2)$.ここで

$$ \begin{aligned} a_1-a_2&=(\bm{w}_1-\bm{w}_2)^{\tp}\bm{\phi}+(b_1-b_2)\\ &=\bm{w}^{\tp}\bm{\phi}+b \end{aligned} $$

なので,$\hat{y}_1$ は $\bm{w}=\bm{w}_1-\bm{w}_2$,$b=b_1-b_2$ のロジスティック回帰の出力に等しい.$\hat{y}_2=1-\hat{y}_1$ も一致する.

(2) 第9章の式 (9.19) より $\nabla_{\bm{w}_k}L=\sum_n(\hat{y}_{nk}-y_{nk})\bm{\phi}_n$.$k=1,2$ の和は

$$ \begin{aligned} &\sum_n\bigl\{(\hat{y}_{n1}+\hat{y}_{n2})-(y_{n1}+y_{n2})\bigr\}\bm{\phi}_n\\ &=\sum_n(1-1)\bm{\phi}_n=\bm{0} \end{aligned} $$

である(確率の和も one-hot の和も 1).意味:$\bm{w}_1$ と $\bm{w}_2$ に同じベクトル $\bm{c}$ を足しても $a_1-a_2$ は変わらず,損失も変わらない.損失が変わらない向き $(\bm{c},\bm{c})$ への勾配の成分は 0 であり,それが「和が 0」として現れている.このため $K$ クラスの softmax 回帰の解は一意に決まらず,1 つのクラスの重みを $\bm{0}$ に固定するか,正則化を加えて決める.

(3) $\hat{y}_k=e^{a_k}/Z$,$Z=\sum_je^{a_j}$ とおく.$\partial Z/\partial a_j=e^{a_j}$.商の微分より

$$ \begin{aligned} \pdiff{\hat{y}_k}{a_j}&=\frac{\delta_{kj}e^{a_k}Z-e^{a_k}e^{a_j}}{Z^{2}}\\ &=\frac{e^{a_k}}{Z}\Bigl(\delta_{kj}-\frac{e^{a_j}}{Z}\Bigr)\\ &=\hat{y}_k(\delta_{kj}-\hat{y}_j). \end{aligned} $$

$K=2$,$k=j=1$ では $\hat{y}_1(1-\hat{y}_1)$ となり,sigmoid の導関数と一致する.

演習9.6 焼結部品の検査のしきい値

解答

不良品は $5000\times0.02=100$ 個,良品は 4900 個.

(1) $t=1.0$:再現率 $=1-\Phi(1-2)=\Phi(1)=0.8413$,偽陽性率 $=1-\Phi(1)=0.1587$.TP $=100\times0.8413=84.1$,FN $=15.9$,FP $=4900\times0.1587=777.4$,TN $=4122.6$.適合率 $=84.1/(84.1+777.4)=0.0977$,F1 $=2\times0.0977\times0.8413$ $/(0.0977+0.8413)=0.175$,正解率 $=(84.1+4122.6)/5000=0.841$.
$t=2.0$:再現率 $=1-\Phi(0)=0.5$,偽陽性率 $=1-\Phi(2)=0.02275$.TP $=50$,FN $=50$,FP $=111.5$,TN $=4788.5$.適合率 $=50/161.5=0.310$,F1 $=2\times0.310\times0.5/0.810=0.382$,正解率 $=4838.5/5000=0.968$.

(2) 期待費用 $=20\times\mathrm{FN}+1\times\mathrm{FP}$.$t=1.0$:$20\times15.9+777.4=1094.7$.$t=2.0$:$20\times50+111.5=1111.5$.「すべて良品」:FN $=100$,FP $=0$ で $2000$.$t=2.0$ は正解率と F1 では $t=1.0$ より良いが,費用ではわずかに悪い.どの指標で選ぶかで結論が変わる.

(3) スコアのクラスの条件付き密度は分散 1 の Gauss 分布で平均が 0 と 2 なので,第9章の例題9.2 と同じ計算で対数オッズは $a(s)=2s-2+\ln(0.02/0.98)$ $=2s-2-3.892$.しきい値の確率は $p^{*}=1/(1+20)=1/21$ で,対数オッズでは $\ln\{(1/21)/(20/21)\}=-\ln20=-2.996$.$a(s)=-2.996$ を解くと

$$ \begin{aligned} 2s&=2+3.892-2.996=2.896,\\ t^{*}&=1.448 . \end{aligned} $$

このとき再現率 $=\Phi(0.552)=0.710$,偽陽性率 $=1-\Phi(1.448)=0.0738$,FN $=29.0$,FP $=361.6$ で,期待費用は $20\times29.0+361.6=942.6$.$t=1.0$,$2.0$ のどちらよりも小さく,$t$ を細かく変えて費用を数値で最小化しても同じ $t\approx1.448$ が得られる.

演習9.7 許容因子の範囲を判別関数で表す

解答

(1) $a(t)=-200t^{2}+376.8t-174.735$.2 次方程式 $a(t)=0$ の解は,解の公式より

$$ \begin{aligned} t&=\frac{376.8\pm\sqrt{376.8^{2}-4\times200\times174.735}}{2\times200}\\ &=\frac{376.8\pm\sqrt{141978.24-139788}}{400}\\ &=\frac{376.8\pm46.8}{400}, \end{aligned} $$

$t_1=0.825$,$t_2=1.059$.$t^{2}$ の係数が負なので,$a(t)\gt0$($\hat{y}\gt0.5$)となるのは $0.825\lt t\lt1.059$ である.$a(t)=-200(t-0.825)(t-1.059)$ と書ける.

(2) $t=0.94$:$a=-200\times0.115\times(-0.119)=2.737$,$\hat{y}=\sigma(2.737)=0.939$.$t=0.80$:$a=-200\times(-0.025)\times(-0.259)=-1.295$,$\hat{y}=0.215$.$t=1.10$:$a=-200\times0.275\times0.041=-2.255$,$\hat{y}=0.095$.

(3) $a=wt+b$ は $t$ の 1 次関数なので,$w\ne0$ なら符号が変わるのは $t=-b/w$ の 1 点だけで,$a\gt0$ の領域は「$t\gt-b/w$」か「$t\lt-b/w$」の片側の半直線になる.$w=0$ なら全域で同じ符号である.どちらの場合も,有界な区間 $(t_1,t_2)$ だけで $a\gt0$ とすることはできない.特徴 $(t,t^{2})$ の平面では,$a=w_1t+w_2t^{2}+b=0$ は直線であり,データの点 $(t,t^{2})$ は放物線の上に並ぶ.その直線が放物線を 2 点で切るので,$t$ の軸では区間の判定になる.

(4) $\tau\lt4.18$ をクラス 1(ペロブスカイト)とするので,$f(\tau)=4.18-\tau\gt0$ と書ける.$w=-1$,$b=4.18$(これを正の数倍したものでも同じ境界).論文が $\tau$ から確率を出すのに使った Platt のスケーリングは,$1/\{1+\exp(A\tau+B)\}$(9.8 節の形)の $A\gt0$,$B$ を当てはめることに当たり,境界は $\tau=-B/A$ である.

演習9.8 生成的と識別的のどちらを使うか

解答

(1) 共分散を共通にした生成的分類:平均 $2\times20=40$ 個,共分散 $20\times21/2=210$ 個,事前確率 1 個で計 251 個.共分散をクラスごとに別にすると $40+2\times210+1=461$ 個.ロジスティック回帰:$\bm{w}$ が 20 個,$b$ が 1 個で計 21 個.生成的なモデルは,分類に直接は使わない「入力の分布の形」まで推定するので,パラメーターがはるかに多い.データが少ないと共分散行列の推定が不安定になる($N_k\lt D$ なら標本共分散行列は特異で逆行列が無い).

(2) 生成的なモデルのほうが扱いやすい.$p(\bm{x}\mid C_k)$ が多変量 Gauss 分布なら,欠測した成分を積分で消した周辺分布も Gauss 分布で,観測された成分の平均と共分散の部分行列を取り出すだけで得られる(第3章 3.6 節).したがって,観測された記述子だけで事後確率 $p(C_k\mid\bm{x}_{\text{観測}})$ を計算できる.ロジスティック回帰は全成分がそろった $\bm{x}$ を前提にしているので,欠測を補完する(それ自体に仮定が要る)か,その試料を捨てる必要がある.

(3) 0 か 1 しかとらない変数を Gauss 分布で表すのは,分布の形として誤った仮定である(とらない値にも密度を置き,二つの値の間の関係を連続量として扱う).その誤りは $\bm{\Sigma}$ と $\bm{\mu}_k$ を通して $\bm{w}$ に入り込む.ロジスティック回帰は入力の分布を何も仮定せず,「対数オッズが特徴の 1 次式」という仮定だけを置くので,2 値の記述子をそのまま特徴に入れられる(その係数は「その元素を含むと対数オッズがいくら増えるか」と読める).仮定が少ないぶん,データが十分にあれば偏りの小さい境界が得られやすい.

第10章 カーネル法 — 類似度で学ぶ

演習10.1 非同次の多項式カーネルの特徴写像(計算)

解答

(1) $t\equiv\bm{x}^{\tp}\bm{x}'=x_1x_1'+x_2x_2'$ とおくと $(t+c)^{2}=t^{2}+2ct+c^{2}$.各項を展開する.

$$ \begin{aligned} t^{2}&=x_1^{2}x_1'^{2}+x_2^{2}x_2'^{2}\\ &\quad+(\sqrt2x_1x_2)(\sqrt2x_1'x_2')\\ 2ct&=(\sqrt{2c}\,x_1)(\sqrt{2c}\,x_1')\\ &\quad+(\sqrt{2c}\,x_2)(\sqrt{2c}\,x_2')\\ c^{2}&=c\cdot c \end{aligned} $$

よって $(\bm{x}^{\tp}\bm{x}'+c)^{2}=\bm{\phi}(\bm{x})^{\tp}\bm{\phi}(\bm{x}')$,

$$ \begin{aligned} \bm{\phi}(\bm{x})=\bigl(&c,\ \sqrt{2c}\,x_1,\ \sqrt{2c}\,x_2,\\ &x_1^{2},\ x_2^{2},\ \sqrt2x_1x_2\bigr)^{\tp} \end{aligned} $$

(2) 内積への寄与は,定数の項が $c^{2}$,1 次の項が $2c\,t$,2 次の項が $t^{2}$ である.$c$ を大きくすると,2 次の項に比べて 1 次の項(比 $2c$)と定数の項(比 $c^{2}$)の比重が増す.$c\to0$ で同次の $(\bm{x}^{\tp}\bm{x}')^{2}$ に戻る.

(3) $t=1\times3+2\times(-1)=1$,$c=2$ なので $(1+2)^{2}=9$.特徴ベクトルは $\sqrt{2c}=2$ を使って

$$ \begin{aligned} \bm{\phi}(\bm{x})&=(2,\ 2,\ 4,\ 1,\ 4,\ 2\sqrt2)^{\tp}\\ \bm{\phi}(\bm{x}')&=(2,\ 6,\ -2,\ 9,\ 1,\ -3\sqrt2)^{\tp} \end{aligned} $$

内積は $4+12-8+9+4-12=9$ で一致する.

(4) $\binom{D+d}{d}$ より,$D=5$,$d=3$ で $\binom{8}{3}=56$,$D=20$,$d=3$ で $\binom{23}{3}=1771$.カーネルの計算は内積(掛け算 $D$ 回)と 3 乗だけで済む.

演習10.2 主問題と双対問題を結ぶ恒等式(導出)

解答

(1) 任意の $\bm{v}\in\R^{M}$,$\bm{v}\ne\bm{0}$ について

$$ \begin{aligned} \bm{v}^{\tp}(\bm{\Phi}^{\tp}\bm{\Phi}+\lambda\bm{I}_M)\bm{v}&=\norm{\bm{\Phi}\bm{v}}^{2}+\lambda\norm{\bm{v}}^{2}\\ &\ge\lambda\norm{\bm{v}}^{2}\gt0 \end{aligned} $$

なので正定値,したがって固有値はすべて正で正則である.$\bm{u}\in\R^{N}$,$\bm{u}\ne\bm{0}$ についても同様に

$$ \bm{u}^{\tp}(\bm{\Phi}\bm{\Phi}^{\tp}+\lambda\bm{I}_N)\bm{u}=\norm{\bm{\Phi}^{\tp}\bm{u}}^{2}+\lambda\norm{\bm{u}}^{2}\gt0 $$

(2) 行列の積を展開すると

$$ \begin{aligned} \bm{\Phi}^{\tp}(\bm{\Phi}\bm{\Phi}^{\tp}+\lambda\bm{I}_N)&=\bm{\Phi}^{\tp}\bm{\Phi}\bm{\Phi}^{\tp}+\lambda\bm{\Phi}^{\tp}\\ &=(\bm{\Phi}^{\tp}\bm{\Phi}+\lambda\bm{I}_M)\bm{\Phi}^{\tp} \end{aligned} $$

両辺に左から $(\bm{\Phi}^{\tp}\bm{\Phi}+\lambda\bm{I}_M)^{-1}$,右から $(\bm{\Phi}\bm{\Phi}^{\tp}+\lambda\bm{I}_N)^{-1}$ を掛ける((1) よりどちらも存在する)と,

$$ (\bm{\Phi}^{\tp}\bm{\Phi}+\lambda\bm{I}_M)^{-1}\bm{\Phi}^{\tp}=\bm{\Phi}^{\tp}(\bm{\Phi}\bm{\Phi}^{\tp}+\lambda\bm{I}_N)^{-1} $$

が得られる.右から $\bm{y}$ を掛ければ,主問題の解 $\bm{w}$ と,双対問題の解から作った $\bm{\Phi}^{\tp}\bm{a}$ が一致することになる.

(3) 掛け算と足し算を合わせた演算の回数で比べる.主問題は $M\times M=10^{4}\times10^{4}$ の分解で約 $M^{3}/3=3.3\times10^{11}$ 回,双対問題は $50\times50$ の分解で約 $50^{3}/3=4.2\times10^{4}$ 回(掛け算だけならどちらもこの半分).行列を作る手間も,$\bm{\Phi}^{\tp}\bm{\Phi}$ が $NM^{2}=5\times10^{9}$ 回,$\bm{K}=\bm{\Phi}\bm{\Phi}^{\tp}$ が $N^{2}M=2.5\times10^{7}$ 回で,どちらも双対問題がはるかに軽い.

演習10.3 カーネルの組み立て(導出)

解答

(1) 同じ点の組での Gram 行列を $\bm{K}_1$,$\bm{K}_2$ とする.積のカーネルの Gram 行列は成分ごとの積 $\bm{K}_1\odot\bm{K}_2$($(\bm{K}_1\odot\bm{K}_2)_{nm}=(K_1)_{nm}(K_2)_{nm}$)である.$\bm{K}_2$ は対称で半正定値なので $\bm{K}_2=\sum_i\mu_i\bm{u}_i\bm{u}_i^{\tp}$,$\mu_i\ge0$ と書ける(付録A の A.3).成分で書くと $(K_2)_{nm}=\sum_i\mu_iu_{in}u_{im}$.よって

$$ \begin{aligned} &\bm{c}^{\tp}(\bm{K}_1\odot\bm{K}_2)\bm{c}\\ &=\sum_{n,m}c_nc_m(K_1)_{nm}\sum_i\mu_iu_{in}u_{im}\\ &=\sum_i\mu_i\sum_{n,m}(c_nu_{in})(K_1)_{nm}(c_mu_{im})\\ &=\sum_i\mu_i\,\bm{b}_i^{\tp}\bm{K}_1\bm{b}_i\ \ge\ 0 \end{aligned} $$

ここで $\bm{b}_i=\bm{c}\odot\bm{u}_i$(成分 $c_nu_{in}$).$\mu_i\ge0$ と $\bm{b}_i^{\tp}\bm{K}_1\bm{b}_i\ge0$ から各項は 0 以上である.対称性も保たれる($(K_1)_{nm}(K_2)_{nm}=(K_1)_{mn}(K_2)_{mn}$).

(2) $\bm{x}^{\tp}\bm{x}'/\ell^{2}$ は特徴 $\bm{x}/\ell$ の内積なので正定値カーネルである.$\exp(t)=\sum_{j\ge0}t^{j}/j!$ の係数はすべて正なので,本文の定理10.2 の (6) により $\exp(\bm{x}^{\tp}\bm{x}'/\ell^{2})$ も正定値カーネルである.

(3) $\norm{\bm{x}-\bm{x}'}^{2}=\norm{\bm{x}}^{2}-2\bm{x}^{\tp}\bm{x}'+\norm{\bm{x}'}^{2}$ より

$$ \begin{aligned} &\sigma_f^{2}\exp\!\left(-\frac{\norm{\bm{x}-\bm{x}'}^{2}}{2\ell^{2}}\right)\\ &=\sigma_f^{2}\,g(\bm{x})\exp\!\left(\frac{\bm{x}^{\tp}\bm{x}'}{\ell^{2}}\right)g(\bm{x}') \end{aligned} $$

ただし $g(\bm{x})=e^{-\norm{\bm{x}}^{2}/(2\ell^{2})}$.(2) のカーネルに定理10.2 の (4)(関数による重み)と (2)(正の定数倍 $\sigma_f^{2}$)を使えば,RBF カーネルは正定値である.

(4) $e^{-1}=0.36788$,$e^{-3}=0.04979$,$e^{-2}=0.13534$ より

$$ \bm{K}=\begin{pmatrix}1&0.36788&0.04979\\0.36788&1&0.13534\\0.04979&0.13534&1\end{pmatrix} $$

固有値は $0.6218$,$0.9680$,$1.4101$ で,すべて正である(和は $\tr\bm{K}=3$ に一致).Laplace カーネルも正定値カーネルである(Matérn 族の $\nu=1/2$ の場合).

演習10.4 3 点のカーネル Ridge 回帰(計算)

解答

(1) $c_1=e^{-1/2}=0.60653$(距離 1),$c_2=e^{-2}=0.13534$(距離 2)とおくと

$$ \bm{K}+0.5\bm{I}=\begin{pmatrix}1.5&c_1&c_2\\c_1&1.5&c_1\\c_2&c_1&1.5\end{pmatrix} $$

データは $x\to-x$ について対称($y(-1)=y(1)$)で,この行列も 1 番目と 3 番目を入れ替えても変わらない.解は一意なので,入れ替えた解も同じ解であり,$a_1=a_3$ である.$\bm{a}=(p,q,p)^{\tp}$ を代入すると,1 行目と 3 行目は同じ式になり,

$$ \begin{aligned} (1.5+c_2)\,p+c_1q&=1\\ 2c_1\,p+1.5\,q&=0 \end{aligned} $$

2 本目から $q=-\dfrac{2c_1}{1.5}p=-0.80871\,p$.1 本目に代入して

$$ \begin{aligned} &(1.63534-0.60653\times0.80871)\,p\\ &=1.14483\,p=1 \end{aligned} $$

よって $p=0.87349$,$q=-0.70640$.

(2) 予測は $f(x)=p\,k(-1,x)+q\,k(0,x)+p\,k(1,x)$.

$$ \begin{aligned} f(0)&=2c_1p+q\\ &=1.05961-0.70640=0.3532\\ f(1)&=c_2p+c_1q+p\\ &=0.11822-0.42845+0.87349\\ &=0.5633\\ f(3)&=e^{-8}p+e^{-4.5}q+e^{-2}p\\ &=0.00029-0.00785+0.11822\\ &=0.1107 \end{aligned} $$

$f(-1)$ は対称性から $f(1)$ と同じである.

(3) $\lambda=0.5$ は Gram 行列の対角成分 1 に比べて大きく,細かい成分を強く縮めるので,訓練点の予測は観測値(0 と 1)から平均の方へ引き寄せられる($0.353$ と $0.563$).$x=3$ は最も近い点 $x=1$ からも $2\ell$ 離れていて,カーネルの値が小さいので予測は 0 に近づく.平均を引かずに解いたので,戻る先は 0 である.

演習10.5 混晶のバンドギャップをカーネル Ridge 回帰で補間する(材料の題材)

解答

(1) $E_g(0)=1.20$,$E_g(0.5)=0.60+1.20$ $-0.80\times0.25=1.60$,$E_g(1)=2.40$ eV.平均は $\bar{y}=(1.20+1.60+2.40)/3=1.7333$ eV.平均を引いた目標値は $(-0.5333,\ -0.1333,\ 0.6667)$ eV.

(2) 点の間隔 0.5 は $\ell$ に等しいので,$\bm{K}$ の成分は $e^{-1/2}=0.60653$(隣どうし)と $e^{-2}=0.13534$(両端)で,演習10.4 と同じ並びになる.$(\bm{K}+10^{-3}\bm{I})\bm{a}=\bm{y}-\bar{y}\bm{1}$ を解くと $\bm{a}=(-0.3257,\ -0.5785,\ 1.0605)$ eV.

$x=0.25$ では $\bm{k}_*=(e^{-0.125},\ e^{-0.125},\ e^{-1.125})^{\tp}$ $=(0.8825,\ 0.8825,\ 0.3247)^{\tp}$ なので

$$ \begin{aligned} f(0.25)&=1.7333\\ &\quad+0.8825\times(-0.9042)\\ &\quad+0.3247\times1.0605\\ &=1.7333-0.7980+0.3443\\ &=1.280\ \mathrm{eV} \end{aligned} $$

真の値は $E_g(0.25)=0.90+0.60$ $-0.80\times0.1875=1.350$ eV.$x=0.75$ でも同様に $f=2.053$ eV で,真の値は $E_g(0.75)=0.30+1.80-0.15$ $=1.950$ eV.

$\lambda$ が小さいので,訓練点ではほぼ観測値を通る($f(0)=1.2003$,$f(1)=2.3989$).

(3) 直線補間は $x=0.25$ で $1.40$ eV,$x=0.75$ で $2.00$ eV で,誤差はどちらも $0.05$ eV.カーネル Ridge 回帰の誤差は $-0.07$ eV と $+0.10$ eV で,この例では直線補間の方が近い.真の関数は下に凸な放物線(bowing)だが,RBF カーネル($\ell=0.5$)は「点の間では平均 1.733 eV の方へ戻る山の重ね合わせ」という仮定を置くので,3 点だけでは放物線の形を再現できない.第8章のように $x(1-x)$ の基底を入れた線形回帰なら,3 点で真の関数を正確に決められる.物理的に妥当な関数形がわかっているときは,それを平均関数や基底として使い,カーネルにはそこからのずれだけを担わせる方がよい.

(4) $x=1.3$ の予測は $2.447$ eV で,端の点から離れるにつれて平均 1.733 eV の方へ戻っていく途中の値である.そもそも組成 $x$ は 0〜1 の量なので $x=1.3$ は物理的な意味を持たず,式を延ばした $3.07$ eV もモデルの予測も「物質の値」ではない.定義域の外は予測しない,が正しい答えである.

演習10.6 原子の配置の類似度と不変性(材料の題材・考察)

解答

(1) 90° の回転 $(x,y)\mapsto(-y,x)$ で,原子 1 は $(0,0)$,原子 2 は $(0,1.0)$,原子 3 は $(-1.2,0)$ に移る.原子 2 と 3 の番号を入れ替えると,Q:原子 1 $(0,0)$,原子 2 $(-1.2,0)$,原子 3 $(0,1.0)$.

(2) 座標を並べたベクトルは P $=(0,0,\ 1.0,0,\ 0,1.2)$,Q $=(0,0,\ -1.2,0,\ 0,1.0)$.差の 2 乗の和は $(1.0+1.2)^{2}+(1.2-1.0)^{2}$ $=4.84+0.04=4.88$ Å$^{2}$.類似度は $\exp\bigl(-4.88/(2\times0.25)\bigr)$ $=e^{-9.76}=5.8\times10^{-5}$ で,物理的に同じ配置なのに「まったく似ていない」と判定される.

(3) P の原子間距離は $\abs{12}=1.0$,$\abs{13}=1.2$,$\abs{23}=\sqrt{1.0^{2}+1.2^{2}}=1.562$ Å.Q も回転で距離は変わらず,番号の入れ替えで並び順が変わるだけなので,小さい順に並べると同じ $(1.0,\ 1.2,\ 1.562)$.類似度は $e^{0}=1$ である.

(4) P′ の距離は $(1.0,\ 1.3,\ \sqrt{1+1.69}=1.640)$.P との差の 2 乗の和は $0+0.01+0.0061=0.0161$ Å$^{2}$,類似度は $\exp(-0.0161/0.5)=0.968$.少し動かすと類似度も少しだけ下がる.

(5) 弱点の例:① 原子が増えると距離の組だけでは配置が一つに決まらない(異なる配置が同じ距離の集合を持つことがある)ので,違う構造を「同じ」と判定しうる.② 2 つの距離の大小が入れ替わる所で,並べ替えの結果の成分が折れ曲がるように変わり,類似度の微分(力に相当する量)が不連続になる.③ 近くの原子の数が変わると記述子の長さが変わり,そのままでは比べられない.SOAP は,原子密度の重なりを回転について積分する方法で,これらを避けつつ不変性と滑らかさを保つ(本文 10.10 節).

演習10.7 Nadaraya–Watson の極限と Attention(計算・考察)

解答

(1) $x_*=1.5$ から 3 点までの距離は 1.5,0.5,0.5.$\ell\to0$ では窓の値の比 $e^{-(d_n^{2}-d_m^{2})/(2\ell^{2})}$ が,最短距離の点以外で 0 に近づく.最短距離の点は $x=1$ と $x=2$ の 2 つで同じ距離なので,重みは $(0,\ \tfrac12,\ \tfrac12)$,予測は $(3+2)/2=2.5$.$\ell\to\infty$ では窓の値がすべて 1 に近づき,重みは $(\tfrac13,\tfrac13,\tfrac13)$,予測は平均 $(1+3+2)/3=2.0$.

(2) $\ell=1$,$x_*=4$ で指数の値は $-(4-0)^{2}/2=-8$,$-(4-1)^{2}/2=-4.5$,$-(4-2)^{2}/2=-2$.桁あふれを避けるため最大値 $-2$ を引いてから指数をとると $(e^{-6},\ e^{-2.5},\ 1)=(0.00248,\ 0.08208,\ 1)$,和は $1.08456$.重みは $(0.0023,\ 0.0757,\ 0.9220)$ で,予測は $0.0023\times1+0.0757\times3$ $+0.9220\times2=2.073$.データの外では最も近い点($x=2$,値 2)の値に近づく.

(3) $s_n=x_*x_n-x_n^{2}/2$($\ell=1$)は $(0,\ 3.5,\ 6)$.

$$ \begin{aligned} -\frac{(x_*-x_n)^{2}}{2}&=-\frac{x_*^{2}}{2}+x_*x_n-\frac{x_n^{2}}{2}\\ &=-8+s_n \end{aligned} $$

で,すべての $n$ に共通の定数 $-8$ だけ違う.softmax は全スコアに同じ定数を足しても変わらないので,重みは一致する.実際,$s_n$ から最大値 6 を引くと $(-6,\ -2.5,\ 0)$ で,(2) と同じ数が並ぶ.

(4) スコアの尺度 $1/\ell^{2}$ が Attention の $1/\sqrt{d_k}$ に当たる.尺度を大きくすることは $\ell$ を小さくすることに当たり,重みが最もスコアの高い Key に集中する($\ell\to0$ の極限は最も近い点だけを選ぶ).尺度を小さくすると重みは均等に近づき,Value の単純な平均に近づく.

演習10.8 結晶方位に対する周期的なカーネル(材料の題材・導出)

解答

(1) $\Delta=\theta-\theta'$,$\omega=2\pi/p$ とおく.$\bm{u}$ は単位円上の点なので $\norm{\bm{u}}=\norm{\bm{u}'}=1$ で,

$$ \begin{aligned} &\norm{\bm{u}-\bm{u}'}^{2}\\ &=2-2\bigl(\cos\omega\theta\cos\omega\theta'+\sin\omega\theta\sin\omega\theta'\bigr)\\ &=2-2\cos(\omega\Delta)=4\sin^{2}(\omega\Delta/2) \end{aligned} $$

(最後は半角の公式 $1-\cos t=2\sin^{2}(t/2)$).$\omega\Delta/2=\pi\Delta/p$ なので,$\bm{u}$ の空間の RBF カーネルは

$$ \begin{aligned} \exp\!\left(-\frac{\norm{\bm{u}-\bm{u}'}^{2}}{2\ell^{2}}\right)&\\ =\exp\!\left(-\frac{2\sin^{2}(\pi\Delta/p)}{\ell^{2}}\right)& \end{aligned} $$

である.RBF カーネルは正定値で,入力を写像 $\bm{u}(\theta)$ で変換しても正定値性は保たれる(本文の定理10.2 の (5))ので,このカーネルは正定値である.

(2) $\ell=1$,$p=90°$ で

(3) $\theta$ にそのまま RBF カーネル($\ell=20°$)を使うと,$k=\exp(-\Delta^{2}/800)$ で,$\Delta=15°$ は $0.755$,$45°$ は $0.080$,$90°$ は $4.0\times10^{-5}$.対称性から同じ値を持つはずの 0° と 90° の方向を「無関係」とみなしてしまう.周期的なカーネルは 0° と 90° を同じ点として扱うので,たとえば 0〜45° の測定から 45〜90° の値も予測でき,少ないデータを対称性で補える.逆に,試料の向きの誤差や結晶の対称性が実際より低い場合(双晶,応力による歪みなど)は,仮定した周期が成り立たず予測が誤る.カーネルに対称性を入れることは,対称性についての仮定を置くことでもある.

第11章 サポートベクトルマシン — マージンを最大にする

演習11.1 与えられた直線が最大マージンかを確かめる

解答

(1) 直線 $x_1+x_2-2=0$ は $\bm{w}=(1,1)^{\tp}$,$b=-2$,$\norm{\bm{w}}=\sqrt2$.各点で $y_nf(\bm{x}_n)$ は

$$ \begin{aligned} \bm{x}_1&:\ (+1)(2+2-2)=2,\\ \bm{x}_2&:\ (+1)(4+3-2)=5,\\ \bm{x}_3&:\ (-1)(0+0-2)=2,\\ \bm{x}_4&:\ (-1)(1-2-2)=3 . \end{aligned} $$

符号付き距離 $r_n=y_nf/\norm{\bm{w}}$ は $2/\sqrt2=1.414$,$5/\sqrt2=3.536$,$1.414$,$3/\sqrt2=2.121$ で,すべて正(全点が正しい側).マージンは最小の $\sqrt2\approx1.414$.$\min_ny_nf=2$ なので,$(\bm{w},b)$ を $1/2$ 倍すると正準形 $\bm{w}=(0.5,\ 0.5)^{\tp}$,$b=-1$ になる(境界は同じ直線).このとき $y_nf=1,\ 2.5,\ 1,\ 1.5$.

(2) マージンの上($y_nf=1$)にあるのは $\bm{x}_1$ と $\bm{x}_3$ なので $\mathcal{S}=\{1,3\}$,$\alpha_2=\alpha_4=0$ と仮定する.停留条件 $\bm{w}=\sum_n\alpha_ny_n\bm{x}_n$ は

$$ \begin{aligned} (0.5,\ 0.5)^{\tp}&=\alpha_1(+1)(2,2)^{\tp}+\alpha_3(-1)(0,0)^{\tp}\\ &=(2\alpha_1,\ 2\alpha_1)^{\tp} \end{aligned} $$

なので $\alpha_1=\tfrac14$.$\sum_n\alpha_ny_n=\alpha_1-\alpha_3=0$ より $\alpha_3=\tfrac14$.KKT 条件を確かめる.停留条件:上で満たした.主問題の実行可能性:$y_nf=1,\ 2.5,\ 1,\ 1.5\ge1$.双対の実行可能性:$\bm{\alpha}=(\tfrac14,\ 0,\ \tfrac14,\ 0)\ge\bm{0}$.相補性:$\alpha_2=\alpha_4=0$,$\bm{x}_1,\bm{x}_3$ では $y_nf-1=0$.主問題は凸なので,KKT 条件を満たすこの点が最適解である.すなわち与えられた直線がマージン最大の直線である(幾何学的には $\bm{x}_1$ と $\bm{x}_3$ を結ぶ線分の垂直二等分線).

(3) 幅は $2/\norm{\bm{w}}=2/\sqrt{0.5}=2\sqrt2\approx2.83$($\bm{x}_1$ と $\bm{x}_3$ の距離 $\sqrt{8}$ に等しい).双対の値 $D=\sum_n\alpha_n-\tfrac12\norm{\bm{w}}^{2}=\tfrac12-\tfrac14=\tfrac14$ は主問題の値 $\tfrac12\norm{\bm{w}}^{2}=\tfrac14$ に等しい.

演習11.2 クラスごとに罰を変える

解答

(1) 点 $n$ の罰を $C_n\equiv C_{y_n}$($y_n=+1$ なら $C_{+}$,$-1$ なら $C_{-}$)と書くと,目的関数は $\tfrac12\norm{\bm{w}}^{2}+\sum_nC_n\xi_n$.制約 $1-\xi_n-y_nf(\bm{x}_n)\le0$ に $\alpha_n\ge0$,$-\xi_n\le0$ に $\mu_n\ge0$ を用意すると

$$ \begin{aligned} \Lambda={}&\frac12\norm{\bm{w}}^{2}+\sum_nC_n\xi_n-\sum_n\mu_n\xi_n\\ &-\sum_n\alpha_n\bigl\{y_n(\bm{w}^{\tp}\bm{\phi}_n+b)-1+\xi_n\bigr\}. \end{aligned} $$

$\bm{w}$ と $b$ の停留条件は第11章の式 (11.6),(11.7) と同じ:$\bm{w}=\sum_n\alpha_ny_n\bm{\phi}_n$,$\sum_n\alpha_ny_n=0$.$\xi_n$ の停留条件は $\partial\Lambda/\partial\xi_n=C_n-\alpha_n-\mu_n=0$,すなわち $\mu_n=C_n-\alpha_n$.$\xi_n$ を含む項は $\sum_n(C_n-\alpha_n-\mu_n)\xi_n=0$ で消え,残りはハードマージンと同じ計算で

$$ D(\bm{\alpha})=\sum_n\alpha_n-\frac12\sum_{n,m}\alpha_n\alpha_my_ny_mk(\bm{x}_n,\bm{x}_m) $$

になる.$\mu_n\ge0$ から $\alpha_n\le C_n$.よって制約は $0\le\alpha_n\le C_{y_n}$,$\sum_n\alpha_ny_n=0$ である.

(2) $C_{+}\gt C_{-}$ にする.$y=+1$(不良品)の点のはみ出しに大きな罰を与えると,境界は不良品をマージンの内側や反対側に置きにくくなり,見逃し(不良品を良品と判定すること)が減る.その代わり良品を不良品と判定する誤報は増えうる.2 % しかないクラスは,同じ $C$ では全体の罰の和にほとんど寄与しないので,多数派に合わせた境界になりやすい.よく使われる目安は,罰の比をクラスの点数の逆比($C_{+}/C_{-}\approx98/2$)にすることだが,最終的には見逃しと誤報の費用と,検証データでの再現率・適合率を見て決める(第9章 9.7 節).

演習11.3 1 次元の SVM と点の追加

解答

(1) 異なるクラスで最も近いのは $x=-2$($-1$)と $x=0$($+1$)で,境界はその中点 $x=-1$.$f(x)=w(x+1)$ とおき,正準形の条件 $f(0)=1$ から $w=1$,$b=1$.他の点は $y_nf=-(-3+1)=2$,$2+1=3$ で 1 以上.$\mathcal{S}=\{-2,0\}$ として停留条件 $w=\sum_n\alpha_ny_nx_n$ は

$$ 1=\alpha_{-2}(-1)(-2)+\alpha_{0}(+1)(0)=2\alpha_{-2} $$

より $\alpha_{-2}=\tfrac12$.$\sum_n\alpha_ny_n=-\alpha_{-2}+\alpha_0=0$ より $\alpha_0=\tfrac12$.$\bm{\alpha}=(0,\ \tfrac12,\ \tfrac12,\ 0)$(点の順 $-3,-2,0,2$).$x=0$ の点は $x_n=0$ なので $\alpha_ny_nx_n=0$ で $w$ には寄与しないが,等式制約 $\sum_n\alpha_ny_n=0$($b$ についての停留条件)を満たすために $\alpha_0=\alpha_{-2}$ が必要になる.$b$ を決めているのはこの点である.幅は $2/w=2$.

(2) 新しい点 $x=-1.2$($y=-1$)では $y f=-(-1.2+1)=0.2\lt1$ で制約に反するので,解は変わる.新たに最も近い組は $x=-1.2$ と $x=0$ で,境界は中点 $x=-0.6$,幅は $1.2$.$f(x)=w(x+0.6)$ に $f(0)=1$ を課すと $w=1/0.6=5/3$,$b=5/3\times0.6=1$.確認:$f(-1.2)=\tfrac53(-0.6)=-1$,$f(-2)=\tfrac53(-1.4)=-2.33$,$f(-3)=-4$,$f(2)=\tfrac53(2.6)=4.33$ で,全点 $y_nf\ge1$.停留条件 $\tfrac53=\alpha_{-1.2}(-1)(-1.2)+\alpha_0\cdot0=1.2\,\alpha_{-1.2}$ より $\alpha_{-1.2}=\tfrac{25}{18}\approx1.389$,$\alpha_0=\tfrac{25}{18}$,他は 0.元のサポートベクトルだった $x=-2$ は $\alpha=0$ になった.

演習11.4 RBF カーネルの 2 点の SVM と γ

解答

(1) $k_{11}=k_{22}=1$,$k_{12}=q=e^{-\gamma d^{2}}$.$\sum_n\alpha_ny_n=0$ より $\alpha_1=\alpha_2=\alpha$.

$$ \begin{aligned} D(\alpha)&=2\alpha-\frac12\alpha^{2}(1+1-2q)\\ &=2\alpha-\alpha^{2}(1-q). \end{aligned} $$

$\mathrm{d}D/\mathrm{d}\alpha=2-2\alpha(1-q)=0$ より $\alpha=1/(1-q)$.$b=y_2-\alpha y_1k_{12}-\alpha y_2k_{22}$ $=1+\alpha q-\alpha$ $=1-\alpha(1-q)=0$.$\norm{\bm{w}}^{2}=\alpha^{2}(2-2q)=2\alpha$ なので,幅は $2/\norm{\bm{w}}=\sqrt{2/\alpha}=\sqrt{2(1-q)}$.

(2) $d=1$:$\gamma=0.05$ では $q=e^{-0.05}=0.9512$,$\alpha=1/0.04877=20.50$,幅 $\sqrt{2\times0.04877}=0.312$.$\gamma=1$ では $q=0.3679$,$\alpha=1.582$,幅 $1.124$.$\gamma=20$ では $q=e^{-20}=2.06\times10^{-9}$,$\alpha=1.000$,幅 $\sqrt2=1.414$.

(3) $\gamma\to\infty$ では $q\to0$ で,2 点の特徴ベクトルは直交し(似ていない),$\alpha\to1$,幅 $\to\sqrt2$.スコアは各点のごく近くでだけ $\pm1$ になり,2 点から少し離れると 0 に戻る(各点を細い山で囲む極限).$\gamma\to0$ では $q\to1$ で 2 点の特徴ベクトルがほぼ同じになり,幅 $\sqrt{2(1-q)}\approx d\sqrt{2\gamma}\to0$,$\alpha\approx1/(\gamma d^{2})\to\infty$.特徴空間で区別のつかない 2 点を無理に分けるため,$\alpha$ が発散する.ソフトマージンでは $\alpha\le C$ で頭打ちになり,2 点とも $\alpha=C$ でマージンの内側に入る.

演習11.5 ガラス化の境界を元の単位で読む

解答

(1) $\delta=8$ で $f=0$:$1.087\,u_1=5.718-0.2691\times8$ $=5.718-2.153=3.565$,$u_1=3.565/1.087=3.280$.$R=10^{3.280}\approx1.9\times10^{3}\ \mathrm{K\,s^{-1}}$.これより速く冷やせば,このモデルは「ガラス化する」と判定する.

(2) $f=\pm1$ は $u_1$ で $\pm1/1.087=\pm0.920$ ずれた位置なので,マージンの帯は $\log_{10}R$ で約 $2\times0.92=1.84$ 桁($\delta=8\ \%$ では $R\approx2.3\times10^{2}$〜$1.6\times10^{4}\ \mathrm{K\,s^{-1}}$).この範囲の冷却速度では判定が不確かである.

(3) 境界上で $1.087\,\Delta u_1+0.2691\,\Delta u_2=0$.$\Delta u_2=1$ なら $\Delta u_1=-0.2691/1.087=-0.248$.原子半径の差が 1 % 大きいと,境界の冷却速度は約 0.25 桁(約 1.8 分の 1)下がる.データを作った規則 $(u_1-3.5)+0.30(u_2-9.0)=0$ では 0.30 桁なので,30 点からの推定としては近いが同じではない.

(4) 使ってはいけない.このデータは教育用の合成データで,実在の合金の測定値ではない.係数は「ガラス化のしやすさが 2 つの記述子の一次式で決まる」という仮定で作った規則とノイズを反映しているだけである.実在の系では,混合熱・成分の数・液相線温度など他の因子が効き,境界は直線とは限らない.さらに,データの範囲($\log_{10}R\in[1,6]$,$\delta\in[2,16]\ \%$)の外への外挿には保証がない.考え方(境界の近くで試料を作る,係数を元の単位で読む)だけを持ち帰る.

演習11.6 許容因子による相の分類

解答

(1) 異なるクラスで最も近いのは $t=0.78$($-1$)と $t=0.86$($+1$).しきい値はその中点 $t=0.82$.$f(t)=w(t-0.82)$ に正準形の条件 $f(0.86)=1$ を課すと $w=1/0.04=25$,$b=-25\times0.82=-20.5$.幅は $2/w=0.08$(2 点の距離).他の点の $y_nf$ は $t=0.72$ で $-25(0.72-0.82)=2.5$,$0.91$ で $2.25$,$0.95$ で $3.25$,$0.99$ で $4.25$ と,すべて 1 以上.停留条件 $w=\alpha_{0.78}(-1)(0.78)+\alpha_{0.86}(+1)(0.86)$ と $\alpha_{0.78}=\alpha_{0.86}\equiv\alpha$(等式制約)から $25=\alpha(0.86-0.78)=0.08\alpha$,$\alpha=312.5$.他の点は $\alpha=0$.$\alpha$ が大きいのは,$t$ の幅が狭く $\norm{\bm{w}}$ が大きいためで,入力を標準化すれば $\alpha$ は 1 程度の値になる.

(2) $t=1.06$ の「ならなかった」試料を加えると,$+1$ の試料($0.86\le t\le0.99$)が $-1$ の試料に両側から挟まれる.1 次元の線形の判別関数 $f=wt+b$ は単調なので,$f\gt0$ の領域は半直線 $t\gt-b/w$(または $t\lt-b/w$)で,両側の $-1$ を同時に負にできない.したがって線形の境界では分けられない.「ちょうどよい範囲の内側だけが $+1$」なので,特徴に $t^{2}$ を加えた $\bm{\phi}(t)=(t,\ t^{2})$($f=w_2t^{2}+w_1t+b$ は $w_2\lt0$ で上に凸の放物線になり,2 つのしきい値の間で正になる),すなわち 2 次の多項式カーネル $(tt'+1)^{2}$,または RBF カーネルを使えばよい.実際の相の安定性は許容因子だけでは決まらないので,記述子を増やすことも検討する.

演習11.7 どの試料を追加すると境界が動くか

解答

元の解は $\bm{w}=(1,1)^{\tp}$,$b=-1$,$\bm{\alpha}=(1,\tfrac12,\tfrac12)$.

(1) $(3,3)$($y=+1$)では $yf=3+3-1=5\ge1$.新しい点に $\alpha=0$ を割り当てれば,停留条件の和は変わらず,新しい点の制約も満たされ,相補性も $\alpha\cdot(5-1)=0$ で成り立つ.KKT 条件をすべて満たすので解は変わらない.

(2) $(0.4,0.4)$($y=+1$)では $yf=0.8-1=-0.2\lt1$(誤分類)で制約に反するので,解は変わる.異なるクラスで最も近いのは $(0,0)$ と $(0.4,0.4)$(距離 $0.4\sqrt2=0.566$)なので,境界はその垂直二等分線 $x_1+x_2=0.4$ と予想できる.$\bm{w}=c(1,1)^{\tp}$ とし,$f(0,0)=b=-1$,$f(0.4,0.4)=0.8c-1=1$ より $c=2.5$.$\bm{w}=(2.5,\ 2.5)^{\tp}$,$b=-1$.他の点は $f(2,0)=f(0,2)=5-1=4\ge1$.停留条件 $\bm{w}=\alpha_4(0.4,0.4)^{\tp}$ より $\alpha_4=6.25$,等式制約から $\alpha_1=6.25$,$\alpha_2=\alpha_3=0$.幅は $2/\norm{\bm{w}}=2/(2.5\sqrt2)=0.566$ に縮む.元のサポートベクトル $(2,0)$,$(0,2)$ は境界の決定から外れた.

(3) マージンの外で正しく分類される条件($yf\ge1$ と予想される条件)に試料を足しても境界は動かず,情報が少ない.境界を動かしうるのは $yf\lt1$ になる試料,すなわちマージンの内側の条件である.実際のラベルは作ってみるまで分からないので,予想スコア $\abs{f}$ が 1 より小さい条件(例題11.9 の P)で次の試料を作るのが効率的である.ただし (2) のように 1 点で境界が大きく動くことがあるので,その点のラベルの誤りでないかを確かめ,必要ならソフトマージン(有限の $C$)で外れ値の影響を抑える.

演習11.8 Platt のスケーリング

解答

(1) $p=0.5$ は $\exp(Af+B)=1$,すなわち $Af+B=0$ のとき.$f=-B/A=-(-0.22)/(-2.18)=-0.101$.スコアの境界 $f=0$ と確率 0.5 の点は一致しない($f=0$ では $p=0.555$).

(2) $f=-0.5$:$Af+B=1.09-0.22=0.87$,$p=1/(1+e^{0.87})=1/(1+2.387)=0.295$.$f=2$:$Af+B=-4.36-0.22=-4.58$,$p=1/(1+e^{-4.58})$ $=1/(1+0.0103)=0.990$.

(3) $p(f)=1/\{1+\exp(Af+B)\}$ を微分すると

$$ \frac{\mathrm{d}p}{\mathrm{d}f}=\frac{-A\exp(Af+B)}{\{1+\exp(Af+B)\}^{2}} $$

で,$A\lt0$ なら常に正.$p$ は $f$ の狭義の増加関数なので,スコアの順位と確率の順位は同じである.それでも確率に変換する意味は,(i) しきい値を費用で決められる(見逃しの費用が誤報の 9 倍なら $p\gt0.1$ で「不良」と判定する,など),(ii) 他のモデルの確率や事前確率と組み合わせられる,(iii) 「80 % の確率で $+1$」のように意味のある数として報告できる,ことにある.

(4) 訓練点は SVM が「マージンの外へ押し出す」ように学習した点で,訓練点のスコアは新しいデータのスコアより系統的に大きく(自信過剰に)出る.特に $\alpha=0$ の点は $\abs{f}\ge1$ に集まる.訓練データのスコアで $A,B$ を決めると,$\abs{A}$ が大きくなり,確率が 0 や 1 に寄りすぎる(第11章の例では,訓練の 60 点で決めた $A=-3.08$,$B=0.80$ は,$f=-1$ の確率を 0.020 と,較正用データで決めた 0.123 よりはるかに小さく見積もった).較正には学習に使わなかったデータ(検証データ,または交差検証の各分割の外側の点のスコア)を使う.

第12章 ガウス過程回帰 — 関数に分布を置く

演習12.1 観測 1 点の予測を一般に書く

解答

(1) 観測が 1 点なので $\bm{K}_y=\sigma_f^{2}+\sigma^{2}$($1\times1$),$\bm{k}_*=k(x_1,x_*)=\sigma_f^{2}e^{-r^{2}/(2\ell^{2})}$,$k_{**}=\sigma_f^{2}$ である.第12章の公式12.1 の平均と分散の式に入れると

$$ \begin{aligned} \mu_*(x_*)&=m+\frac{\sigma_f^{2}e^{-r^{2}/(2\ell^{2})}}{\sigma_f^{2}+\sigma^{2}}\,(y_1-m),\\ \sigma_*^{2}(x_*)&=\sigma_f^{2}-\frac{\sigma_f^{4}e^{-r^{2}/\ell^{2}}}{\sigma_f^{2}+\sigma^{2}}. \end{aligned} $$

分散の式の指数が $-r^{2}/\ell^{2}$ になるのは,$k(x_1,x_*)^{2}$ で指数が 2 倍になるからである.

(2) $y_1-m=-3.40+4.47=1.07$,$\sigma_f^{2}+\sigma^{2}=0.64+0.0025=0.6425$,$\sigma_f^{2}/(\sigma_f^{2}+\sigma^{2})=0.99611$,$\sigma_f^{4}/(\sigma_f^{2}+\sigma^{2})=0.4096/0.6425=0.63751$ である.

(3) $\sigma\to0$ では,$x_*=x_1$ で $\mu_*=m+(y_1-m)=y_1$,$\sigma_*^{2}=\sigma_f^{2}-\sigma_f^{2}=0$ となり,予測平均は観測点をちょうど通る(補間).$\sigma\gt0$ なら観測点の上でも $\mu_*$ は $y_1$ から $m$ の側へ $\sigma^{2}/(\sigma_f^{2}+\sigma^{2})$ の割合だけ縮む.$r\to\infty$ では指数の因子が 0 になるので,$\mu_*\to m$,$\sigma_*^{2}\to\sigma_f^{2}$ と事前分布へ戻る.

演習12.2 線形カーネルとベイズ線形回帰

解答

(1) $f(x)=wx$ で $\Ex[w]=0$,$\Ex[w^{2}]=\sigma_w^{2}$ なので,$k(x,x')=\Cov[wx,wx']=xx'\,\Ex[w^{2}]=\sigma_w^{2}xx'$.

(2) Gram 行列は $\bm{K}=\sigma_w^{2}\bm{x}\bm{x}^{\tp}$,$\bm{K}_y=\sigma^{2}\bm{I}+\sigma_w^{2}\bm{x}\bm{x}^{\tp}$,$\bm{k}_*=\sigma_w^{2}x_*\bm{x}$ である.$S\equiv\bm{x}^{\tp}\bm{x}=\sum_nx_n^{2}$ とおく.Sherman–Morrison の公式で $\bm{A}=\sigma^{2}\bm{I}$,$\bm{u}=\sigma_w\bm{x}$ とすると $\bm{A}^{-1}=\bm{I}/\sigma^{2}$,$\bm{u}^{\tp}\bm{A}^{-1}\bm{u}=\sigma_w^{2}S/\sigma^{2}$ なので

$$ \bm{K}_y^{-1}=\frac{1}{\sigma^{2}}\bm{I}-\frac{\sigma_w^{2}/\sigma^{4}}{1+\sigma_w^{2}S/\sigma^{2}}\,\bm{x}\bm{x}^{\tp}. $$

これを $\mu_*=\bm{k}_*^{\tp}\bm{K}_y^{-1}\bm{y}$ に入れ,$\bm{x}^{\tp}\bm{x}=S$ を使うと

$$ \begin{aligned} \mu_*&=\sigma_w^{2}x_*\left[\frac{\bm{x}^{\tp}\bm{y}}{\sigma^{2}}-\frac{\sigma_w^{2}/\sigma^{4}}{1+\sigma_w^{2}S/\sigma^{2}}\,S\,\bm{x}^{\tp}\bm{y}\right]\\ &=\frac{\sigma_w^{2}x_*\,\bm{x}^{\tp}\bm{y}}{\sigma^{2}}\left[1-\frac{\sigma_w^{2}S/\sigma^{2}}{1+\sigma_w^{2}S/\sigma^{2}}\right]\\ &=\frac{\sigma_w^{2}x_*\,\bm{x}^{\tp}\bm{y}}{\sigma^{2}}\cdot\frac{1}{1+\sigma_w^{2}S/\sigma^{2}}\\ &=\frac{\sigma_w^{2}x_*\,\bm{x}^{\tp}\bm{y}}{\sigma^{2}+\sigma_w^{2}S}=x_*\,\frac{\sum_nx_ny_n}{\sum_nx_n^{2}+\sigma^{2}/\sigma_w^{2}}. \end{aligned} $$

最後は分子と分母を $\sigma_w^{2}$ で割った.

(3) 重み 1 個の Ridge 回帰 $L(w)=\tfrac12\sum_n(y_n-wx_n)^{2}+\tfrac{\lambda}{2}w^{2}$ を $w$ で微分して 0 とおくと,$-\sum_nx_n(y_n-wx_n)+\lambda w=0$,ゆえに $w=\dfrac{\sum_nx_ny_n}{\sum_nx_n^{2}+\lambda}$.$\lambda=\sigma^{2}/\sigma_w^{2}$ とすれば (2) の $\mu_*$ はこの $w$ に $x_*$ を掛けたものである.同じ計算で分散も $\sigma_*^{2}=x_*^{2}\,\sigma^{2}/(S+\sigma^{2}/\sigma_w^{2})$ となり,第8章のベイズ線形回帰の重みの事後分散 $(S/\sigma^{2}+1/\sigma_w^{2})^{-1}$ に $x_*^{2}$ を掛けたものと一致する.重み空間と関数空間の計算が同じ予測を与えることの,最も簡単な例である.

演習12.3 観測を足しても予測分散は増えない

解答

(1) 上界:$\bm{K}_y$ は正定値なので $\bm{K}_y^{-1}$ も正定値で(固有値が正の数の逆数になる),どんなベクトル $\bm{k}_*$ についても $\bm{k}_*^{\tp}\bm{K}_y^{-1}\bm{k}_*\ge0$.ゆえに $\sigma_*^{2}=k_{**}-\bm{k}_*^{\tp}\bm{K}_y^{-1}\bm{k}_*\le k_{**}$.

下界:確率変数 $e=f_*-\bm{k}_*^{\tp}\bm{K}_y^{-1}\bm{y}$ の分散を計算する.$\Var[f_*]=k_{**}$,$\Cov[\bm{y},f_*]=\bm{k}_*$,$\Cov[\bm{y}]=\bm{K}_y$ を使い,$\bm{b}=\bm{K}_y^{-1}\bm{k}_*$ とおくと

$$ \begin{aligned} \Var[e]&=\Var[f_*]-2\bm{b}^{\tp}\Cov[\bm{y},f_*]\\ &\quad+\bm{b}^{\tp}\Cov[\bm{y}]\bm{b}\\ &=k_{**}-2\bm{k}_*^{\tp}\bm{K}_y^{-1}\bm{k}_*\\ &\quad+\bm{k}_*^{\tp}\bm{K}_y^{-1}\bm{K}_y\bm{K}_y^{-1}\bm{k}_*\\ &=k_{**}-\bm{k}_*^{\tp}\bm{K}_y^{-1}\bm{k}_*=\sigma_*^{2}. \end{aligned} $$

分散は 0 以上なので $\sigma_*^{2}\ge0$.

(2) $N+1$ 点で条件付けることは,まず $N$ 点で条件付け,得られた事後分布を新しい事前分布として $y_{N+1}$ で条件付けるのと同じである(Bayes の定理の逐次更新.第4章 4.4 節).$N$ 点の後の事後分布で,$(f_*,f_{N+1})$ は Gauss 分布に従い,分散が $\sigma_{*,N}^{2}$ と $s^{2}$,共分散が $c$ である.$y_{N+1}=f_{N+1}+\varepsilon_{N+1}$ の $\varepsilon_{N+1}$ はそれまでのデータとも $f$ とも独立なので,$N$ 点の後の $(f_*,y_{N+1})$ の共分散行列は

$$ \begin{pmatrix}\sigma_{*,N}^{2}&c\\ c&s^{2}+\sigma^{2}\end{pmatrix} $$

である.第3章の条件付き分布の公式(スカラーの場合)を当てはめると

$$ \sigma_{*,N+1}^{2}=\sigma_{*,N}^{2}-\frac{c\cdot c}{s^{2}+\sigma^{2}}=\sigma_{*,N}^{2}-\frac{c^{2}}{s^{2}+\sigma^{2}}. $$

(3) 引く量 $c^{2}/(s^{2}+\sigma^{2})$ は 0 以上なので,観測を足しても予測分散は増えない.減り方は,新しい点の値と予測したい値の事後共分散 $c$ が大きいほど大きく,$c=0$(遠い点や,すでに $N$ 点でよく分かっている点)なら減らない.また,この式には観測値 $y_{N+1}$ が入らないので,どこを測るかを決めた時点で,測る前に分散の減り方が分かる.これは次章で「どこを測ると不確かさが最も減るか」を考える根拠になる.

演習12.4 Cholesky 分解で予測と周辺尤度を計算する

解答

$k(0,2)=e^{-2}=0.13534$ なので $\bm{K}_y=\begin{pmatrix}1.01&0.13534\\0.13534&1.01\end{pmatrix}$.

(1) $L_{11}=\sqrt{1.01}=1.00499$,$L_{21}=0.13534/1.00499=0.13466$,$L_{22}=\sqrt{1.01-0.13466^{2}}$ $=\sqrt{1.01-0.01813}$ $=0.99592$.

(2) 前進代入 $\bm{L}\bm{u}=\bm{y}$:

$$ \begin{aligned} u_1&=1.0/1.00499=0.99504,\\ u_2&=\frac{0.2-0.13466\times0.99504}{0.99592}\\ &=0.06627. \end{aligned} $$

後退代入 $\bm{L}^{\tp}\bm{a}=\bm{u}$:

$$ \begin{aligned} a_2&=0.06627/0.99592=0.06655,\\ a_1&=\frac{0.99504-0.13466\times0.06655}{1.00499}\\ &=0.98118. \end{aligned} $$

(3) $\bm{k}_*=(e^{-1/2},e^{-1/2})^{\tp}=(0.60653,\,0.60653)^{\tp}$.

$$ \begin{aligned} \mu_*&=0.60653\times(0.98118+0.06655)\\ &=0.6355,\\ v_1&=0.60653/1.00499=0.60352,\\ v_2&=\frac{0.60653-0.13466\times0.60352}{0.99592}\\ &=0.52741,\\ \bm{v}^{\tp}\bm{v}&=0.36424+0.27816=0.64240,\\ \sigma_*^{2}&=1-0.64240=0.35760,\\ \sigma_*&=0.5980. \end{aligned} $$

2 つの観測点のちょうど中間でも,観測点から距離 1($=\ell$)離れているので,$\sigma_*$ は事前の 1 から 0.6 程度にしか減らない.

(4) 当てはまりの項は $-\tfrac12\bm{y}^{\tp}\bm{a}=-\tfrac12\bm{u}^{\tp}\bm{u}$ $=-\tfrac12(0.99010+0.00439)$ $=-0.49725$.複雑さの罰の項は $-\sum_i\ln L_{ii}$ $=-(\ln1.00499+\ln0.99592)$ $=-(0.00498-0.00409)$ $=-0.00089$.定数の項は $-\tfrac22\ln2\pi=-1.83788$.合計して $\ln p(\bm{y}\mid\bm{\theta})=-2.3360$.

演習12.5 イオン伝導度の予測をどう報告するか

解答

(1) 第12章の表12.3 より $x_*=7.0$ で $\mu_*=-3.5124$,$\sqrt{\sigma_*^{2}+\sigma^{2}}=0.2940$.次の観測値が入る約 95% の範囲は

$$ -3.5124\pm2\times0.2940=[-4.100,\ -2.925]. $$

潜在関数の帯は $-3.5124\pm2\times0.2897=[-4.092,\ -2.933]$ で,幅の差は両端で 0.008 ずつしかない.観測点から離れた所では $\sigma_*=0.29$ が $\sigma=0.05$ よりずっと大きく,不確かさのほとんどが知識不足に由来するからである.

(2) 足すべき情報の例:① 不確かさ.$\sigma_*=0.29$($\log_{10}$ で)で,潜在関数の約 95% の帯は $10^{-4.09}$〜$10^{-2.93}\ \mathrm{S\,cm^{-1}}$,伝導度の比で中心値の 0.26〜3.8 倍に当たること,およびそれが潜在関数の帯か観測値の帯か.② 7.0 mol% 自体は測っておらず,6.4 mol% と 8.2 mol% の観測の間を補った予測であること.③ ハイパーパラメーターへの依存.$\ell=1$ mol% では $-3.51\pm0.29$ だが,周辺尤度が最大の $\ell=1.585$ mol% では $-3.47\pm0.08$ と,予測値も帯の幅も変わる(表12.1).ほかに,カーネル(RBF)・ノイズの仮定・平均関数を何にしたか,データが 8 点しかないことも書くとよい.

(3) 7.0 mol% を測る方がよい.予測分散はデータの値によらず入力の配置だけで決まる(12.4.4 項)ので,測る前に効果を計算できる.$\ell=1$,$\sigma_f=0.8$,$\sigma=0.05$ で 9 点目を足すと,$x_*=7.0$ の $\sigma_*$ は,6.4 mol% に足した場合 0.290 から 0.288 にしか減らないが,7.0 mol% に足した場合は 0.049 まで減る.6.4 mol% はすでに測ってあり($\sigma_*=0.050$),もう 1 回測っても $\sigma_*$ が 0.035 程度に減るだけで,山の頂上付近(7.0 mol% 付近)の高さについてはほとんど学べない.演習12.3 (2) の式で言えば,6.4 mol% の新しい観測値と $f(7.0)$ の事後共分散 $c$ が小さいためである.

演習12.6 焼成温度と添加量の 2 入力

解答

(1) 入力 $(T,x)$ のまま $\ell=1$ を使うと,$\Delta T=50$(°C),$\Delta x=0$ の 2 点の相関係数は $\exp(-50^{2}/2)=e^{-1250}$ で,事実上 0($10^{-543}$ 程度)である.つまり,温度が 50 °C 違う試料どうしは「まったく無関係」とみなされ,ある温度での測定は隣の温度の予測に何の情報も与えない.どの観測点からも離れた点では予測は平均関数へ戻るので,温度方向にはほとんど補間されない.一方,添加量が 0.5 mol% 違うだけなら相関は $e^{-0.125}=0.88$ と高い.数値の大きさが単位で決まっているだけで,物理的な「近さ」を表していない.

(2) ARD カーネルでは

$$ \begin{aligned} \rho&=\exp\!\left[-\frac12\left(\frac{50}{100}\right)^{2}-\frac12\left(\frac{0.5}{1}\right)^{2}\right]\\ &=\exp(-0.25)=0.779 . \end{aligned} $$

どちらの方向の差も「長さスケールの半分」なので,同じ程度に相関を弱めている.

(3) カーネルの距離は入力の数値の差で測るので,単位や桁の違う入力をそのまま並べると,桁の大きい入力(°C で表した温度)が距離を支配する.第7章 7.3 節で勾配降下法のために入力を標準化したのと同じく,各入力を平均 0・標準偏差 1 に標準化してから等方的なカーネルを使うか,入力ごとに長さスケール $\ell_i$(単位つき)をもつ ARD カーネルを使い,$\ell_i$ を周辺尤度で選ぶのがよい.ARD なら,選ばれた $\ell_i$ が大きい入力は「予測にあまり効かない」と読める.ただし標準化に使う平均と標準偏差は訓練データだけから求める(第6章のデータ漏洩).

演習12.7 同じ点を 2 回測ったとき

解答

(1) 2 つの入力が同じなので $\bm{K}=\sigma_f^{2}\begin{pmatrix}1&1\\1&1\end{pmatrix}$ で,2 つの行が等しく $\det\bm{K}=\sigma_f^{4}(1-1)=0$(固有値は $0$ と $2\sigma_f^{2}=1.28$).$\sigma=0$ なら $\bm{K}_y=\bm{K}$ も特異で,逆行列も Cholesky 分解も存在しない.意味としては,ノイズのないモデルは「$f(7.0)$ はただ 1 つの値で,観測はそれを正確に写す」と仮定しているので,$-3.40$ と $-3.30$ という異なる 2 つの観測値を同時に説明できない.データとモデルが矛盾しているのである.

(2) $\sigma=0.05$ なら $\bm{K}_y=\sigma^{2}\bm{I}+\sigma_f^{2}\bm{1}\bm{1}^{\tp}$.$\bm{K}_y\bm{1}=(\sigma^{2}+2\sigma_f^{2})\bm{1}$ なので $\bm{K}_y^{-1}\bm{1}=\bm{1}/(\sigma^{2}+2\sigma_f^{2})$.$\bm{k}_*=\sigma_f^{2}\bm{1}$ だから,$\bm{K}_y^{-1}$ の対称性を使って

$$ \begin{aligned} \mu_*&=m+\sigma_f^{2}\bm{1}^{\tp}\bm{K}_y^{-1}(\bm{y}-m\bm{1})\\ &=m+\frac{\sigma_f^{2}\sum_n(y_n-m)}{2\sigma_f^{2}+\sigma^{2}}\\ &=m+\frac{2\sigma_f^{2}}{2\sigma_f^{2}+\sigma^{2}}(\bar{y}-m), \end{aligned} $$

$\bar{y}=(y_1+y_2)/2=-3.35$.数値を入れると $\mu_*=-4.47+\dfrac{1.28}{1.2825}\times1.12$ $=-4.47+1.11782$ $=-3.3522$.分散は例題12.7 と同じ形で $\sigma_*^{2}=\dfrac{\sigma_f^{2}\sigma^{2}}{2\sigma_f^{2}+\sigma^{2}}=\dfrac{0.0016}{1.2825}=0.00125$($\sigma_*=0.035$).予測平均は 2 つの観測値の平均 $-3.35$ を,平均関数 $m$ の側へ $\sigma^{2}/(2\sigma_f^{2}+\sigma^{2})=0.2$% だけ縮めた値で,ほぼ平均そのものである.

(3) ジッター $\epsilon$ を足すと,計算上は (2) で $\sigma^{2}$ を $\epsilon$ に置き換えたことになり,計算は進む.しかし $\epsilon$ が小さいと $\sigma_*^{2}\approx\epsilon/2$ もほぼ 0 になり,「$f(7.0)$ は $-3.35$ でほぼ確定」という過信した結論が出る.実際には 2 回の測定値が 0.1 も違うのだから,測定のばらつき(標準偏差でおよそ $0.1/\sqrt2\approx0.07$ 程度)があると考えるべきで,その大きさをノイズの分散としてモデルに入れる必要がある.ジッターは数値計算の救済であって,ノイズの見積もりの代わりにはならない.

第13章 ベイズ最適化と実験計画 — 次にどこを測るか

演習13.1 3 つの候補で獲得関数を比べる

解答

$f_{\mathrm{best}}=-4.1059$,$\xi=0$ なので $d=\mu_*-f_{\mathrm{best}}=\mu_*+4.1059$,$z=d/\sigma_*$.PI $=\Phi(z)$,EI $=d\,\Phi(z)+\sigma_*\Normal(z\mid0,1)$(第13章の式 (13.6)〜(13.8)).

$x=2.3$ mol%:$d=-4.1015+4.1059=0.0044$,$z=0.0044/0.0708=0.0621$.$\Phi(0.0621)=0.5248$,$\Normal(0.0621\mid0,1)=0.3982$.

$$ \begin{aligned} \mathrm{EI}&=0.0044\times0.5248+0.0708\times0.3982\\ &=0.0023+0.0282=0.0305 . \end{aligned} $$

$x=7.0$ mol%:$d=-4.6462+4.1059=-0.5403$,$z=-0.5403/0.7831=-0.690$.$\Phi(-0.690)=0.2451$,$\Normal(0.690\mid0,1)=0.3144$.

$$ \begin{aligned} \mathrm{EI}&=-0.5403\times0.2451+0.7831\times0.3144\\ &=-0.1324+0.2462=0.1138 . \end{aligned} $$

$x=10.0$ mol%:$d=-4.7301+4.1059=-0.6242$,$z=-0.6242/0.6368=-0.980$.$\Phi(-0.980)=0.1635$,$\Normal(0.980\mid0,1)=0.2468$.

$$ \begin{aligned} \mathrm{EI}&=-0.6242\times0.1635+0.6368\times0.2468\\ &=-0.1021+0.1572=0.0551 . \end{aligned} $$

UCB $=\mu_*+\kappa\sigma_*$:

$x$ / mol%PIEIUCB($\kappa=1$)UCB($\kappa=2$)
2.30.5250.0305$-4.031$$-3.960$
7.00.2450.1138$-3.863$$-3.080$
10.00.1640.0551$-4.093$$-3.457$

(2) PI は 2.3 mol%(最良点 2.4 mol% のすぐ隣),EI は 7.0 mol%,UCB は $\kappa=1$ でも $\kappa=2$ でも 7.0 mol% を選ぶ.第13章の図13.4 で,PI の最大が 2.300 mol%,EI と UCB の最大が 7 mol% 付近(6.800 と 6.875)にあることと合う.格子の上の最大点が 7.0 ちょうどでないのは,ここでは 3 候補だけを比べたからである.10.0 mol% も,範囲の端で観測から遠く $\sigma_*$ が大きいため,EI は 2.3 mol% より大きい.

演習13.2 最小化の EI を積分から導く

解答

$\sigma_*\gt0$ とする.$I=\max(f_{\mathrm{best}}-f-\xi,0)$ は $f\lt f_{\mathrm{best}}-\xi$ のときだけ正なので

$$ \begin{aligned} \Ex[I]=\int_{-\infty}^{f_{\mathrm{best}}-\xi}&\bigl(f_{\mathrm{best}}-f-\xi\bigr)\\ &\times\Normal(f\mid\mu_*,\sigma_*^{2})\,\dd f . \end{aligned} $$

$u=(\mu_*-f)/\sigma_*$ とおく.$f=\mu_*-\sigma_*u$,$\dd f=-\sigma_*\,\dd u$ で,$f$ が $-\infty$ から $f_{\mathrm{best}}-\xi$ まで動くとき $u$ は $+\infty$ から $(\mu_*-f_{\mathrm{best}}+\xi)/\sigma_*=-d/\sigma_*=-z$ まで動く($d=f_{\mathrm{best}}-\mu_*-\xi$).Gauss 密度は $u$ について対称なので $\Normal(f\mid\mu_*,\sigma_*^{2})\,\abs{\dd f}=\Normal(u\mid0,1)\,\dd u$ であり,向きを直して積分範囲を $[-z,\infty)$ にできる.被積分関数の改善量は

$$ \begin{aligned} f_{\mathrm{best}}-f-\xi&=f_{\mathrm{best}}-\mu_*+\sigma_*u-\xi\\ &=d+\sigma_*u . \end{aligned} $$

よって

$$ \begin{aligned} \Ex[I]&=\int_{-z}^{\infty}(d+\sigma_*u)\,\Normal(u\mid0,1)\,\dd u\\ &=d\int_{-z}^{\infty}\Normal(u\mid0,1)\,\dd u\\ &\quad+\sigma_*\int_{-z}^{\infty}u\,\Normal(u\mid0,1)\,\dd u . \end{aligned} $$

第 1 項の積分は $1-\Phi(-z)=\Phi(z)$.第 2 項は $\diff{}{u}\Normal(u\mid0,1)=-u\,\Normal(u\mid0,1)$ より

$$ \begin{aligned} &\int_{-z}^{\infty}u\,\Normal(u\mid0,1)\,\dd u\\ &=\Bigl[-\Normal(u\mid0,1)\Bigr]_{-z}^{\infty}\\ &=\Normal(-z\mid0,1)=\Normal(z\mid0,1) . \end{aligned} $$

したがって $\Ex[I]=d\,\Phi(z)+\sigma_*\Normal(z\mid0,1)$,$d=f_{\mathrm{best}}-\mu_*-\xi$,$z=d/\sigma_*$ である.最大化の式と同じ形で,改善量の向きだけが逆になる(第13章の表13.1).

演習13.3 EI は平均にも幅にも増加する

解答

$\mathrm{EI}=d\,\Phi(z)+\sigma_*\Normal(z\mid0,1)$($d=\mu_*-f_{\mathrm{best}}-\xi$,$z=d/\sigma_*$)を $\mu_*$ と $\sigma_*$ の関数とみる.以下 $\Normal(z\mid0,1)$ を $\Normal(z)$ と略す.使う関係は $\diff{\Phi(z)}{z}=\Normal(z)$,$\diff{\Normal(z)}{z}=-z\,\Normal(z)$,および

$$ \begin{aligned} &\pdiff{d}{\mu_*}=1,\qquad \pdiff{z}{\mu_*}=\frac{1}{\sigma_*},\\ &\pdiff{z}{\sigma_*}=-\frac{d}{\sigma_*^{2}}=-\frac{z}{\sigma_*} . \end{aligned} $$

$\mu_*$ での微分:積の微分と連鎖律より

$$ \begin{aligned} \pdiff{\mathrm{EI}}{\mu_*}&=\Phi(z)+d\,\Normal(z)\cdot\frac{1}{\sigma_*}\\ &\quad+\sigma_*\cdot\bigl(-z\,\Normal(z)\bigr)\cdot\frac{1}{\sigma_*}\\ &=\Phi(z)+z\,\Normal(z)-z\,\Normal(z)=\Phi(z) . \end{aligned} $$

($d/\sigma_*=z$ を使った.)

$\sigma_*$ での微分:$d$ は $\sigma_*$ に依らないので

$$ \begin{aligned} \pdiff{\mathrm{EI}}{\sigma_*}&=d\,\Normal(z)\cdot\Bigl(-\frac{z}{\sigma_*}\Bigr)+\Normal(z)\\ &\quad+\sigma_*\cdot\bigl(-z\,\Normal(z)\bigr)\cdot\Bigl(-\frac{z}{\sigma_*}\Bigr)\\ &=-z^{2}\Normal(z)+\Normal(z)+z^{2}\Normal(z)\\ &=\Normal(z) . \end{aligned} $$

$\Phi(z)\gt0$,$\Normal(z)\gt0$ なので,EI は $\mu_*$ についても $\sigma_*$ についても狭義の増加関数である.予測平均が高いほど(活用),予測の幅が広いほど(探索),EI は大きい.第13章の図13.5 の等高線が右にも上にも値を増すのはこのためである.二つの偏微分の比 $\Normal(z)/\Phi(z)$ は $z$ が小さい(平均で大きく負けている)ほど大きく,そのような点では幅を広げる方が EI を大きく増やす.

演習13.4 焼成温度の次の 1 点

解答

(1) $s=(T-1300)/200$ より,1250 °C:$s=-0.25$,1380 °C:$s=0.40$,1460 °C:$s=0.80$.

(2) $f_{\mathrm{best}}=92.0$ %,$d=\mu_*-92.0$,$z=d/\sigma_*$.

PI は 1380 °C,EI と UCB は 1460 °C を選ぶ.PI は「平均が $f_{\mathrm{best}}$ に近い」点を好み,EI と UCB は幅の広い 1460 °C の上振れの可能性を評価する.

(3) $g'(s)=8-10s+6\cos3s=0$ を数値的に解くと $s\approx0.623$,$T=1300+200\times0.623\approx1425$ °C で,$g\approx92.96$ % である($g''(s)=-10-18\sin3s\lt0$ なのでこれは最大).真の値は $g(1380\ ^{\circ}\mathrm{C})=92.26$ %,$g(1460\ ^{\circ}\mathrm{C})=92.55$ % で,真の最大は 2 つの候補の間にある.どちらの候補も真の最大から 0.4〜0.7 % しか低くなく,ノイズの標準偏差 1.0 % より小さい差である.この段階では 1 回の観測で 2 つの候補の優劣を決めることはできず,候補の間(1400〜1450 °C)を測ること,同じ条件を繰り返して平均すること(第13章 13.7 節)に意味がある.獲得関数の選択はその時点のモデルの上での判断であり,真の最大の位置を当てる保証ではない.

演習13.5 ランダム探索と格子の保証

解答

(1) 1 回で $[6.75,7.25]$ に入る確率は $0.5/10=0.05$.$n$ 回とも外れる確率は $0.95^{n}$ なので,$1-0.95^{n}\ge0.9$,すなわち $0.95^{n}\le0.1$.両辺の自然対数をとると $n\ln0.95\le\ln0.1$.$\ln0.95\lt0$ で割ると不等号が逆になり

$$ n\ge\frac{\ln0.1}{\ln0.95}=\frac{-2.3026}{-0.051293}\approx44.9 . $$

最小は $n=45$ 回($1-0.95^{45}=0.9006$,$1-0.95^{44}=0.8953$).

(2) $n=20$ では格子点は $x_k=10(k-\frac12)/20=0.5k-0.25$($k=1,\dots,20$),すなわち $0.25,0.75,\dots,9.75$ で間隔は 0.5 mol% である.$k=14$ で $6.75$,$k=15$ で $7.25$ になり,どちらも山頂 7.0 から 0.25 mol% の所にある.したがって $n=20$ の格子は確実に条件を満たす(実は $[0.25,9.75]$ のどこに山頂があっても,最も近い格子点との距離は 0.25 以下である).

(3) 2 次元では,ランダム探索が 1 回で正方形に入る確率は $0.05\times0.05=0.0025$.$1-0.9975^{n}\ge0.9$ には $n\ge\ln0.1/\ln0.9975\approx919.9$,すなわち 920 回が要る.格子は各方向に 20 点で $20^{2}=400$ 回.次元が増えると,どちらも必要な回数が指数関数的に増える($D$ 次元で格子は $20^{D}$).格子は確実だが予算を「どこも同じ細かさ」に使い,ランダム探索は確率的にしか保証しない.ベイズ最適化は,関数がなめらかで効く方向が少ないという仮定を使って,この回数を大きく減らそうとする方法である.

演習13.6 繰り返し測定と推奨点

解答

(1) 6 つの観測値の最大は $x=7.125$ mol% の $-3.3635$ なので,推奨点は 7.125 mol%.

(2) 平均は

$$ \begin{aligned} \bar{y}(6.900)&=\tfrac13(-3.3908-3.4539-3.4994)\\ &=-3.4480,\\ \bar{y}(7.125)&=\tfrac13(-3.4051-3.4229-3.3635)\\ &=-3.3972 . \end{aligned} $$

各平均の標準偏差は $0.05/\sqrt3=0.0289$,平均の差の標準偏差は $\sqrt{0.0289^{2}+0.0289^{2}}$ $=\sqrt{2/3}\times0.05=0.0408$.差は $-3.3972-(-3.4480)=0.0509$ で,差の標準偏差の $0.0509/0.0408\approx1.25$ 倍にすぎない.

(3) 真の値は $f(6.900)=-3.4066$ の方が $f(7.125)=-3.4103$ より 0.0037 だけ高く,観測値の最大でも 3 回の平均でも逆の点を選んだことになる.真の差 0.0037 はノイズ 0.05 の 14 分の 1 で,3 回ずつの平均では到底見分けられない(第13章 例題13.8 の考え方で,取り違える確率を 5 % 未満にするには各点で $n\gt(1.645\times0.0707/0.0037)^{2}\approx988$,すなわち約 990 回が要る).言えることは次のとおりである.(i) 観測値の最大を推奨点にすると,最も運の良いノイズの点が選ばれやすい.平均や事後平均で推奨する方がよい.(ii) 真の差が測定ノイズよりはるかに小さい 2 条件は,実用上は同等とみなし,見分けるために予算を使わない方がよい.どちらも真の最大 $-3.400$ との差は 0.01 以下である.(iii) 推奨する条件は,作り直しによる再現性の確認とともに報告する.

演習13.7 UCB は予測分布の分位点

解答

(1) $u=(f_*-\mu_*)/\sigma_*$ は標準 Gauss 分布に従う.$\sigma_*\gt0$ なので

$$ \begin{aligned} f_*\le\mu_*+\kappa\sigma_*&\iff\frac{f_*-\mu_*}{\sigma_*}\le\kappa\\ &\iff u\le\kappa , \end{aligned} $$

よって $P(f_*\le\mu_*+\kappa\sigma_*)=P(u\le\kappa)=\Phi(\kappa)$.

(2) $\kappa=1$:$\Phi(1)=0.841$.$\kappa=2$:$\Phi(2)=0.977$.UCB($\kappa=2$)は「真の値がこれを超える確率が約 2.3 % しかない」楽観的な見積もりである.

(3) $\Phi(\kappa)=0.95$ を満たす $\kappa=1.645$.上側 5 % 点は $\mu_*+1.645\sigma_*$.

(4) $\kappa$ を大きくすると,より上側の分位点(より楽観的な見積もり)で比べることになる.分位点の位置 $\mu_*+\kappa\sigma_*$ のうち $\sigma_*$ の寄与が $\kappa$ に比例して大きくなるので,平均がやや低くても幅の広い点が上位に来る.すなわち探索寄りになる.$\kappa=0$ は分布の中央(平均=中央値)で比べることで,活用だけになる.

演習13.8 4 台の炉で 2 週間の探索を計画する

解答

以下は一つの妥当な計画の例である(答えは一つではない).

(1) 初期点:2 次元なので 8 点(2 日分.入力次元の数倍)を,1100〜1450 °C × 1〜10 h の範囲を偏りなく埋める配置(Latin hypercube や,やや崩した格子)で置く.過去に似た材料の結果があれば,その条件を 1〜2 点含めるか,初期データとして加える.同じ条件の繰り返しを 1 組入れておくと,ノイズの大きさ $\sigma$ の目安になる.

(2) カーネルと尺度:入力ごとに長さスケールを持つ ARD カーネル(第13章 例題13.12)を使う.温度は °C のまま $\ell_T$ を持たせるか,両方の入力を $[0,1]$ に規格化する.保持時間は効果が対数的なことが多いので,$\ln t$ を入力にするのも一案である.ハイパーパラメーター($\ell_T$,$\ell_t$,$\sigma_f$,$\sigma$)は毎日,周辺尤度で選び直す.目的は相対密度 %(0〜100 % の範囲なので,100 % に近いときは変換も考える).

(3) 1 日 4 条件:EI の最大点を 1 点選び,その点を「予測平均の値で観測した」と仮に置いてモデルを更新し,次の EI の最大点を選ぶ,を 4 回繰り返す.あるいは事後分布から関数を 4 本引き,それぞれの最大点を選ぶ(Thompson サンプリング).4 点が近づきすぎないことを確かめる.

(4) 制約:1450 °C を超える条件は探索範囲から除く(既知の制約).割れて測れない条件は「失敗」として記録し,割れるかどうかを別の分類モデル(第9章のロジスティック回帰やガウス過程による分類)で予測して,EI に「割れない確率」を掛けた値で選ぶ.割れた試料の密度を欠測のまま捨てると,危ない領域を何度も選ぶことになる.

(5) 止め方と推奨:40 回を使い切るか,EI の最大値が測定ノイズ(例えば相対密度の繰り返しの標準偏差)の 1/10 程度を何日も下回り,推奨点が変わらなくなったら止める.推奨点は観測値の最大ではなく,代理モデルの予測平均が最大の観測済み条件とし,最終日にその条件と次点の条件を各 2〜4 回繰り返して再現性と差を確かめる.報告には,探索範囲・初期配置・獲得関数・ハイパーパラメーターの選び方を書き,範囲の外については何も言えないことを明記する.

第14章 ニューラルネットワークの表現 — 基底関数を学習する

演習14.1 2–2–1 のネットワークの順伝播

解答

(1) 第 1 層の活性は $\bm{a}^{(1)}=\bm{W}^{(1)}\bm{x}+\bm{b}^{(1)}$ で,

$$ \begin{aligned} a^{(1)}_1&=1\times0.5+1\times1.0+0=1.5,\\ a^{(1)}_2&=1\times0.5+(-1)\times1.0-0.5=-1.0 . \end{aligned} $$

tanh に通すと $\bm{z}^{(1)}=(\tanh1.5,\ \tanh(-1.0))$ $=(0.905148,\ -0.761594)$.出力層の活性は

$$ \begin{aligned} a^{(2)}&=2\times0.905148\\ &\quad+(-1)\times(-0.761594)+(-1)\\ &=1.810296+0.761594-1=1.571890, \end{aligned} $$

$\hat{y}=\sigma(1.571890)=1/(1+e^{-1.571890})$ $=1/(1+0.207652)=0.828053$.

(2) $y=1$ なので $\ell=-\ln\hat{y}=-\ln0.828053=0.188678$.出力層の誤差は sigmoid と交差エントロピーの組なので $\delta^{(2)}=\hat{y}-y=0.828053-1=-0.171947$.負なので,$a^{(2)}$ を大きくする($\hat{y}$ を 1 に近づける)向きに学習が進む.

(3) ReLU では $\bm{z}^{(1)}=(\max(0,1.5),\ \max(0,-1.0))=(1.5,\ 0)$.$a^{(2)}=2\times1.5+(-1)\times0-1=2$,$\hat{y}=\sigma(2)=0.880797$.

(4) 第 1 層 $2\times(2+1)=6$ 個,第 2 層 $1\times(2+1)=3$ 個で,合計 9 個.

演習14.2 tanh と sigmoid の関係

解答

(1) $\sigma(2a)=\dfrac{1}{1+e^{-2a}}$ なので

$$ \begin{aligned} 2\sigma(2a)-1&=\frac{2-(1+e^{-2a})}{1+e^{-2a}}=\frac{1-e^{-2a}}{1+e^{-2a}}\\ &=\frac{e^{a}-e^{-a}}{e^{a}+e^{-a}}=\tanh a . \end{aligned} $$

3 つ目の等号では分子と分母に $e^{a}$ を掛けた.

(2) (1) を $a_j=\bm{w}_j^{\tp}\bm{x}+b_j$ に使うと

$$ \begin{aligned} f(\bm{x})&=\sum_jW^{(2)}_j\bigl\{2\sigma(2\bm{w}_j^{\tp}\bm{x}+2b_j)-1\bigr\}+b^{(2)}\\ &=\sum_j\bigl(2W^{(2)}_j\bigr)\,\sigma\bigl((2\bm{w}_j)^{\tp}\bm{x}+2b_j\bigr)\\ &\quad+\Bigl(b^{(2)}-\sum_jW^{(2)}_j\Bigr). \end{aligned} $$

したがって,隠れ層 sigmoid のネットワークで重みとバイアスを

$$ \begin{aligned} &\bm{w}_j\to2\bm{w}_j,\quad b_j\to2b_j,\quad W^{(2)}_j\to2W^{(2)}_j,\\ &b^{(2)}\to b^{(2)}-\sum_jW^{(2)}_j \end{aligned} $$

と付け替えれば,同じ関数を正確に表せる.逆向き(sigmoid から tanh へ)も同様に付け替えられる.数値の例として,演習14.1 の重みで $\bm{x}=(0.3,-0.7)^{\tp}$ のとき,tanh 版でも付け替えた sigmoid 版でも $f=-2.22202$ になる(このときの $f$ は sigmoid に通す前の $a^{(2)}$).

(3) 表せる関数の集合は変わらない.ただし学習のしやすさは違いうる.tanh は原点の傾きが 1 で出力が 0 を中心に分布するので,初期の勾配が大きく,次の層の入力も偏らない.sigmoid は原点の傾きが 1/4 で出力が常に正なので,同じ初期化・同じ学習率では学習が遅くなりやすい.同じ関数の集合でも,パラメーターの付け方(尺度)が違うと勾配法の振る舞いが変わる.

演習14.3 sigmoid の出力に二乗誤差を使うと何が困るか

解答

(1) 合成関数の微分と $\sigma'(a)=\hat{y}(1-\hat{y})$ より

$$ \pdiff{\ell_{\mathrm{SE}}}{a}=\pdiff{\ell_{\mathrm{SE}}}{\hat{y}}\,\diff{\hat{y}}{a}=(\hat{y}-y)\,\hat{y}(1-\hat{y}). $$

(2) $\hat{y}=\sigma(-5)=1/(1+e^{5})$ $=1/149.413159=0.0066929$.交差エントロピーでは $\delta=\hat{y}-y=-0.993307$.二乗誤差では $(-0.993307)\times0.0066929\times(1-0.0066929)$ $=(-0.993307)\times0.0066481$ $=-0.0066036$.大きさの比は約 150 倍で,二乗誤差のほうがはるかに小さい.

(3) 二乗誤差では,予測が大きく外れて sigmoid が飽和している($\hat{y}$ が 0 か 1 に近い)ときほど $\hat{y}(1-\hat{y})$ が 0 に近づき,勾配が消える.最も直すべき「自信をもって間違えた」データからの学習信号が弱くなり,学習が進みにくい.交差エントロピーでは,$-\ln\hat{y}$ の急な増え方が sigmoid の飽和を打ち消し,誤差は外れの大きさ $\hat{y}-y$ そのものになる.また,二乗誤差は Bernoulli 分布の尤度から出たものではないので,確率の推定としての根拠もない.

演習14.4 隠れユニット 1 個では XOR を分けられない

解答

(1) $u=\bm{w}^{\tp}\bm{x}+b$ とおく.$\sigma$ は単調増加で $\sigma(0)=1/2$ なので $\hat{y}\gt1/2\iff vh(u)+c\gt0$ である.

いずれの場合も,$\hat{y}\gt1/2$ となる $\bm{x}$ の集合は,直線 $\bm{w}^{\tp}\bm{x}+b=t$ で区切られた半平面(境界を含むか含まないか)か,全体か空集合である.

(2) 正しく分けられたとすると,$y=1$ の 2 点 $(1,0)$,$(0,1)$ は半平面の内側,$y=0$ の 2 点 $(0,0)$,$(1,1)$ は外側にある.全体や空集合では 2 クラスに分かれないので,半平面の場合だけを考える.「$u\gt t$」の場合(ほかも同様),$u$ は $\bm{x}$ の 1 次式なので $u(1,0)+u(0,1)=u(0,0)+u(1,1)$ が成り立つ(両辺とも $w_1+w_2+2b$).左辺の 2 項は $t$ より大きく,右辺の 2 項は $t$ 以下なので,左辺 $\gt2t\ge$ 右辺となり矛盾する.「$u\ge t$」「$u\lt t$」「$u\le t$」でも不等号の向きと等号の有無が変わるだけで同じ矛盾が出る.よって XOR の 4 点を正しく分ける重みは存在しない.

(3) シミュレーター14.1 の XOR は 4 つの群れからなり,1 本の直線で正しく分けられるのはせいぜい 3 つの群れ(全体の約 75 %)である.$H=1$ では (1) により決定境界は 1 本の直線になるので,ノイズで群れが広がっていることも合わせて,正解率はおおよそ 75 % が上限になり(ノイズで群れの裾が境界の反対側にはみ出す点があるので,有限個のデータでは 75 % 前後に揺れる),実際には 73 % に留まった.隠れユニットを増やしても学習で解が見つからない($H=2$,既定の seed)場合とは違い,$H=1$ では表現力そのものが足りない.

演習14.5 混晶のバンドギャップを ReLU で表す

解答

(1) $E_g(0)=1.20$ eV,$E_g(1)=2.40$ eV,$E_g(0.5)=0.5\times1.20+0.5\times2.40$ $-0.80\times0.25$ $=0.60+1.20-0.20=1.60$ eV.

(2) 傾きは $[0,0.5]$ で $m_1=(1.60-1.20)/0.5=0.8$ eV,$[0.5,1]$ で $m_2=(2.40-1.60)/0.5=1.6$ eV.$0\le x$ では $\relu(x)=x$ なので

$$ \begin{aligned} f(x)={}&1.20+0.8\,\relu(x)\\ &+0.8\,\relu(x-0.5)\quad(\mathrm{eV}), \end{aligned} $$

すなわち $c=1.20$ eV,$v_1=m_1=0.8$ eV,$v_2=m_2-m_1=0.8$ eV である.

(3) $E_g(x)=1.20+1.20x-0.80x+0.80x^{2}$ $=1.20+0.40x+0.80x^{2}$ なので $E_g''(x)=1.6$ eV(一定).折れ線の誤差は各区間の中点で最大になり,その大きさは $E_g''h_s^{2}/8=1.6\times0.5^{2}/8=0.05$ eV(区間内で $g''$ が一定なので第14章の式 (14.18) の上限に等号で一致する).$x=0.25$ と $x=0.75$ で生じる.たとえば $x=0.25$ では $E_g=1.20+0.10+0.05=1.35$ eV,$f=1.20+0.8\times0.25=1.40$ eV で差 0.05 eV.ノイズの標準偏差 0.03 eV より大きいので,3 点の折れ線ではデータの構造を表しきれない.

(4) $1.6\,h_s^{2}/8\le0.01$ より $h_s^{2}\le0.05$,$h_s\le0.2236$.$h_s=1/K$ なので $K\ge4.47$,すなわち $K=5$ 区間が要る($K=4$ では最大誤差 0.0125 eV,$K=5$ では 0.008 eV).(2) と同じ作り方で,隠れユニットは $K=5$ 個である(ただし $x\ge0$ では最初のユニット $\relu(x)$ は $x$ そのものなので,入力から出力への直接の線形項があれば 4 個で足りる).

(5) データ B の真の関数は $1,\ x,\ x(1-x)$ の線形結合そのもの(Vegard 則の直線と bowing の項)なので,第8章の基底による線形回帰ならパラメーター 3 個で誤差なく表せる.解は正規方程式で一意に求まり,係数(bowing パラメーター $-0.80$ eV など)に物理的な意味があり,ベイズ線形回帰で不確かさも出せる.ネットワークは形を知らない分だけ多くのユニットとデータを必要とし,学習も初期値に左右される.物理から関数の形が分かっているなら,それを基底に使うほうがよい.

演習14.6 原子ごとのエネルギーの和の性質

解答

(1) 二量体では各原子の相手は 1 個で,$G_1=G_2=\exp\{-(2.5/2.5)^{2}\}$ $=e^{-1}=0.367879$.$2G-1=-0.264241$,$\tanh(-0.264241)=-0.258258$,$E_i=0.5\times(-0.258258)-3.0=-3.129129$ eV.$E=2\times(-3.129129)=-6.258258$ eV.

(2) 4 原子の座標は $0,\ 2.5,\ 20,\ 22.5$ Å.たとえば $x=2.5$ の原子の記述子は,二量体の相手からの $e^{-1}$ に,離れた 2 原子からの $\exp\{-(17.5/2.5)^{2}\}=e^{-49}\approx5.2\times10^{-22}$ と $\exp\{-(20/2.5)^{2}\}=e^{-64}\approx1.6\times10^{-28}$ が加わる.$x=0$ の原子でも $e^{-64}$ と $e^{-81}$ が加わるだけである.$E_i$ の $G$ についての傾きは $\diff{E_i}{G}=0.5\times2\times(1-\tanh^{2})$ $=1-0.258258^{2}=0.933303$ eV なので,4 原子の和の (1) の 2 倍からのずれは $0.933303\times2$ $\times(e^{-49}+e^{-64}+e^{-64}+e^{-81})$ $\approx9.8\times10^{-22}$ eV である.これは倍精度の浮動小数点数でエネルギー(約 12.5 eV)を表すときの丸めの大きさ(約 $10^{-15}$ eV)よりはるかに小さく,数値の上では $E=-12.516516$ eV $=2\times(-6.258258)$ eV と区別できない.切断関数 $f_{\mathrm c}$ を入れたモデルなら,切断半径より離れた原子の寄与は厳密に 0 で,エネルギーは厳密に 2 倍になる(示量性).

(3) 原子の番号の付け方が $10!=3628800$ 通りあり,同じ構造に対して(同じ元素だけなら)$3628800$ 通りの異なる入力ベクトルができる.これに加えて,平行移動・回転でも入力が変わる.問題点は,(i) 同じ構造に違うエネルギーを出しうる(並べ替え・並進・回転の不変性が保証されない.学習データで全部の並べ方を見せることも現実的でない),(ii) 入力の次元が原子数で決まるので,原子数の違う構造(表面や欠陥を含むセル,大きさの違うセル)に同じネットワークを使えず,示量性も成り立たない,の 2 つである.原子ごとの記述子と和による構成は,これらを設計で解決している.

演習14.7 重み空間の対称性

解答

(1) 入れ替えが $3!=6$ 通り,各ユニットの符号反転の有無が $2^{3}=8$ 通りで,$6\times8=48$ 通り(元の重みを含む).

(2) 隠れユニット 1 の入る重み・バイアス・出る重みをすべて反転すると $(0.7,\,0.2,\,1.5)\to(-0.7,\,-0.2,\,-1.5)$ で,

$$ \begin{aligned} \tilde{f}(s)={}&-1.5\tanh(-0.7s-0.2)\\ &-0.8\tanh(-1.3s+0.4)+0.1 . \end{aligned} $$

$s=0.37$ では $0.7\times0.37+0.2=0.459$,$\tanh0.459=0.429269$,$-1.3\times0.37+0.4=-0.081$,$\tanh(-0.081)=-0.080823$.元の式は $1.5\times0.429269-0.8\times(-0.080823)+0.1$ $=0.643903+0.064659+0.1$ $=0.808562$.反転した式は $-1.5\times\tanh(-0.459)$ $=-1.5\times(-0.429269)=0.643903$ なので,同じく $0.808562$ になる.

(3) $a=1$ で $\relu(-1)=0$,$-\relu(1)=-1$ なので $\relu(-a)\ne-\relu(a)$.したがって,$v\,\relu(wa+b)$ を $(-v)\,\relu(-wa-b)$ に替えると一般に値が変わる(例:$v=1,\ w=1,\ b=0$,入力 1 で 1 と 0).代わりに,$c\gt0$ について $\relu(ca)=c\,\relu(a)$ が成り立つ.$f(s)=2\relu(s-0.5)$ に $c=4$ を使うと

$$ f(s)=\frac{2}{4}\,\relu\bigl(4s-2\bigr)=0.5\,\relu(4s-2). $$

確かめると,$s=0.2$ ではどちらも 0,$s=0.9$ では $2\times0.4=0.8$ と $0.5\times1.6=0.8$,$s=1.4$ では $2\times0.9=1.8$ と $0.5\times3.6=1.8$.$c$ は任意の正の数でよいので,同じ関数を表す重みが連続的に無数にある.このため ReLU のネットワークでは,重みの大きさそのもの(たとえば $\norm{\bm{W}^{(1)}}$ だけ)を比べても意味が薄く,重み減衰は各層の重みの大きさの釣り合いにも影響する.

演習14.8 線形のネットワークと狭い層

解答

(1) 第14章の式 (14.8)(線形の層の合成)より $\bm{W}=\bm{W}^{(2)}\bm{W}^{(1)}$,$\bm{b}=\bm{W}^{(2)}\bm{b}^{(1)}+b^{(2)}$.

$$ \begin{aligned} \bm{W}&=\begin{pmatrix}1&-1&2\end{pmatrix}\begin{pmatrix}1&2\\0&1\\-1&1\end{pmatrix}\\ &=\bigl(1\cdot1+(-1)\cdot0+2\cdot(-1),\\ &\qquad 1\cdot2+(-1)\cdot1+2\cdot1\bigr)\\ &=\begin{pmatrix}-1&3\end{pmatrix}, \end{aligned} $$ $$ \bm{b}=1\cdot1+(-1)\cdot0+2\cdot(-1)+0.5=-0.5 . $$

よって $\hat{y}=-x_1+3x_2-0.5$.たとえば $\bm{x}=(0.3,-1.2)^{\tp}$ では,2 層で順に計算しても 1 層の式でも $-4.4$ になる.

(2) $\bm{W}^{(1)}\in\R^{1\times3}$(行ベクトル $\bm{p}^{\tp}$),$\bm{W}^{(2)}\in\R^{3\times1}$(列ベクトル $\bm{q}$)なので,$\bm{W}^{(2)}\bm{W}^{(1)}=\bm{q}\bm{p}^{\tp}$.任意の $\bm{x}$ について $\bm{q}\bm{p}^{\tp}\bm{x}=(\bm{p}^{\tp}\bm{x})\,\bm{q}$ は $\bm{q}$ の定数倍なので,像(列空間)は $\bm{q}$ の張る 1 次元以下の空間である.したがって階数は 1 以下.一般に $\rank(\bm{A}\bm{B})\le\min(\rank\bm{A},\rank\bm{B})$ で,途中の層の幅を $r$ とすれば全体の階数は $r$ 以下になる.

(3) 入力を狭い層(幅 $r$)に通して元の次元に戻すネットワークを,出力が入力を再現するように学習させると,データを $r$ 次元に圧縮して表す方法になる.これをオートエンコーダーという.活性化関数が恒等写像で二乗誤差を使う場合,学習で得られる $r$ 次元の部分空間は主成分分析(PCA)の上位 $r$ 個の主成分が張る空間と一致する(第18章 18.8 節).非線形の活性化関数を入れると,曲がった低次元の構造も表せるようになる.

第15章 誤差逆伝播と学習 — 連鎖律で勾配を配る

演習15.1 1–1–1 の ReLU のネットワーク

解答

(1) 順伝播:$a^{(1)}=W^{(1)}x+b^{(1)}=0.8\times1.5-0.2=1.0$.$a^{(1)}\gt0$ なので $z^{(1)}=\relu(1.0)=1.0$.$\hat{y}=a^{(2)}=W^{(2)}z^{(1)}+b^{(2)}$ $=1.5\times1.0+0.1=1.6$.損失は $\ell=\tfrac12(1.6-2.0)^{2}=0.08$.

逆伝播:恒等出力と二乗誤差の半分なので $\delta^{(2)}=\hat{y}-y=-0.4$.ReLU の導関数は $a^{(1)}=1.0\gt0$ で 1 なので $\delta^{(1)}=1\times W^{(2)}\delta^{(2)}=1.5\times(-0.4)=-0.6$.勾配は

$$ \begin{aligned} \pdiff{\ell}{W^{(2)}}&=\delta^{(2)}z^{(1)}=-0.4,\\ \pdiff{\ell}{b^{(2)}}&=\delta^{(2)}=-0.4,\\ \pdiff{\ell}{W^{(1)}}&=\delta^{(1)}x=-0.6\times1.5=-0.9,\\ \pdiff{\ell}{b^{(1)}}&=\delta^{(1)}=-0.6 . \end{aligned} $$

(2) $\eta=0.1$ で更新すると $W^{(1)}=0.8+0.09=0.89$,$b^{(1)}=-0.2+0.06=-0.14$,$W^{(2)}=1.5+0.04=1.54$,$b^{(2)}=0.1+0.04=0.14$.更新後は $a^{(1)}=0.89\times1.5-0.14=1.195$,$z^{(1)}=1.195$,$\hat{y}=1.54\times1.195+0.14=1.9803$,$\ell=\tfrac12(1.9803-2.0)^{2}$ $=\tfrac12\times0.000388=1.94\times10^{-4}$.損失は 0.08 から約 400 分の 1 に下がった.

(3) $x=-1.0$ では $a^{(1)}=0.8\times(-1.0)-0.2=-1.0\lt0$ なので $z^{(1)}=0$,$\hat{y}=b^{(2)}=0.1$,$\ell=\tfrac12(0.1-2.0)^{2}=1.805$.$\delta^{(2)}=-1.9$ だが,ReLU の導関数が 0 なので $\delta^{(1)}=0$.したがって $\partial\ell/\partial W^{(1)}=\partial\ell/\partial b^{(1)}=0$.また $z^{(1)}=0$ なので $\partial\ell/\partial W^{(2)}=\delta^{(2)}z^{(1)}=0$.動くのは $b^{(2)}$ だけで,$\partial\ell/\partial b^{(2)}=-1.9$,更新後 $b^{(2)}=0.1+0.19=0.29$(損失は 1.462).隠れユニットが働いていないデータでは,隠れ層の重みは何も学ばない.

演習15.2 sigmoid 出力に二乗誤差を組み合わせると

解答

(1) 連鎖律より $\delta=\pdiff{\ell}{\hat{y}}\diff{\hat{y}}{a}$.$\pdiff{\ell}{\hat{y}}=\hat{y}-y$,$\diff{\hat{y}}{a}=\sigma'(a)=\sigma(a)(1-\sigma(a))=\hat{y}(1-\hat{y})$ なので $\delta=(\hat{y}-y)\hat{y}(1-\hat{y})$.

(2) $y=1$,$\hat{y}=0.01$ のとき,二乗誤差では $\delta=(0.01-1)\times0.01\times0.99=-0.009801$.交差エントロピーでは $\delta=0.01-1=-0.99$.二乗誤差の $\delta$ は約 100 分の 1 である.($\hat{y}=0.5$ では $-0.125$ と $-0.5$,$\hat{y}=0.99$ では $-0.000099$ と $-0.01$.)

(3) 二乗誤差では因子 $\hat{y}(1-\hat{y})$ が掛かるので,sigmoid が飽和して $\hat{y}$ が 0 か 1 に近いと,予測が大きく外れていても $\delta$ が小さく,第15章の式 (15.6)〜(15.8) の全部の勾配が小さくなって学習がほとんど進まない.交差エントロピーでは $\ln\hat{y}$ の微分 $1/\hat{y}$ がこの因子を打ち消し,$\delta=\hat{y}-y$ は外れの大きさに比例する.さらに交差エントロピーは Bernoulli 分布の負の対数尤度なので,最尤推定とも整合する(第5章 5.5 節,第14章 14.6 節).

演習15.3 2 回目の更新

解答

更新後のパラメーターは $\bm{W}^{(1)}=((0.709829,-0.195085),$ $(0.657292,0.128646))$,$\bm{b}^{(1)}=(0.309829,-0.242708)$,$\bm{W}^{(2)}=(1.10770,-0.830494)$,$b^{(2)}=0.455266$ で,順伝播の値は $\bm{a}^{(1)}=(0.922116,\,0.478907)$,$\bm{z}^{(1)}=(0.726897,\,0.445368)$,$a^{(2)}=0.890573$,$\hat{y}=0.709008$,$L=-\ln0.709008=0.343888$.

(1) $\delta^{(2)}=\hat{y}-y=0.709008-1=-0.290992$.$h'(a^{(1)}_1)=1-0.726897^{2}=0.471621$,$h'(a^{(1)}_2)=1-0.445368^{2}=0.801648$.$\bm{W}^{(2)\tp}\delta^{(2)}$ は

$$ \begin{aligned} \bm{W}^{(2)\tp}\delta^{(2)}&=\bigl(1.10770\times(-0.290992),\\ &\qquad -0.830494\times(-0.290992)\bigr)\\ &=(-0.322331,\ 0.241667). \end{aligned} $$

成分ごとに掛けて

$$ \begin{aligned} \bm{\delta}^{(1)}&=\bigl(0.471621\times(-0.322331),\\ &\qquad 0.801648\times0.241667\bigr)\\ &=(-0.152018,\ 0.193732). \end{aligned} $$

(2) 出力層は

$$ \begin{aligned} \pdiff{L}{\bm{W}^{(2)}}&=\delta^{(2)}\bm{z}^{(1)\tp}\\ &=(-0.290992\times0.726897,\\ &\qquad -0.290992\times0.445368)\\ &=(-0.211521,\ -0.129598), \end{aligned} $$

$\partial L/\partial b^{(2)}=-0.290992$.隠れ層は $\partial L/\partial\bm{W}^{(1)}=\bm{\delta}^{(1)}\bm{x}^{\tp}$ $=((-0.152018,\ -0.0760089),$ $(0.193732,\ 0.0968658))$,$\partial L/\partial\bm{b}^{(1)}=(-0.152018,\ 0.193732)$.9 個の 2 乗和は $\norm{\bm{g}}^{2}=0.282656$.

(3) $\eta=0.5$ で更新すると $\bm{W}^{(1)}=((0.785838,-0.157081),$ $(0.560426,0.0802131))$,$\bm{b}^{(1)}=(0.385838,-0.339574)$,$\bm{W}^{(2)}=(1.21346,-0.765695)$,$b^{(2)}=0.600762$.順伝播は $\bm{a}^{(1)}=(1.093136,\,0.260959)$,$\bm{z}^{(1)}=(0.798020,\,0.255192)$,

$$ \begin{aligned} a^{(2)}&=1.21346\times0.798020\\ &\quad-0.765695\times0.255192+0.600762\\ &=1.373726, \end{aligned} $$

$\hat{y}=\sigma(1.373726)=0.797981$,$L=-\ln0.797981=0.225670$.

2 回目の減少は $0.343888-0.225670=0.118218$ で,1 回目の 0.370550 より小さい.$\hat{y}$ が 1 に近づいて $\abs{\delta^{(2)}}$ が 0.510533 から 0.290992 に減り,勾配の 2 乗和も 1.00151 から 0.282656 に減ったためである.1 次の近似の減少量 $\eta\norm{\bm{g}}^{2}=0.141328$ との差は 1 回目より小さく,勾配が小さくなると 1 次の近似がよく当たる.

演習15.4 差分の最適な刻み

解答

(1) $E(\epsilon)=\dfrac{\epsilon^{2}}{6}\abs{L'''}+\dfrac{\epsilon_{\mathrm{mach}}\abs{L}}{\epsilon}$ を $\epsilon$ で微分して 0 とおく.

$$ \diff{E}{\epsilon}=\frac{\epsilon}{3}\abs{L'''}-\frac{\epsilon_{\mathrm{mach}}\abs{L}}{\epsilon^{2}}=0 $$

より

$$ \epsilon^{*}=\Bigl(\frac{3\epsilon_{\mathrm{mach}}\abs{L}}{\abs{L'''}}\Bigr)^{1/3}. $$

$(\epsilon^{*})^{3}\abs{L'''}=3\epsilon_{\mathrm{mach}}\abs{L}$ を使うと $\epsilon_{\mathrm{mach}}\abs{L}/\epsilon^{*}=(\epsilon^{*})^{2}\abs{L'''}/3$ なので

$$ \begin{aligned} E(\epsilon^{*})&=\frac{(\epsilon^{*})^{2}\abs{L'''}}{6}+\frac{(\epsilon^{*})^{2}\abs{L'''}}{3}\\ &=\frac{(\epsilon^{*})^{2}\abs{L'''}}{2}\\ &=\frac12\abs{L'''}^{1/3}\bigl(3\epsilon_{\mathrm{mach}}\abs{L}\bigr)^{2/3}, \end{aligned} $$

すなわち最小の誤差は $\epsilon_{\mathrm{mach}}^{2/3}$ に比例する.

(2) 前進差分では,打ち切り誤差 $\tfrac{\epsilon}{2}\abs{L''}$ と丸め誤差 $2\epsilon_{\mathrm{mach}}\abs{L}/\epsilon$ の和 $E_{\mathrm{f}}(\epsilon)$ を最小にする.$\diff{E_{\mathrm{f}}}{\epsilon}=\tfrac12\abs{L''}-2\epsilon_{\mathrm{mach}}\abs{L}/\epsilon^{2}=0$ より $\epsilon^{2}=4\epsilon_{\mathrm{mach}}\abs{L}/\abs{L''}$,すなわち $\epsilon^{*}=2\sqrt{\epsilon_{\mathrm{mach}}\abs{L}/\abs{L''}}$.このとき誤差は $2\sqrt{\epsilon_{\mathrm{mach}}\abs{L}\abs{L''}}$ で,$\epsilon_{\mathrm{mach}}^{1/2}$ に比例する(中心差分の $\epsilon_{\mathrm{mach}}^{2/3}$ より大きい).

(3) 中心差分と前進差分の最適な刻みは

$$ \begin{aligned} \epsilon^{*}_{\mathrm{c}}&=\Bigl(\frac{3\times1.11\times10^{-16}\times0.714438}{0.0334}\Bigr)^{1/3}\\ &=(7.1\times10^{-15})^{1/3}=1.9\times10^{-5},\\ \epsilon^{*}_{\mathrm{fwd}}&=2\sqrt{\frac{1.11\times10^{-16}\times0.714438}{0.5230}}\\ &=2\sqrt{1.52\times10^{-16}}=2.5\times10^{-8} \end{aligned} $$

である.第15章の図15.5 では,中心差分の谷の底が $\epsilon=10^{-5}$ 付近,前進差分の谷の底が $10^{-8}$〜$3\times10^{-8}$ 付近にあり,桁で一致する.図は 9 個のパラメーターの最大の誤差なので,1 個のパラメーターについての見積もりとは係数が少し違う.

演習15.5 He の初期化

解答

(1) $a$ の密度 $p(a)$ が $p(-a)=p(a)$ を満たすとする.$\relu(a)^{2}$ は $a\gt0$ で $a^{2}$,$a\le0$ で 0 なので $\Ex[\relu(a)^{2}]=\int_{0}^{\infty}a^{2}p(a)\,\dd a$.対称性から $\int_{-\infty}^{0}a^{2}p(a)\,\dd a=\int_{0}^{\infty}a^{2}p(a)\,\dd a$ なので,$\int_{-\infty}^{\infty}a^{2}p(a)\,\dd a$ のちょうど半分である.対称な分布の平均は 0 なので $\int a^{2}p(a)\,\dd a=\Ex[a^{2}]=\Var[a]$.よって $\Ex[\relu(a)^{2}]=\tfrac12\Var[a]$.

(2) 15.6.2 項の導出より $\Var[a^{(l)}_j]=D_{l-1}\sigma_{\mathrm{init}}^{2}\Ex[(z^{(l-1)})^{2}]$.$z^{(l-1)}=\relu(a^{(l-1)})$ で $a^{(l-1)}$ が 0 について対称なら,(1) より $\Ex[(z^{(l-1)})^{2}]=\tfrac12\Var[a^{(l-1)}]$.したがって $\Var[a^{(l)}]=\tfrac12D_{l-1}\sigma_{\mathrm{init}}^{2}\Var[a^{(l-1)}]$ で,これが $\Var[a^{(l-1)}]$ に等しいための条件は $\tfrac12D_{l-1}\sigma_{\mathrm{init}}^{2}=1$,すなわち $\sigma_{\mathrm{init}}^{2}=2/D_{l-1}$.($a^{(l-1)}$ が対称になるのは,重みが平均 0 の対称な分布から独立に引かれていて,$a^{(l-1)}=\sum_iW_{ji}z_i$ の各項の符号が等しい確率で入れ替わるためである.)

(3) He:$\sigma_{\mathrm{init}}=\sqrt{2/64}=0.1768$.Xavier(入力・出力とも 64):$\sigma_{\mathrm{init}}^{2}=2/(64+64)=1/64$ で,1 層あたりの倍率は $\tfrac12\times64\times\tfrac{1}{64}=\tfrac12$.10 層で $(1/2)^{10}=1/1024\approx9.8\times10^{-4}$ 倍になり,信号は 3 桁小さくなる(第15章の図15.7(b) の破線と同じ傾向).

演習15.6 原子ごとのエネルギーと力

解答

原子間の距離は $\abs{x_1-x_2}=1.0$,$\abs{x_2-x_3}=1.2$,$\abs{x_1-x_3}=2.2$ Å なので,$e^{-1.0}=0.367879$,$e^{-1.44}=0.236928$,$e^{-4.84}=0.007907$.

(1) $G_1=0.367879+0.007907=0.375787$,$G_2=0.367879+0.236928=0.604807$,$G_3=0.007907+0.236928=0.244835$.原子ごとのエネルギーは $\varepsilon(G_i)=-\tanh G_i$ で $(-0.359043,\ -0.540461,\ -0.240057)$ eV,合計 $E=-1.139561$ eV.

(2) 連鎖律(定理15.1)で,$x_2$ が影響するすべての $G_i$ についての和をとる.

$$ \begin{aligned} F_2&=-\pdiff{E}{x_2}=-\sum_{i=1}^{3}\varepsilon'(G_i)\,\pdiff{G_i}{x_2},\\ \varepsilon'(G)&=v\bigl(1-\tanh^{2}G\bigr). \end{aligned} $$

$\varepsilon'(G_1)=-0.871088$,$\varepsilon'(G_2)=-0.707901$,$\varepsilon'(G_3)=-0.942373$ eV.$G_i$ の偏微分は,$\pdiff{}{x_2}e^{-(x_i-x_2)^{2}}=2(x_i-x_2)e^{-(x_i-x_2)^{2}}$($i\ne2$)を使って

$$ \begin{aligned} \pdiff{G_1}{x_2}&=2(0-1.0)\times0.367879\\ &=-0.735759,\\ \pdiff{G_3}{x_2}&=2(2.2-1.0)\times0.236928\\ &=0.568627,\\ \pdiff{G_2}{x_2}&=-2(1.0-0)\times0.367879\\ &\quad-2(1.0-2.2)\times0.236928\\ &=-0.735759+0.568627\\ &=-0.167132 \end{aligned} $$

(単位 Å$^{-1}$).各原子のエネルギーからの寄与 $-\varepsilon'(G_i)\,\partial G_i/\partial x_2$ は,原子 1 から $-0.640911$,原子 2 から $-0.118313$,原子 3 から $+0.535858$ eV/Å で,

$$ \begin{aligned} F_2&=-0.640911-0.118313+0.535858\\ &=-0.223366\ \mathrm{eV/Å}. \end{aligned} $$

原子 2 に働く力の大部分は,原子 2 自身のエネルギーではなく,隣の原子のエネルギーが $x_2$ に依存することから来ている.同様に $F_1=1.224848$,$F_3=-1.001482$ eV/Å である(この模型では $v\lt0$ なので原子どうしが引き合い,両端の原子が内向きに引かれる).

(3) $G_i$ は原子間の差 $x_i-x_j$ だけの関数なので,全原子を同じだけ $c$ ずらしても $E$ は変わらない:$E(x_1+c,x_2+c,x_3+c)=E(x_1,x_2,x_3)$.両辺を $c$ で微分して $c=0$ とおくと $\sum_k\partial E/\partial x_k=0$,すなわち $F_1+F_2+F_3=0$ である(実際 $1.224848-0.223366-1.001482=0$).並進で変わらないエネルギーからは,内力の和が 0 になる力しか出てこない.第16章で扱う「不変性」の例である.

演習15.7 焼結データの学習曲線を読む

解答

(1) 検証 RMSE が最小(1.50 %)のエポック 1187 の重みを採用する(早期終了).それより前は訓練・検証とも下がっており学習が足りず,それより後は訓練 RMSE だけが下がって検証 RMSE が上がる(2000 で 1.65 %,5000 で 1.94 %)ので過学習である.

(2) データ A の観測にはノイズ(標準偏差 1.0 %)が入っているので,真の関数そのものを予測しても,訓練データでの RMSE は 1 % 程度残るはずである.0.31 % はそれより大幅に小さく,モデルが真の関数ではなく,個々の観測のノイズに合わせて曲がっていること(ノイズまで覚えたこと)を示す.パラメーター 49 個に対してデータが 8 個しかないので,8 点を通る曲線はいくらでも作れる.

(3) よくない.検証データで何十通りもの選択を行うと,選ばれた組み合わせは検証データの偶然のばらつきにも合わせられているので,検証 RMSE は将来のデータでの誤差を楽観的に見積もる.選択に一度も使っていないテストデータで最後に 1 回だけ評価した値を報告する(第6章 6.3 節).

(4) 交差検証(第6章 6.5 節)で止めるエポックや $\lambda$ を選び,最後に全データで学習し直す.同じ焼成バッチの試料を訓練と検証に分けないように分割する(第6章 6.8 節).また,データが 8 個ならパラメーターの少ないモデル(第8章の基底関数の回帰,第12章のガウス過程回帰)を先に試し,ニューラルネットワークを使う利点があるかを検証データで比べる.訓練データの温度範囲(1159〜1473 °C)の外の予測は,どのモデルでも外挿として扱う.

演習15.8 重み減衰と MAP 推定

解答

(1) Bayes の定理より $p(\bm{w}\mid\data)\propto p(\data\mid\bm{w})\,p(\bm{w})$.観測が独立な Gauss 分布なので

$$ p(\data\mid\bm{w})=\prod_{n=1}^{N}\frac{1}{\sqrt{2\pi\sigma^{2}}}\exp\Bigl(-\frac{(y_n-f_n)^{2}}{2\sigma^{2}}\Bigr). $$

ここで $f_n=f(\bm{x}_n;\bm{w})$ である.

事前分布は $p(\bm{w})\propto\exp\bigl(-\norm{\bm{w}}^{2}/(2\sigma_w^{2})\bigr)$.負の対数をとり,$\bm{w}$ によらない項をまとめて $C$ とすると

$$ \begin{aligned} -\ln p(\bm{w}\mid\data)=&\ \frac{1}{\sigma^{2}}\sum_{n=1}^{N}\frac12(f_n-y_n)^{2}\\ &+\frac{1}{2\sigma_w^{2}}\norm{\bm{w}}^{2}+C . \end{aligned} $$

(2) 正の定数 $\sigma^{2}/N$ を掛けても最小にする $\bm{w}$ は変わらない.

$$ \begin{aligned} &\frac{\sigma^{2}}{N}\bigl(-\ln p(\bm{w}\mid\data)-C\bigr)\\ &\quad=\frac1N\sum_{n=1}^{N}\frac12(f_n-y_n)^{2}+\frac{\sigma^{2}}{2N\sigma_w^{2}}\norm{\bm{w}}^{2}. \end{aligned} $$

これは平均の損失に $\tfrac{\lambda}{2}\norm{\bm{w}}^{2}$ を足した形で,$\lambda=\sigma^{2}/(N\sigma_w^{2})$ である.したがって重み減衰つきの損失を最小にすることは,Gauss の事前分布のもとでの MAP 推定と同じである.データが多いほど($N$ が大きいほど)平均の規約の $\lambda$ は小さくなる.和の規約の $\lambda'=\sigma^{2}/\sigma_w^{2}$(第8章の Ridge と同じ対応)は $N$ によらない.バイアスに罰則を掛けないことは,バイアスの事前分布を一様(非常に広い)とすることに当たる.

(3) 標準化した単位では,ノイズの標準偏差は $1.0/7.15$,分散は $(1/7.15)^{2}=0.01955$ である.$N=20$,$\sigma_w=1$ なら $\lambda=0.01955/20=9.8\times10^{-4}$ で,シミュレーター15.3 の選択肢の $10^{-3}$ にほぼ等しい.ただしミニバッチの損失はミニバッチの平均なので,1 回の更新の罰則の効き方は全データの平均の損失のときと同じであり,この対応はミニバッチ学習でもそのまま使える.

第16章 構造を利用する深層学習 — 画像・グラフ・対称性

演習16.1 1 次元の畳み込みと出力の長さ

解答

(1) valid なので,窓が入力の中に収まる $t=1,2,3,4$ の 4 個の出力ができる.$y_t=x_t-x_{t+1}$ より

$$ \begin{aligned} y_1&=1-2=-1,\quad y_2=2-0=2,\\ y_3&=0-(-1)=1,\quad y_4=-1-3=-4 . \end{aligned} $$

$\bm{y}=(-1,2,1,-4)$.このフィルターは隣との差をとるので,信号が右へ向かって減る所で正,増える所で負になる.つまり右向きの変化(段差・端)を符号付きで検出する.

(2) 出力の長さは $\lfloor(T+2P-k)/s\rfloor+1$ である.

(3) $s=1$ では $T_{\mathrm{out}}=T+2P-k+1$ なので,$T_{\mathrm{out}}=T$ となる条件は $2P=k-1$,すなわち $P=(k-1)/2$ である.$k=5$ なら $P=2$ で,(a) はちょうどこの条件を満たす.幅 $k$ の窓は中心の左右に $(k-1)/2$ 個ずつはみ出すので,その分だけ 0 を足せば端の位置にも窓を置ける.

演習16.2 小さな CNN のパラメーターを数える

解答

(1) same の 3×3 の畳み込みは縦横を変えず,2×2 の max pooling(ストライド 2)は縦横を半分にする.

(2) 第16章の式 (16.5) $N_{\mathrm{param}}=C_{\mathrm{out}}(k^{2}C_{\mathrm{in}}+1)$ を使う.

$$ \begin{aligned} \text{畳み込み 1}&:\ 8\times(9\times1+1)=80,\\ \text{畳み込み 2}&:\ 16\times(9\times8+1)=1168,\\ \text{全結合}&:\ 3\times(16+1)=51 . \end{aligned} $$

プーリングと全体の平均にはパラメーターが無いので,総数は $80+1168+51=1299$ 個.

(3) 画素は $128\times128=16384$ 個.直接 3 クラスにつなぐと $3\times(16384+1)=49155$ 個.100 個の隠れユニットを挟むと,1 層目が $100\times(16384+1)=1\,638\,500$ 個,2 層目が $3\times(100+1)=303$ 個で,計 $1\,638\,803$ 個.(2) の CNN はそれぞれの約 $1/38$,約 $1/1262$ のパラメーターで,しかも像の大きさを変えても畳み込みの部分のパラメーター数は変わらない(全体の平均のおかげで全結合の部分も変わらない).

演習16.3 ずらしと可換な線形写像は畳み込み

解答

以下,添字は全て $T$ を法として $0,\dots,T-1$ で数える.

(1) 周期境界の畳み込みの線形部分は $y_t=\sum_{u=-r}^{r}w_ux_{t+u}$ である.$s=t+u$ とおくと,$y_t=\sum_sC_{ts}x_s$ の係数は,$s-t\equiv u$($\bmod T$)となる $u\in\{-r,\dots,r\}$ があれば $C_{ts}=w_u$,なければ $0$ である.これは $s-t$ だけで決まるので,$c_m=w_m$($0\le m\le r$),$c_{T-m}=w_{-m}$($1\le m\le r$),その他の $c_m=0$ とおけば $C_{ts}=c_{(s-t)\bmod T}$ と書ける($2r+1\le T$ とする).

(2) $(\bm{S}\bm{x})_t=x_{t-1}$ より,$S_{qs}=1$ となるのは $s=q-1$,すなわち $q=s+1$ のときだけで,それ以外は 0.したがって

$$ \begin{aligned} (\bm{C}\bm{S})_{ts}&=\sum_qC_{tq}S_{qs}=C_{t,s+1}\\ &=c_{s+1-t},\\ (\bm{S}\bm{C})_{ts}&=\sum_qS_{tq}C_{qs}=C_{t-1,s}\\ &=c_{s-(t-1)}=c_{s+1-t}. \end{aligned} $$

両者は等しいので $\bm{C}\bm{S}=\bm{S}\bm{C}$.

(3) (2) の計算は $\bm{C}$ の形を使わずに $(\bm{C}\bm{S})_{ts}=C_{t,s+1}$,$(\bm{S}\bm{C})_{ts}=C_{t-1,s}$ を与える.よって $\bm{C}\bm{S}=\bm{S}\bm{C}$ なら,全ての $t,s$ で $C_{t,s+1}=C_{t-1,s}$.$t$ を $t+1$ に置き換えると $C_{t+1,s+1}=C_{t,s}$,つまり $\bm{C}$ の成分は右下へ斜めに進んでも変わらない.これを $t$ 回繰り返すと

$$ C_{t,s}=C_{t-1,s-1}=\cdots=C_{0,\,s-t} $$

となり,$c_m\equiv C_{0,m}$ とおけば $C_{ts}=c_{(s-t)\bmod T}$ で,(1) の形(巡回行列)である.

(4) $\bm{S}$ と可換であることは,「1 つずらしてから写しても,写してからずらしても同じ」,すなわち並進同変であることと同じである($\bm{S}^{\tau}=S_\tau$ なので 1 つのずらしで十分).したがって,周期境界のもとで並進同変な線形の層は,必ず何らかのフィルターによる畳み込みである.ただしフィルターの幅は最大 $T$ まであり得る.フィルターが小さい(局所的)というのは,並進同変性とは別の追加の仮定である.

演習16.4 倍率と受容野

解答

(1) 例題16.4 の最後は $r=32$,$j=4$.2×2 の max pooling($k=2$,$s=2$)で $r=32+(2-1)\times4=36$,$j=4\times2=8$.3×3 の畳み込みで $r=36+(3-1)\times8=52$.受容野は 52 画素.

(2) 0.1 μm/画素では,粒 1 個は $5/0.1=50$ 画素,受容野は $52\times0.1=5.2$ μm で,粒 1 個分ほどである.0.5 μm/画素では,粒 1 個は $5/0.5=10$ 画素,受容野は $52\times0.5=26$ μm で,粒が約 5 個並ぶ範囲である.

(3) 0.1 μm/画素で学んだフィルターは「50 画素ほどの粒」の模様(粒界の曲がり方,粒の内部の明るさの一様さ)に合わせてできている.0.5 μm/画素の像では同じ組織の粒が 10 画素しかなく,フィルターから見ると全く別の模様になるので,予測は信用できない(訓練とテストの分布の違い).対策の例:(i) 予測の前に像を拡大・縮小して画素の大きさを 0.1 μm/画素にそろえる(ただし 0.5 μm/画素の像を拡大しても失われた細部は戻らないので,学習側を 0.5 μm/画素にそろえるほうが安全なこともある).(ii) 訓練データに両方の倍率の像を入れる,あるいは拡大・縮小したデータ拡張を行う.(iii) 評価を倍率ごとに分けて報告し,倍率が違う像に使えるかを確かめる.

演習16.5 単純立方格子のグラフ

解答

原子の位置を原点とすると,周期像は $a\bm{n}$($\bm{n}\in\mathbb{Z}^{3}$,$\bm{n}\ne\bm{0}$)にあり,距離は $a\norm{\bm{n}}$ である.

(1) $a\norm{\bm{n}}\lt4.5$ Å,すなわち $\norm{\bm{n}}\lt1.5$ となるのは,$\norm{\bm{n}}=1$($(\pm1,0,0)$ など 6 個,距離 3.0 Å)と $\norm{\bm{n}}=\sqrt2\approx1.414$($(\pm1,\pm1,0)$ など 12 個,距離 $3\sqrt2=4.243$ Å).$\norm{\bm{n}}=\sqrt3\approx1.732$ は入らない.辺は $6+12=18$ 本,長さは 3.0 Å と 4.243 Å の 2 種類.

(2) $\norm{\bm{n}}\lt5.5/3=1.833$ なので,$\norm{\bm{n}}=\sqrt3$($(\pm1,\pm1,\pm1)$ の 8 個,距離 $3\sqrt3=5.196$ Å)が加わり,$18+8=26$ 本,長さは 3 種類.$\norm{\bm{n}}=2$ は 6.0 Å で入らない.

(3) 単位胞の原子は 1 個だけなので,辺の相手は全て自分自身の周期像(自己ループ)である.単位胞の中の原子の組に辺を 1 本ずつ張るグラフでは,組が 1 つも無いので辺が 0 本になり,孤立した 1 個の原子と区別できない.配位数(18 や 26),近接距離,格子定数の情報が全て失われる.周期像ごとに辺を区別する多重グラフにする必要がある.

(4) 2×2×2 の超格子(一辺 6.0 Å,原子 8 個)でも,各原子の周りの原子の並びは全く同じなので,各原子から出る辺はやはり 18 本($r_{\mathrm c}=4.5$ Å)である.ただし相手は超格子の中の別の原子やその周期像になり,同じ相手への辺が 2 本ある場合もある(たとえば $(0,0,0)$ から $(3,0,0)$ へは,その原子自身と $-6$ Å ずれた周期像の 2 本).全原子の特徴は元の 1 原子の場合と同じ値になるので,平均の読み出しの出力は変わらない(和の読み出しなら 8 倍).

演習16.6 和で集めると番号によらない

解答

(1) 付け替えた後の量に波線を付ける.新しい頂点 $i$ は元の頂点 $\pi(i)$ なので,$\tilde{\bm{h}}_i=\bm{h}_{\pi(i)}$,辺の特徴は $\tilde{\bm{e}}_{ij}=\bm{e}_{\pi(i)\pi(j)}$,近傍は「$\tilde{j}\in\tilde{\mathcal{A}}(i)$ ⇔ $\pi(\tilde{j})\in\mathcal{A}(\pi(i))$」である.新しい頂点 $i$ のメッセージの和は

$$ \begin{aligned} \tilde{\bm{m}}_i&=\sum_{\tilde{j}\in\tilde{\mathcal{A}}(i)}M\bigl(\tilde{\bm{h}}_i,\tilde{\bm{h}}_{\tilde{j}},\tilde{\bm{e}}_{i\tilde{j}}\bigr)\\ &=\sum_{\tilde{j}\in\tilde{\mathcal{A}}(i)}M\bigl(\bm{h}_{\pi(i)},\bm{h}_{\pi(\tilde{j})},\bm{e}_{\pi(i)\pi(\tilde{j})}\bigr). \end{aligned} $$

$j=\pi(\tilde{j})$ と置き換えると,$\tilde{j}$ が $\tilde{\mathcal{A}}(i)$ を動くとき $j$ は $\mathcal{A}(\pi(i))$ をちょうど 1 回ずつ動く($\pi$ は 1 対 1).和は足す順番によらないので

$$ \tilde{\bm{m}}_i=\sum_{j\in\mathcal{A}(\pi(i))}M\bigl(\bm{h}_{\pi(i)},\bm{h}_j,\bm{e}_{\pi(i)j}\bigr)=\bm{m}_{\pi(i)} . $$

したがって $\tilde{\bm{h}}'_i=U(\tilde{\bm{h}}_i,\tilde{\bm{m}}_i)=U(\bm{h}_{\pi(i)},\bm{m}_{\pi(i)})=\bm{h}'_{\pi(i)}$.1 ステップ後も「新しい頂点 $i$ の特徴=元の頂点 $\pi(i)$ の特徴」が成り立つので,同じ議論を繰り返せば何ステップ後でも成り立つ(数学的帰納法).

(2) $\sum_ig(\tilde{\bm{h}}_i)=\sum_ig(\bm{h}_{\pi(i)})$ で,$k=\pi(i)$ と置き換えると $i$ が $1,\dots,N_{\mathrm{at}}$ を動くとき $k$ もちょうど 1 回ずつ動くので $=\sum_kg(\bm{h}_k)$.$R$ をかけても同じなので,読み出しは不変である.平均も $1/N_{\mathrm{at}}$ を掛けるだけなので不変.

(3) 原子 1 と 2 を入れ替えても出力が変わらないためには,全ての $h_1,h_2,h_3$ について $w_1h_2+w_2h_1+w_3h_3=w_1h_1+w_2h_2+w_3h_3$,すなわち $(w_1-w_2)(h_2-h_1)=0$ が必要である.$h_1\ne h_2$ となる入力があるので $w_1=w_2$.同様に 1 と 3,2 と 3 の入れ替えから $w_1=w_3$.したがって $w_1=w_2=w_3=w$ のときに限り不変で,そのとき $\hat{y}=w(h_1+h_2+h_3)$ は和の読み出しそのものである.3 個の原子が別々の元素で,同じ元素どうしの入れ替えだけを考えればよい場合は,同じ元素の原子の重みが等しいことだけが条件になる.

演習16.7 2 原子の力を回す

解答

(1) 距離は $r=\sqrt{0.6^{2}+0.8^{2}}=1.0$ Å で $r_0=1.2$ Å より短いので,ばねは縮んでいる.

$$ \begin{aligned} E&=\tfrac{4}{2}(1.0-1.2)^{2}\\ &=2\times0.04=0.08\ \text{eV},\\ V'(r)&=k(r-r_0)=4\times(-0.2)=-0.8\ \text{eV/Å}. \end{aligned} $$

第16章の式 (16.17)(対ポテンシャルの力)より

$$ \begin{aligned} \bm{F}_1&=V'(r)\frac{\bm{r}_2-\bm{r}_1}{r}\\ &=-0.8\times(0.6,0.8)\\ &=(-0.48,\,-0.64),\\ \bm{F}_2&=V'(r)\frac{\bm{r}_1-\bm{r}_2}{r}\\ &=(0.48,\,0.64) \end{aligned} $$

(eV/Å).縮んだばねなので,原子 1 は原子 2 から遠ざかる向きに押され,原子 2 も原子 1 から遠ざかる向きに押される.

(2) $\bm{Q}=\begin{pmatrix}0&-1\\1&0\end{pmatrix}$ で回すと $\bm{r}'_1=(0,0)$,$\bm{r}'_2=(-0.8,0.6)$.距離は 1.0 Å のままなので $E=0.08$ eV.

$$ \begin{aligned} \bm{F}'_1&=-0.8\times(-0.8,0.6)=(0.64,\,-0.48),\\ \bm{F}'_2&=(-0.64,\,0.48). \end{aligned} $$

一方 $\bm{Q}\bm{F}_1=\bm{Q}(-0.48,-0.64)^{\tp}=(0.64,-0.48)^{\tp}$,$\bm{Q}\bm{F}_2=(-0.64,0.48)^{\tp}$ で一致する.

(3) 回転と並進の後の位置を $\bm{r}'_i=\bm{Q}\bm{r}_i+\bm{t}$ とすると,$\bm{r}'_2-\bm{r}'_1=\bm{Q}(\bm{r}_2-\bm{r}_1)$,その長さは $\norm{\bm{Q}(\bm{r}_2-\bm{r}_1)}=r$($\bm{Q}^{\tp}\bm{Q}=\bm{I}$).したがって

$$ \begin{aligned} \bm{F}_1(\bm{\mathcal{R}}')&=V'(r)\frac{\bm{Q}(\bm{r}_2-\bm{r}_1)}{r}\\ &=\bm{Q}\Bigl(V'(r)\frac{\bm{r}_2-\bm{r}_1}{r}\Bigr)=\bm{Q}\bm{F}_1(\bm{\mathcal{R}}). \end{aligned} $$

$\bm{F}_2$ も同様.$\bm{t}$ は差をとるときに消えるので,並進では力は変わらない.また,$\bm{F}_1+\bm{F}_2$ は $V'(r)/r$ に $(\bm{r}_2-\bm{r}_1)+(\bm{r}_1-\bm{r}_2)=\bm{0}$ を掛けたものなので $\bm{0}$ である.これで定理16.2 の 2 つの性質(回転同変と力の和 0)が確かめられた.

演習16.8 バンドギャップを予測するモデルを設計する

解答

以下は解答の一例である.

(1) 入力:結晶構造(格子ベクトル,単位胞の中の原子の位置と元素).第16章 16.5 節の周期的な多重グラフにし,頂点の特徴は元素の情報,辺の特徴は距離(の動径基底展開)とする.出力:バンドギャップ(スカラー,単位 eV,0 以上).出力層に softplus などを使えば負の値を出さないようにできる.不変性:並進・回転・同じ元素の原子の並べ替えに対して不変.さらに単位胞の取り方(原点の位置,基本単位胞か慣用単位胞か超格子か)によらないこと.読み出し:バンドギャップは結晶の大きさによらない示強的な量なので平均.和にすると,同じ結晶を超格子で入力しただけで予測が原子数倍に変わってしまう.

(2) 無作為な分割で漏洩の原因になるもの:同じ組成で構造がわずかに違うもの(多形・わずかに歪んだ構造),同じ構造の型で化学的に似た元素を置き換えたもの(たとえば同族元素の置換),同じ物質を別の計算条件で計算した重複データ.これらが訓練とテストに分かれると,テストは「ほとんど同じものを当てる」問題になる.対策:同じ組成の構造は全て同じ側に入れる(組成で分割),元素の組み合わせ(化学系)や構造の型でまとめて分ける,特定の元素を含むものを丸ごとテストに回す(未知の元素への外挿の評価).

(3) 第一原理計算の値は,使った近似の性質を引き継ぐ.たとえば,広く使われる局所密度近似(LDA)による密度汎関数法の計算では,半導体・絶縁体のバンドギャップが実験値より小さく出ることが知られている(J. P. Perdew, M. Levy, Phys. Rev. Lett. 51, 1884 (1983)).モデルは実験値ではなく「その計算法の値」を学ぶ.実験値を予測したいなら,少数の実験値で計算値とのずれを学び直す(差を学習する.第27章 27.8 節),計算値と実験値の対応をテストで別に評価する,などが必要である.また,データに金属(ギャップ 0)が多く含まれると平均の誤差が小さく見えるので,0 でないものだけでの誤差も報告する.

(4) 新しい元素が訓練データに 1 度も現れないなら,その元素の特徴(埋め込み)は学習されておらず,予測には根拠がない.確かめ方:その元素や似た元素が訓練データに何件あるかを数える,特定の元素を抜いて学習・評価する試験で外挿の誤差の大きさを見積もる,乱数の seed を変えて学習した複数のモデルの予測のばらつきを不確かさの目安にする,有望な候補だけ第一原理計算で確かめてから実験に回す.

第17章 クラスタリング・混合分布・EM 法 — 見えないラベルを推定する

演習17.1 $K=3$ の k-means と $J$ の下がり方

解答

(1) 割り当て(代表点 $1,6,11$):$x=1$ は 1 まで 0,$x=2$ は 1 まで 1・6 まで 4 なのでクラスター 1.$x=6$ は 6 まで 0 でクラスター 2.$x=9$ は 6 まで 3・11 まで 2 なのでクラスター 3.$x=10,11$ もクラスター 3.更新:$\mu_1=(1+2)/2=1.5$,$\mu_2=6$,$\mu_3=(9+10+11)/3=10$.割り当て:$x=2$ は 1.5 まで 0.5・6 まで 4,$x=6$ は 6 まで 0,$x=9$ は 6 まで 3・10 まで 1 で,割り当ては変わらない.収束したときの

$$ \begin{aligned} J&=(0.5^{2}+0.5^{2})+0^{2}+(1^{2}+0^{2}+1^{2})\\ &=0.5+0+2=2.5\ \mu\mathrm{m}^{2}. \end{aligned} $$

(2) $K=1$:代表点は全体の平均 $(1+2+6+9+10+11)/6=39/6=6.5$ で,

$$ \begin{aligned} J^{*}_1&=5.5^{2}+4.5^{2}+0.5^{2}\\ &\quad+2.5^{2}+3.5^{2}+4.5^{2}\\ &=30.25+20.25+0.25\\ &\quad+6.25+12.25+20.25\\ &=89.5 . \end{aligned} $$

$K=2$:例題17.3 で調べたとおり $J^{*}_2=14.5$.$K=3$:1 次元では連続した 3 つのまとまりに分ける分け方($\binom{5}{2}=10$ 通り)を調べればよい.小さい方から $\{1,2\}\{6\}\{9,10,11\}$ が $0.5+0+2=2.5$,$\{1,2\}\{6,9\}\{10,11\}$ が $0.5+4.5+0.5=5.5$,$\{1,2\}\{6,9,10\}\{11\}$ が $0.5+8.67+0=9.17$,$\{1\}\{2,6\}\{9,10,11\}$ が $0+8+2=10$ で,ほかはさらに大きい.$J^{*}_3=2.5$ で,(1) の答えが最適解である.

(3) $J^{*}_K$ は $89.5\to14.5\to2.5$ と下がる.差で見ると $K=1\to2$ で 75,$2\to3$ で 12 なので,$K=2$ に肘があるように見える.しかし比で見ると,どちらも約 $1/6$ に下がっていて,肘ははっきりしない.$K=3$ では点 $x=6$ が 1 点だけのクラスターになる.これが「第 3 のグループ」なのか「外れ値」なのかは,6 点のデータからは決められない.肘の判断は,$J$ を差で見るか比で見るかという見方にも左右され,データが少ないと特に危うい.

演習17.2 全成分で共通の分散を持つ Gauss 混合

解答

(1) 対数尤度は $\ln p=\sum_n\ln\sum_k\pi_k\Normal(x_n\mid\mu_k,\sigma^{2})$ で,$\sigma^{2}$ はすべての成分に入っている.第17章 17.5.2 項と同じく $\partial f/\partial\sigma^{2}=f\,\partial\ln f/\partial\sigma^{2}$ を使うと

$$ \pdiff{\ln p}{\sigma^{2}}=\sum_{n}\sum_{k}\gamma_{nk}\,\pdiff{\ln\Normal(x_n\mid\mu_k,\sigma^{2})}{\sigma^{2}} . $$

$\ln\Normal(x\mid\mu,\sigma^{2})=-\tfrac12\ln2\pi$ $-\tfrac12\ln\sigma^{2}-\dfrac{(x-\mu)^{2}}{2\sigma^{2}}$ なので,$\sigma^{2}$ での微分は $-\dfrac{1}{2\sigma^{2}}+\dfrac{(x-\mu)^{2}}{2\sigma^{4}}$ である.代入して $\sum_k\gamma_{nk}=1$ を使うと

$$ \begin{aligned} \pdiff{\ln p}{\sigma^{2}}&=-\frac{N}{2\sigma^{2}}\\ &\quad+\frac{1}{2\sigma^{4}}\sum_n\sum_k\gamma_{nk}(x_n-\mu_k)^{2}=0 . \end{aligned} $$

両辺に $2\sigma^{4}$ を掛けて $\sigma^{2}$ について解くと

$$ \sigma^{2}=\frac{1}{N}\sum_{n=1}^{N}\sum_{k=1}^{K}\gamma_{nk}(x_n-\mu_k)^{2}. $$

$\mu_k$ と $\pi_k$ の更新式は,成分ごとの分散のときと変わらない($\mu_k$ の停留条件では $\sigma^{2}$ が共通の因子として外に出て消える).

(2) 例題17.7 で,新しい平均のまわりの重み付き 2 乗和は $\sum_n\gamma_{n1}(x_n-\mu_1)^{2}=1.92348$,$\sum_n\gamma_{n2}(x_n-\mu_2)^{2}=11.71107$ だった.したがって

$$ \begin{aligned} \sigma^{2}&=\frac{1.92348+11.71107}{4}\\ &=\frac{13.63455}{4}=3.40864 . \end{aligned} $$

成分ごとの値 1.20123 と 4.88218 を,実効的な個数 $N_1=1.60126$,$N_2=2.39874$ で重み付けた平均 $(1.60126\times1.20123+2.39874\times4.88218)/4$ と同じ値である.

(3) 退化は起きない.1 点に縮むには $\sigma^{2}\to0$ が必要だが,分散は共通なので全成分が同時に縮む.データの異なる値の数が $K$ より多ければ,どの平均からも距離 $\delta\gt0$ 以上離れた点が必ず 1 つはあり,その点の密度は $\sigma^{2}\to0$ で $e^{-\delta^{2}/(2\sigma^{2})}/\sigma$ のように 0 へ向かう.この因子の対数 $-\delta^{2}/(2\sigma^{2})-\ln\sigma$ は,1 点に平均を置いた項の $-\ln\sigma$ による増加よりはるかに速く $-\infty$ へ向かうので,対数尤度は発散しない.

演習17.3 事前分布を置いた EM 法(MAP 推定)

解答

EM 法の分解で $\ln p(\bm{X}\mid\bm{\theta})$ の代わりに $\ln p(\bm{X}\mid\bm{\theta})+\ln p(\bm{\theta})$ を考えると,$\ln p(\bm{\theta})$ は $\bm{Z}$ によらないので,E ステップはそのまま,M ステップは $\mathcal{Q}+\ln p(\bm{\theta})$ の最大化になる.対数事後分布も反復で減らない.

(1) 第17章 17.7.3 項の $\mathcal{Q}$ で成分 $k$ の Gauss 分布の対数を精度 $\tau_k=1/\sigma_k^{2}$ で書くと,$\ln\Normal(x\mid\mu_k,1/\tau_k)=-\tfrac12\ln2\pi$ $+\tfrac12\ln\tau_k-\tfrac12\tau_k(x-\mu_k)^{2}$.$\tau_k$ を含む項を集めると

$$ \begin{aligned} F(\tau_k)&=\sum_n\gamma_{nk}\Bigl[\tfrac12\ln\tau_k-\tfrac12\tau_k(x_n-\mu_k)^{2}\Bigr]\\ &\quad+(a-1)\ln\tau_k-b\tau_k\\ &=\Bigl(\tfrac{N_k}{2}+a-1\Bigr)\ln\tau_k\\ &\quad-\Bigl(\tfrac{S_k}{2}+b\Bigr)\tau_k . \end{aligned} $$

微分して 0 とおくと

$$ \frac{N_k/2+a-1}{\tau_k}-\frac{S_k}{2}-b=0 . $$

両辺に $2\tau_k$ を掛けて $\tau_k$ について解くと

$$ \tau_k=\frac{N_k+2a-2}{S_k+2b},\qquad \sigma_k^{2}=\frac{S_k+2b}{N_k+2a-2}. $$

$F''(\tau_k)=-(N_k/2+a-1)/\tau_k^{2}\lt0$($a\gt1$)なので最大点である.$\mu_k$ は事前分布に含まれないので,更新式は重み付き平均のまま変わらない($S_k$ はその新しい $\mu_k$ で計算する).$a=1$,$b=0$ とすると最尤推定の式に戻る.

(2) $\pi_k$ を含む項は $\sum_k N_k\ln\pi_k+(\alpha-1)\sum_k\ln\pi_k$ $=\sum_k(N_k+\alpha-1)\ln\pi_k$ である.制約 $\sum_k\pi_k=1$ のもとで,Lagrange 関数 $\Lambda=\sum_k(N_k+\alpha-1)\ln\pi_k+\nu\bigl(\sum_k\pi_k-1\bigr)$ を $\pi_k$ で微分して 0 とおくと

$$ \frac{N_k+\alpha-1}{\pi_k}+\nu=0, $$

すなわち $\pi_k=-(N_k+\alpha-1)/\nu$.

$k$ について足すと $1=-\bigl(N+K(\alpha-1)\bigr)/\nu$,よって $\nu=-\bigl(N+K(\alpha-1)\bigr)$ で

$$ \pi_k=\frac{N_k+\alpha-1}{N+K(\alpha-1)} . $$

$\alpha\gt1$ なら,どの点も受け持たない成分($N_k=0$)にも $\pi_k\gt0$ が残る.$\alpha=1$(一様な事前分布)なら最尤推定の $N_k/N$ に戻る.

(3) $\sigma_k^{2}=(0+2\times0.1)/(1+2\times2-2)$ $=0.2/3=0.0667$.一般に $S_k\ge0$ だから $\sigma_k^{2}\ge2b/(N_k+2a-2)\gt0$ で,分散は 0 にならない.対数事後分布の中で $-b\tau_k$ の項が $\tau_k\to\infty$($\sigma_k\to0$)で $-\infty$ へ向かい,1 点の密度による $\tfrac12\ln\tau_k$ の増加を打ち消すので,退化は起きない.これは「事前分布が仮想的なデータ(2 乗和 $2b$,個数 $2a-2$ 個分)を各成分に足している」と読める.

演習17.4 異常粒成長した粒を見分ける

解答

(1) $u=\ln4=1.38629$.標準化した距離は $z_1=(1.38629-0.718)/0.282=2.36984$,$z_2=(1.38629-2.122)/0.255=-2.88512$.

$$ \begin{aligned} \pi_1\Normal(u\mid\mu_1,\sigma_1^{2})&=0.866\times\frac{e^{-2.36984^{2}/2}}{\sqrt{2\pi}\times0.282}\\ &=0.866\times\frac{0.060322}{0.70687}\\ &=0.073902,\\ \pi_2\Normal(u\mid\mu_2,\sigma_2^{2})&=0.134\times\frac{e^{-2.88512^{2}/2}}{\sqrt{2\pi}\times0.255}\\ &=0.134\times\frac{0.015577}{0.63919}\\ &=0.0032656 . \end{aligned} $$

$\gamma_2=0.0032656/(0.073902+0.0032656)$ $=0.0423$.径 4 μm の粒は,大きな粒の成分に 4 % しか負担されない.

(2) $\ln\bigl[\pi_1\Normal(u\mid\mu_1,\sigma_1^{2})\bigr]=\ln\bigl[\pi_2\Normal(u\mid\mu_2,\sigma_2^{2})\bigr]$,すなわち

$$ \ln\frac{\pi_1}{\sigma_1}-\frac{(u-\mu_1)^{2}}{2\sigma_1^{2}}=\ln\frac{\pi_2}{\sigma_2}-\frac{(u-\mu_2)^{2}}{2\sigma_2^{2}} $$

を解く($\sqrt{2\pi}$ は両辺で消える).展開して $Au^{2}+Bu+C=0$ の形にすると

$$ \begin{aligned} A&=\frac{1}{2\sigma_2^{2}}-\frac{1}{2\sigma_1^{2}}\\ &=7.68935-6.28741=1.40194,\\ B&=\frac{\mu_1}{\sigma_1^{2}}-\frac{\mu_2}{\sigma_2^{2}}\\ &=9.02872-32.63360=-23.60488,\\ C&=\frac{\mu_2^{2}}{2\sigma_2^{2}}-\frac{\mu_1^{2}}{2\sigma_1^{2}}+\ln\frac{\pi_1\sigma_2}{\pi_2\sigma_1}\\ &=34.62425-3.24131+1.76540\\ &=33.14834 . \end{aligned} $$

解の公式から

$$ \begin{aligned} u&=\frac{23.60488\pm\sqrt{557.19-185.89}}{2.80388}\\ &=\frac{23.60488\pm19.26921}{2.80388}, \end{aligned} $$

すなわち $u=1.5463$ と $u=15.291$.前者は $d=e^{1.5463}=4.69\ \mu\mathrm{m}$ で,これより大きい粒は成分 2 の負担率が 0.5 を超える.後者($d\approx4\times10^{6}\ \mu\mathrm{m}$)は,分散の大きい成分 1 の裾が遠方で再び勝つために現れる解で,物理的な意味はない(分散が違うと境目は 2 次方程式の解になり,2 つ現れうる).

(3) 収束した EM 法では $\pi_2=N_2/N$ なので $N_2=0.134\times300=40.2$.生成に使った「大きな粒」の 45 個のうち 6 個は $u\lt1.546$($d\lt4.7\ \mu\mathrm{m}$)の小さな値に引かれていて,小さな粒の山に紛れ込んでいる.Gauss 混合は「その値なら小さな粒の成分らしい」と判断するので,これらは成分 1 に負担される.負担率で数えた個数は,生まれの数そのものではなく,値から見た推定である.

(4) 混合モデルが示すのは「対数の粒径の分布に 2 つの山がある」ことだけである.異常粒成長と言うには,たとえば,大きな粒の形(直線的な粒界・ファセット),焼結時間とともに大きな粒の割合と径がどう変わるか,組成の偏りや第二相の有無,観察した断面の位置による違い(断面で見える径は 3 次元の径より小さく出る)などを,組織の観察から確かめる必要がある.凝集した粉の塊や,粒界の見落としで 2 つの粒を 1 つと数えた測定の誤りでも,同じような第 2 の山はできる.

演習17.5 二相領域のパターンは線分の上に並ぶ

解答

(1) $\bm{y}(f)=\bm{a}+f(\bm{b}-\bm{a})$ なので $\bm{y}(f)-\bm{y}(f')=(f-f')(\bm{b}-\bm{a})$.ノルムの性質 $\norm{c\bm{v}}=\abs{c}\norm{\bm{v}}$ から $\norm{\bm{y}(f)-\bm{y}(f')}=\abs{f-f'}\norm{\bm{a}-\bm{b}}$.パターンは $\R^{D}$ の中の線分 $\bm{a}\to\bm{b}$ の上に,$f$ に比例した位置で並ぶ.

(2) (1) より,k-means の $J$ は 1 次元の値 $t=f\norm{\bm{a}-\bm{b}}$ の k-means と同じで,$J$ は $\norm{\bm{a}-\bm{b}}^{2}$ に $f$ の 2 乗和を掛けたものになる.小さい方から $s$ 個とそれ以外に分ける 5 通りについて,$f$ の 2 乗和(各グループの平均のまわり)を計算する.

最小は $s=3$ で,$J=0.16\norm{\bm{a}-\bm{b}}^{2}$.クラスターは $f\le0.4$ と $f\ge0.6$ に分かれる.$x=0.35+0.30f$ なので,$f=0.4$ は $x=0.47$,$f=0.6$ は $x=0.53$ で,境目は二相領域の真ん中 $x\approx0.50$ に来る.

(3) $x=0.50$ には相境界は無い.二相領域ではピークの位置は動かず,2 つの相の量の比がなめらかに変わるだけである.k-means は,この連続的な変化を「離散的なグループ」の言葉でしか表せないので,線分を等分するような位置に人工的な境目を作る.これをもとに「$x=0.5$ に相境界がある」と読むと誤りになる.二相領域を正しく表すには,各パターンを「端のパターン(純粋な相のパターン)の非負の重み付きの和」として表すモデル(線形混合,非負値行列因子分解など),そして重みが組成について 1 次式で変わる(てこの規則)という物理の制約を使うのがよい.なお,各パターンを長さ 1 に規格化すると点は線分ではなく円弧の上に並ぶが,並ぶ順序は変わらないので,結論は同じである.

演習17.6 BIC と AIC

解答

(1) $P=3K-1=2,5,8,11$,$-2\ln\hat{L}=496.34,\ 311.08,\ 299.16,\ 290.90$.

$$ \begin{aligned} \mathrm{BIC}_1&=496.34+2\times5.7038=507.75,\\ \mathrm{BIC}_2&=311.08+5\times5.7038=339.60,\\ \mathrm{BIC}_3&=299.16+8\times5.7038=344.79,\\ \mathrm{BIC}_4&=290.90+11\times5.7038=353.64 . \end{aligned} $$

BIC は $K=2$ で最小.
(2) AIC は罰則がパラメーター 1 個あたり 2 である.

$$ \begin{aligned} \mathrm{AIC}_1&=496.34+4=500.34,\\ \mathrm{AIC}_2&=311.08+10=321.08,\\ \mathrm{AIC}_3&=299.16+16=315.16,\\ \mathrm{AIC}_4&=290.90+22=312.90 . \end{aligned} $$

AIC は $K=1,\dots,4$ の中では $K=4$ で最小で,$K$ を増やすほど小さくなっている.BIC と AIC は別の $K$ を選んだ.
(3) 違いは罰則の大きさである.BIC はパラメーター 1 個に $\ln N$(ここでは 5.70)を,AIC は 2 を課す.$N\ge8$ なら $\ln N\gt2$ なので,BIC の方が少ない成分を選びやすい.目的も違う.BIC はモデルの周辺尤度の近似で,「データを生んだモデルを当てる」ことを目指す.AIC は新しいデータに対する予測の対数尤度の期待値を見積もるもので,「予測がよいモデル」を目指す.このデータでは $K=3,4$ の追加の成分は混合係数 0.02 前後・標準偏差 0.04 程度の,少数の点に合わせた細い成分であり,粒の群れとしての解釈は難しい.どちらの規準を使うにしても,追加された成分が何を表しているかを確かめるべきである.

演習17.7 成分を増やすと当てはまりは必ず良くなる

解答

(1) $K$ 成分の最大点を $\bm{\theta}^{*}_K=\{\pi_k,\bm{\mu}_k,\bm{\Sigma}_k\}_{k=1}^{K}$ とする.これに混合係数 $\pi_{K+1}=0$ の成分(平均と共分散は何でもよい)を足した $K+1$ 成分のパラメーター $\bm{\theta}'$ を作ると,どの $\bm{x}$ でも

$$ \begin{aligned} p(\bm{x}\mid\bm{\theta}')&=\sum_{k=1}^{K}\pi_k\Normal(\bm{x}\mid\bm{\mu}_k,\bm{\Sigma}_k)+0\\ &=p(\bm{x}\mid\bm{\theta}^{*}_K) \end{aligned} $$

なので,対数尤度は同じである.$K+1$ 成分の最大値は,$\bm{\theta}'$ を含むすべての $K+1$ 成分のパラメーターの中での最大だから,$\ln\hat{L}_{K+1}\ge\ln p(\bm{X}\mid\bm{\theta}')=\ln\hat{L}_K$.($\pi_k\gt0$ を要求する場合は,$\pi_{K+1}=\varepsilon$ として他の $\pi_k$ を $1-\varepsilon$ 倍し,$\varepsilon\to0$ とすれば,対数尤度は $\ln\hat{L}_K$ にいくらでも近づくので,上限についての同じ結論が得られる.)同じ分散の下限のもとでも,足した成分の共分散を下限を満たすように選べば同じ議論が成り立つ.

(2) $K$ 個の代表点の最適な組 $\{\bm{\mu}_k\}$ に,任意の 1 点 $\bm{\mu}_{K+1}$ を足す.各点を $K+1$ 個の中で最も近い代表点に割り当て直すと,各点の「最も近い代表点までの距離の 2 乗」は,候補が増えただけなので増えない.したがってこの $K+1$ 個の代表点での $J$ は $J^{*}_K$ 以下で,その最小値である $J^{*}_{K+1}$ も $J^{*}_K$ 以下である.$K=N$ ですべての点が異なるなら,各点を自分自身を代表点とするクラスターにすれば,すべての距離が 0 で $J^{*}_N=0$ である.

(3) (1)(2) は,訓練データへの当てはまり(対数尤度・$J$)が,モデルを複雑にするだけで必ず良くなることを示している.これは第6章で,多項式の次数を上げると訓練誤差が下がり続け,$N$ 個の点を通る多項式で 0 になったのと同じ構図である.訓練データの当てはまりで $K$ を選ぶと,最大の $K$(あるいは $K=N$)が選ばれ,個々の点の偶然の位置に合わせた「過学習」したモデルになる.成分の数は,複雑さに罰則をかける規準(BIC など),検証データでの対数尤度(交差検証),または成分の物理的な解釈で選ぶ必要がある.

第18章 連続潜在変数 — PCA と低次元表現

演習18.1 3 次元の共分散行列の PCA

解答

(1) 3 番目の変数は他の 2 つと共分散が 0 なので,$\bm{S}$ は左上の $2\times2$ のブロック $\begin{pmatrix}3&1\\1&3\end{pmatrix}$ と右下の $1$ に分かれる.左上のブロックの固有方程式は $(3-\lambda)^{2}-1=0$ で,$3-\lambda=\pm1$ から $\lambda=4,\,2$.

確かめ:$\bm{S}\bm{v}_1=\frac{1}{\sqrt2}(3+1,\,1+3,\,0)^{\tp}=4\bm{v}_1$.固有値の和 $4+2+1=7$ は $\tr\bm{S}=3+3+1$ に等しい.

(2) 寄与率は $4/7=57.1\ \%$,$2/7=28.6\ \%$,$1/7=14.3\ \%$.累積寄与率は $57.1\ \%$,$6/7=85.7\ \%$,$100\ \%$.

(3) 定理18.2(第18章の式 (18.6))より,再構成誤差は捨てた固有値の和である.$M=1$ では $2+1=3$,$M=2$ では $1$.

(4) $1/(N-1)$ の共分散行列は $\frac{N}{N-1}\bm{S}=\frac{10}{9}\bm{S}$ なので,固有ベクトルは同じで固有値は $\frac{10}{9}$ 倍の $4.444$,$2.222$,$1.111$ である.寄与率は変わらない.

演習18.2 最適な平面は平均を通る

解答

(1) $\bm{c}$ を固定すると,$J$ は各 $\bm{a}_n$ について別々の 2 乗和 $\norm{(\bm{x}_n-\bm{c})-\bm{B}\bm{a}_n}^{2}$ の和である.$\bm{a}_n$ で微分して 0 とおくと

$$ \begin{aligned}&-2\bm{B}^{\tp}\bigl\{(\bm{x}_n-\bm{c})-\bm{B}\bm{a}_n\bigr\}=\bm{0}\\ &\Longrightarrow\ \bm{B}^{\tp}\bm{B}\,\bm{a}_n=\bm{B}^{\tp}(\bm{x}_n-\bm{c}).\end{aligned} $$

$\bm{B}^{\tp}\bm{B}=\bm{I}_M$ なので $\bm{a}_n=\bm{B}^{\tp}(\bm{x}_n-\bm{c})$(平面への直交射影の座標).

(2) 代入すると $\bm{x}_n-\bm{c}-\bm{B}\bm{a}_n$ $=(\bm{I}-\bm{B}\bm{B}^{\tp})(\bm{x}_n-\bm{c})$ $=\bm{P}_{\perp}(\bm{x}_n-\bm{c})$.$\bm{P}_{\perp}$ は対称で $\bm{P}_{\perp}^{2}=\bm{P}_{\perp}$($\bm{B}\bm{B}^{\tp}\bm{B}\bm{B}^{\tp}=\bm{B}\bm{B}^{\tp}$ から)なので

$$ J(\bm{c})=\frac1N\sum_{n}(\bm{x}_n-\bm{c})^{\tp}\bm{P}_{\perp}(\bm{x}_n-\bm{c}). $$

$\bm{c}$ で微分すると

$$ \pdiff{J}{\bm{c}}=-\frac2N\sum_{n}\bm{P}_{\perp}(\bm{x}_n-\bm{c})=-2\bm{P}_{\perp}(\bar{\bm{x}}-\bm{c}). $$

$J$ は $\bm{c}$ の 2 次関数で,2 階微分 $2\bm{P}_{\perp}$ は半正定値なので,勾配が 0 の点は最小点である.条件は $\bm{P}_{\perp}(\bar{\bm{x}}-\bm{c})=\bm{0}$ で,$\bm{c}=\bar{\bm{x}}$ はこれを満たす.したがって平均を通る平面が最適である.

(3) $\bm{P}_{\perp}(\bar{\bm{x}}-\bm{c})=\bm{0}$ は「$\bar{\bm{x}}-\bm{c}$ が $\bm{B}$ の列空間にある」ことと同じで,$\bm{c}=\bar{\bm{x}}+\bm{B}\bm{b}$($\bm{b}\in\R^{M}$ は任意)がすべて最適である.$\bm{c}$ を平面に沿って動かしても平面そのものは変わらず,その分は $\bm{a}_n$ が吸収する($\bm{a}_n\to\bm{a}_n-\bm{b}$).平面上の基準点の選び方は自由であり,PCA では $\bm{c}=\bar{\bm{x}}$(このとき $\sum_n\bm{a}_n=\bm{0}$)を選んでいる.

演習18.3 4 点の SVD

解答

(1) 第 1 列の和 $4-4+1-1=0$,第 2 列の和 $2-2-2+2=0$ で,中心化されている.

$$ \begin{aligned} (\bm{X}^{\tp}\bm{X})_{11}&=16+16+1+1=34,\\ (\bm{X}^{\tp}\bm{X})_{12}&=8+8-2-2=12,\\ (\bm{X}^{\tp}\bm{X})_{22}&=4+4+4+4=16 . \end{aligned} $$

固有方程式 $\lambda^{2}-50\lambda+(34\times16-144)$ $=\lambda^{2}-50\lambda+400=0$ より $\lambda=(50\pm\sqrt{2500-1600})/2$ $=(50\pm30)/2=40,\,10$.特異値は $s_1=\sqrt{40}=2\sqrt{10}\approx6.325$,$s_2=\sqrt{10}\approx3.162$.

(2) $40$ に対して $(34-40)v_1+12v_2=0$ より $v_2=v_1/2$,$\bm{v}_1=\frac{1}{\sqrt5}(2,1)^{\tp}$.$10$ に対して $(34-10)v_1+12v_2=0$ より $v_2=-2v_1$,$\bm{v}_2=\frac{1}{\sqrt5}(-1,2)^{\tp}$.得点 $z_{ni}=\bm{v}_i^{\tp}\bm{x}_n$($\bm{x}_n$ は中心化した行)は

$$ \begin{aligned} z_{n1}&=\tfrac{1}{\sqrt5}(10,\,-10,\,0,\,0)\\&=(2\sqrt5,\,-2\sqrt5,\,0,\,0),\\ z_{n2}&=\tfrac{1}{\sqrt5}(0,\,0,\,-5,\,5)\\&=(0,\,0,\,-\sqrt5,\,\sqrt5). \end{aligned} $$

$2\sqrt5\approx4.472$,$\sqrt5\approx2.236$.例えば $z_{11}=(4\times2+2\times1)/\sqrt5=10/\sqrt5$,$z_{32}=(1\times(-1)+(-2)\times2)/\sqrt5=-5/\sqrt5$.確かめ:$\sum_nz_{n1}^{2}=20+20=40=s_1^{2}$,$\sum_nz_{n2}^{2}=5+5=10=s_2^{2}$(第18章の式 (18.10) $z_{ni}=s_iU_{ni}$ と,$\bm{U}$ の列の長さが 1 であることに合う).

(3) $1/N$($N=4$):$\lambda_1=40/4=10$,$\lambda_2=10/4=2.5$.$1/(N-1)$:$40/3\approx13.33$,$10/3\approx3.33$.寄与率はどちらも $40/50=0.8$ と $10/50=0.2$ である.

演習18.4 峰の移動は主成分を増やす

解答

(1) $g_0(\nu)=g(\nu-\nu_0)$ とおくと $x_n(\nu)=I_n\,g_0(\nu-\delta_n)$.$\delta_n$ について 1 次まで Taylor 展開すると

$$ \begin{aligned}g_0(\nu-\delta_n)&=g_0(\nu)-\delta_n\,g_0'(\nu)\\&\quad+\tfrac12\delta_n^{2}g_0''(\nu)-\cdots\end{aligned} $$

なので,$\delta_n$ が峰の幅より十分小さければ $x_n(\nu)\approx I_n\,g_0(\nu)-I_n\delta_n\,g_0'(\nu)$.どのスペクトルも,試料によらない 2 つの関数 $g_0$,$g_0'$ に,係数 $I_n$ と $-I_n\delta_n$ を掛けて足したものである.つまり 200 点で測ったスペクトルは $\R^{200}$ の 2 次元の部分空間($g_0$ と $g_0'$ が張る)の近くにある.

(2) 積の微分 $\diff{}{\nu}\bigl(g_0^{2}\bigr)=2g_0g_0'$ より

$$ \int_{-\infty}^{\infty}g_0g_0'\,\dd\nu=\frac12\Bigl[g_0^{2}\Bigr]_{-\infty}^{\infty}=0 , $$

峰は両端で 0 になるからである.(左右対称な $g_0$ では $g_0'$ は反対称なので,被積分関数が奇関数になると見てもよい.)

(3) $I_n=I$(一定)なら $x_n\approx Ig_0-I\delta_ng_0'$,平均は $\bar{x}\approx Ig_0-I\bar{\delta}g_0'$ で,中心化すると $x_n-\bar{x}\approx-I(\delta_n-\bar{\delta})\,g_0'$.すべてが $g_0'$ の定数倍なので,主成分は近似的に 1 個(形は $g_0'$.峰の位置の左右で符号の違う「微分の形」)である.2 次の項 $\tfrac12(\delta_n^{2}-\overline{\delta^{2}})g_0''$ が小さな 2 番目の主成分を作る.同じ条件で $I_n$ を一定にして計算すると,固有値は $0.0825$,$0.00061$,… で,第 1 主成分が 99.3 % を占め,その向きは $g_0'$ とほぼ一致した($|\cos|=0.9999$).

(4) $I_n$ も揺らぐと,中心化したデータは $(I_n-\bar{I})g_0-(I_n\delta_n-\overline{I\delta})g_0'$ となり,$g_0$ と $g_0'$ の 2 つの向きに広がる.(2) から両者は直交するので,主成分はほぼ $g_0$ の向き(強さの揺らぎ)と $g_0'$ の向き(位置の揺らぎ)になる.固有値の大きさの目安は,前者が $\Var[I_n]\norm{g_0}^{2}$,後者が $\Var[I_n\delta_n]\norm{g_0'}^{2}$ で,この 60 本の標本では $0.0249\times7.84=0.195$ と $8.44\times0.0098=0.083$.実際の固有値 $0.1976$,$0.0789$ とよく合い,第 1・第 2 主成分の向きは $g_0$,$g_0'$ と $|\cos|=0.991$ で一致した.3 番目の $0.00039$ は 2 次の項による小さな成分である.このように,相が 1 つでも,峰が動けば 2 個の主成分が必要になる.主成分の数は「独立に変わる要因の数」であって,相の数ではない.固溶体の列で主成分の数から相の数を数えると,相を多く見積もってしまう.峰の位置を合わせてから(あるいは峰の位置をパラメーターに持つモデルで)解析するか,回折の指数付けなどの物理的な情報と合わせて判断する.

演習18.5 雑音の大きいスペクトルの成分数

解答

(1) 累積寄与率は

$$ \begin{aligned} &\frac{1.738}{3.8329}=45.3\ \%,\\ &\frac{1.738+0.2276}{3.8329}=\frac{1.9656}{3.8329}=51.3\ \%,\\ &\frac{1.9656+0.07457}{3.8329}=\frac{2.0402}{3.8329}=53.2\ \%. \end{aligned} $$

3 番目以降の固有値は $0.07$ 前後でゆっくり減るので,90 % に達するには主成分を数十個(このデータでは 36 個)足さなければならない.その大部分は雑音の向きであり,「90 % の決まり」は雑音まで信号として取り込ませる.

(2) $D\sigma^{2}/N=200\times0.01/60=0.0333$.帯は

$$ \begin{aligned} \sigma^{2}\frac{(\sqrt{D}-\sqrt{N})^{2}}{N}&=0.01\times\frac{(14.142-7.746)^{2}}{60}\\&=0.0068,\\ \sigma^{2}\frac{(\sqrt{D}+\sqrt{N})^{2}}{N}&=0.01\times\frac{(14.142+7.746)^{2}}{60}\\&=0.0799 . \end{aligned} $$

($\sigma=0.02$ の帯 $0.00027$〜$0.0032$ の $(0.1/0.02)^{2}=25$ 倍.)3 番目の $0.07457$ 以降は帯の上端 $0.0799$ より小さく,雑音の範囲にある.2 番目の $0.2276$ は上端の約 2.8 倍で突出している.したがって信号は 2 成分と判断する.

(3) $\sigma_{\mathrm{ML}}^{2}=1.86728/(200-2)=0.009431$,$\sigma_{\mathrm{ML}}=0.0971$.データを作った $0.100$ に近い(やや小さい理由は第18章の例題18.10 (3) と同じ).

演習18.6 確率的 PCA の最尤解

解答

(1) $\sigma_{\mathrm{ML}}^{2}=\frac{1}{4-2}(0.6+0.4)=0.5$.$\bm{L}_M-\sigma^{2}\bm{I}=\diag(5-0.5,\,2-0.5)$ $=\diag(4.5,\,1.5)$ なので,$\bm{Q}=\bm{I}$ として

$$ \begin{aligned}\bm{W}_{\mathrm{ML}}&=\bigl(\sqrt{4.5}\,\bm{v}_1,\ \sqrt{1.5}\,\bm{v}_2\bigr)\\&\approx\bigl(2.121\,\bm{v}_1,\ 1.225\,\bm{v}_2\bigr)\in\R^{4\times2}.\end{aligned} $$

(2) $\bm{W}\bm{W}^{\tp}=4.5\,\bm{v}_1\bm{v}_1^{\tp}+1.5\,\bm{v}_2\bm{v}_2^{\tp}$ と $\sigma^{2}\bm{I}=0.5\sum_{i=1}^{4}\bm{v}_i\bm{v}_i^{\tp}$ を足すと

$$ \bm{C}=5\,\bm{v}_1\bm{v}_1^{\tp}+2\,\bm{v}_2\bm{v}_2^{\tp}+0.5\,\bm{v}_3\bm{v}_3^{\tp}+0.5\,\bm{v}_4\bm{v}_4^{\tp}. $$

固有値は $5,\,2,\,0.5,\,0.5$.第 1・第 2 の向きではデータの固有値 $5,\,2$ と一致し,第 3・第 4 の向きではデータの $0.6,\,0.4$ がその平均 $0.5$ に置き換わる.全分散は $8=5+2+0.6+0.4$ で保たれる.

(3) $\bm{W}^{\tp}\bm{W}=\diag(4.5,\,1.5)$($\bm{v}_1,\bm{v}_2$ は正規直交)なので $\bm{B}=\bm{W}^{\tp}\bm{W}+\sigma^{2}\bm{I}=\diag(5,\,2)$,事後共分散は $\sigma^{2}\bm{B}^{-1}=\diag(0.5/5,\ 0.5/2)$ $=\diag(0.1,\ 0.25)$.分散の大きい第 1 の向きの潜在変数ほど,観測からよく決まる.

(4) 90° の回転 $\bm{Q}=\begin{pmatrix}0&-1\\1&0\end{pmatrix}$ では,$\bm{W}\bm{Q}$ の第 1 列 $=0\cdot(\sqrt{4.5}\bm{v}_1)+1\cdot(\sqrt{1.5}\bm{v}_2)=\sqrt{1.5}\,\bm{v}_2$,第 2 列 $=-\sqrt{4.5}\,\bm{v}_1$.列の順序と符号が入れ替わったが,$\bm{W}\bm{Q}(\bm{W}\bm{Q})^{\tp}=\bm{W}\bm{Q}\bm{Q}^{\tp}\bm{W}^{\tp}=\bm{W}\bm{W}^{\tp}$ なので $\bm{C}$ は変わらず,尤度も同じである.データからはどちらの $\bm{W}$ かを区別できない.

演習18.7 材料データベースの t-SNE の地図を読む

解答

(1) 妥当でない.t-SNE は点ごとの幅 $\sigma_i$ を perplexity で合わせるので,元の空間で広がった塊も詰まった塊も,近所の関係が同じなら似た大きさに描かれる(第18章の例題18.9).地図の塊の大きさは化合物の数や密度の違いにも影響される.代わりに:元の 100 次元の空間で,各群の記述子の分散(共分散行列のトレース)や,群内の平均距離を計算して比べる.

(2) 地図の上で離れて見えることだけでは言えない.t-SNE の KL ダイバージェンスは遠い点どうしの配置をほとんど罰しないので,塊の間の距離は元の距離を反映するとは限らず,perplexity や乱数の seed でも変わる.代わりに:元の空間(または PCA で雑音を除いた空間)で,ペロブスカイト型と他の酸化物の距離の分布を比べる.seed と perplexity を変えて地図を何度か描き,分離がいつも現れるか確かめる.結晶構造の違いという外部の情報と照らし合わせる.

(3) 避けるべきである.地図の座標は近所の関係を保つように歪められた量で,乱数で変わり,元の記述子の情報の多くを捨てている.回帰の結果が地図の歪みや seed に左右される.代わりに:元の記述子(必要なら訓練データだけで求めた PCA の得点)を入力にして回帰し,交差検証で評価する(第6章 6.5 節).

(4) 標準的な t-SNE には,新しい点を同じ地図に写す写像が無い.新しい点を加えて計算し直すと,既存の点の配置も変わる.代わりに:近い既知の化合物は元の記述子の空間(または PCA の空間)で距離を計算して探す.地図に重ねたいときは,近傍の既知の点の位置を目安として示すにとどめる.

まとめると,t-SNE の地図は「どの化合物の近所にどの化合物があるか」を眺める道具としては有用だが,大きさ・距離・座標そのものを定量的な結論に使ってはいけない.

第19章 グラフィカルモデル — 同時分布を図で分解する

演習19.1 グラフからパラメーターを数える

解答

(1) 各変数に「親を条件とした分布」を 1 つずつ置く.$x_1$ と $x_2$ は親なし,$x_3$ の親は $x_1,x_2$,$x_4$ と $x_5$ の親は $x_3$ なので

$$ \begin{aligned} &p(x_1,\dots,x_5)\\ &\quad=p(x_1)\,p(x_2)\,p(x_3\mid x_1,x_2)\\ &\qquad\times p(x_4\mid x_3)\,p(x_5\mid x_3). \end{aligned} $$

(2) 値の数を $K_k$ とすると,$p(x_k\mid\mathrm{pa}_k)$ の表は「親の値の組の数」$\prod_{j\in\mathrm{pa}_k}K_j$ ごとに $K_k-1$ 個の自由な数を持つ.

合計 $2+1+6+6+2=17$ 個.表をそのまま持つと,組の数は $3\times2\times2\times4\times2=96$ なので $96-1=95$ 個である.

(3) $x_4\leftarrow x_3\to x_5$ は tail-to-tail の型である.$x_3$ を観測しないとき,$x_4$ と $x_5$ は $x_3$ を通してつながっており,一般には独立でない($p(x_4,x_5)=\sum_{x_3}p(x_3)\,p(x_4\mid x_3)\,p(x_5\mid x_3)$ は積に分かれない).$x_3$ を観測すると $p(x_4,x_5\mid x_3)=p(x_4\mid x_3)\,p(x_5\mid x_3)$ となり,条件付き独立である.

演習19.2 d 分離を読み取る

解答

グラフの道は,$a$–$b$ 間が $a\to c\leftarrow b$ の 1 本,$a$–$e$ 間が $a\to c\leftarrow b\to e$ の 1 本,$a$–$d$ 間が $a\to c\to d$ の 1 本である(ほかに $a$ から出る辺はない).$c$ の子孫は $d$ だけである.

(1) $a\perp b$:成り立つ.道 $a\to c\leftarrow b$ の $c$ は head-to-head で,$c$ も子孫 $d$ も条件に含まれないので道はふさがれる.

(2) $a\perp b\mid d$:成り立たない.$c$ は head-to-head だが,その子孫 $d$ が条件に含まれるので道は開く(弁明効果).

(3) $a\perp e$:成り立つ.道 $a\to c\leftarrow b\to e$ は,$c$ が head-to-head で観測されていないのでふさがれる.

(4) $a\perp e\mid c$:成り立たない.$c$ は head-to-head で観測されているので開く.$b$ は tail-to-tail($c\leftarrow b\to e$)で観測されていないので開いている.道全体が開いているので d 分離されない.

(5) $a\perp e\mid\{b,c\}$:成り立つ.$c$ では開くが,tail-to-tail の $b$ が観測されているので道はふさがれる.

(6) $a\perp d\mid c$:成り立つ.道 $a\to c\to d$ の $c$ は head-to-tail で観測されているのでふさがれる.

(補足)条件付き分布の表に適当な数値を入れて全列挙すると,(1)(3)(5)(6) では $p(x,y\mid z)=p(x\mid z)\,p(y\mid z)$ がすべての値で等号になり,(2)(4) では等号が成り立たない値があることを確かめられる.

演習19.3 Markov ブランケットで条件付き分布を求める

解答

(1) $x_2$ の親は $x_1$,子は $x_3$,$x_3$ の他の親はない.Markov ブランケットは $\{x_1,x_3\}$ である.

(2) 第19章の式 (19.8) で,$x_2$ を含む因子は $p(x_2\mid x_1)$ と $p(x_3\mid x_2)$ だけなので

$$ \begin{aligned} &p(x_2\mid x_1,x_3,x_4)\\ &\quad\propto p(x_2\mid x_1=1)\,p(x_3=1\mid x_2). \end{aligned} $$

$x_2=0$:$0.3\times0.8=0.24$,$x_2=1$:$0.7\times0.3=0.21$.正規化して

$$ \begin{aligned} &p(x_2=1\mid x_1=1,x_3=1,x_4=1)\\ &\quad=\frac{0.21}{0.24+0.21}=\frac{0.21}{0.45}\\ &\quad=\frac{7}{15}\approx0.467 . \end{aligned} $$

(3) $x_4$ はブランケットの外にある.$x_2$ から $x_4$ への道 $x_2\to x_3\to x_4$ は,head-to-tail の $x_3$ が観測されているのでふさがれる.式の上でも,$p(x_4\mid x_3)$ は $x_2$ を含まないので分母と分子で約分される.

演習19.4 低密度の原因を診断する

解答

$d=1$ と各 $(a,b)$ の同時確率 $p(a)\,p(b)\,p(d=1\mid a,b)$ を求める($p(a=0)=0.7$,$p(b=0)=0.8$).

$$ \begin{aligned} (a,b)=(0,0)&:\ 0.7\times0.8\times0.05=0.028,\\ (1,0)&:\ 0.3\times0.8\times0.7=0.168,\\ (0,1)&:\ 0.7\times0.2\times0.5=0.070,\\ (1,1)&:\ 0.3\times0.2\times0.9=0.054. \end{aligned} $$

和は $p(d=1)=0.320$.

(1) $a=1$ の 2 行,$b=1$ の 2 行をそれぞれ足して $p(d=1)$ で割る.

$$ \begin{aligned} p(a=1\mid d=1)&=\frac{0.168+0.054}{0.320}\\ &=\frac{0.222}{0.320}\approx0.694,\\ p(b=1\mid d=1)&=\frac{0.070+0.054}{0.320}\\ &=\frac{0.124}{0.320}\approx0.388. \end{aligned} $$

(2) $b=1$ の 2 行だけを使う.

$$ \begin{aligned} p(a=1\mid d=1,b=1)&=\frac{0.054}{0.070+0.054}\\ &=\frac{0.054}{0.124}\approx0.435 . \end{aligned} $$

(3) $b=0$ の 2 行だけを使う.

$$ \begin{aligned} p(a=1\mid d=1,b=0)&=\frac{0.168}{0.028+0.168}\\ &=\frac{0.168}{0.196}\approx0.857 . \end{aligned} $$

(4) $a\to d\leftarrow b$ は head-to-head で,低密度 $d$ を観測したので $a$ と $b$ が従属になった.原料粉が粗かったと分かると,低密度は「それで説明がつく」ので,温度が低すぎた確率は 0.694 から 0.435 に下がる(弁明効果).原料粉が正常なら,説明として温度が残るので 0.857 に上がる.

どちらを先に確かめるかは,費用と情報の大きさで決まる.この設定では低密度の試料で温度の不足の確率が 0.69 と高く,炉の温度記録は粒度分布の測定より手軽に確かめられることが多いので,温度記録を先に見るのが合理的である.温度が低かったと分かれば,同じ弁明効果により原料粉が粗かった確率も下がる($p(b=1\mid d=1,a=1)$ $=0.054/0.222\approx0.243$).ただし,これは設定した数値と「原因は 2 つだけ」というグラフの仮定のもとでの結論である.

演習19.5 三角形の反強磁性体とフラストレーション

解答

(1) $(+,+,+)$ と $(-,-,-)$ では 3 本の辺がすべて $s_is_j=+1$ なので $E=3J$.それ以外の 6 状態では,2 個がそろって 1 個が逆向きなので,1 本が $+1$,2 本が $-1$ で $E=J(1-1-1)=-J$.最低エネルギー $-J$ の状態は 6 通りある.

(2) 重みは $e^{-\beta E}$ で,$e^{\beta J}=2$ より $E=3J$ の状態は $e^{-3\beta J}=1/8$,$E=-J$ の状態は $e^{\beta J}=2$.

$$ Z=2\times\frac18+6\times2=0.25+12=12.25 . $$

3 個がそろう確率は $0.25/12.25=1/49\approx0.020$.

(3) $E=3J$ の 2 状態では $s_1s_2=+1$.$E=-J$ の 6 状態のうち $s_1=s_2$ となるのは 2 状態($s_3$ だけが逆),$s_1\ne s_2$ は 4 状態である.

$$ \begin{aligned} \langle s_1s_2\rangle&=\frac{1}{12.25}\Bigl[2\times\tfrac18\times(+1)\\ &\qquad+2\times2\times(+1)\\ &\qquad+4\times2\times(-1)\Bigr]\\ &=\frac{0.25+4-8}{12.25}\approx-0.306 . \end{aligned} $$

(4) 3 本の辺の積は $(s_1s_2)(s_2s_3)(s_3s_1)=(s_1s_2s_3)^{2}=+1$ なので,$-1$ になる辺の数は偶数(0 本か 2 本)である.3 本とも逆向き($-1$)にはできず,どう並べても少なくとも 1 本の辺はエネルギーの高い「そろった」状態になる.これをフラストレーションという.三角形を単位とする三角格子の反強磁性体では,どの三角形でもこの事情が起こり,最低エネルギーの配置が非常に多くなる.最近接の相互作用だけを持つ Ising 型の三角格子反強磁性体では,その数が格子点の数 $n$ とともに指数関数的に増える.Wannier (1950.1973 年の訂正を含む) の厳密解によれば,温度 0 でも格子点 1 個あたり約 $0.323\,k_{\mathrm B}$ のエントロピー(残留エントロピー)が残り,基底状態の数はおよそ $e^{0.323n}\approx1.38^{n}$ 通りである.このため,温度を下げても配置が一つに決まらない.

演習19.6 鎖のメッセージ伝播

解答

値を $(x=0,\ x=1)$ の順に書く.$\psi$ は対称な $2\times2$ の表 $\begin{pmatrix}2&1\\1&2\end{pmatrix}$ である.

(1) $m_{\to}(x_1)=\phi=(1,\ 3)$ とおき,$m_{\to}(x_{k})=\sum_{x_{k-1}}m_{\to}(x_{k-1})\,\psi(x_{k-1},x_k)$ を順に計算する.

$$ \begin{aligned} m_{\to}(x_2)&=(1\times2+3\times1,\ 1\times1+3\times2)\\ &=(5,\ 7),\\ m_{\to}(x_3)&=(5\times2+7\times1,\ 5\times1+7\times2)\\ &=(17,\ 19),\\ m_{\to}(x_4)&=(17\times2+19\times1,\ 17\times1+19\times2)\\ &=(53,\ 55). \end{aligned} $$

$x_4$ は鎖の右端なので $m_{\leftarrow}(x_4)=1$ で,$Z=53+55=108$,$p(x_4)=(53/108,\ 55/108)\approx(0.491,\ 0.509)$.

(2) 後ろ向きに $m_{\leftarrow}(x_4)=(1,1)$,$m_{\leftarrow}(x_3)=(2+1,\ 1+2)=(3,\ 3)$,$m_{\leftarrow}(x_2)=(2\times3+1\times3,$ $1\times3+2\times3)=(9,\ 9)$.

$$ \begin{aligned} p(x_2)&=\frac{m_{\to}(x_2)\,m_{\leftarrow}(x_2)}{Z}\\ &=\frac{(5\times9,\ 7\times9)}{108}\\ &=\Bigl(\frac{45}{108},\ \frac{63}{108}\Bigr)\approx(0.417,\ 0.583). \end{aligned} $$

$45+63=108$ で $Z$ と一致する.

(3) 全列挙では 16 通りの各項が $\phi\,\psi\,\psi\,\psi$ の 4 つの因子の積なので 3 回ずつ,合計 48 回の掛け算と 15 回の足し算が要る($Z$ を求めるだけで).メッセージ伝播では,1 つのメッセージ(2 つの値)に $2\times2=4$ 回の掛け算と 2 回の足し算が要り,前向き 3 つで 12 回の掛け算である.

(4) 1 つの周辺分布を全列挙で求めると,$x_k$ の値ごとに残り 49 変数の和で $3^{49}\approx2.4\times10^{23}$ 項,全体で $3^{50}\approx7.2\times10^{23}$ 項である.メッセージ伝播では,前向き・後ろ向きのメッセージ各 49 個がそれぞれ $K^{2}=9$ 回の掛け算で済むので $2\times49\times9=882$ 回の掛け算ですべての周辺分布が得られる.

演習19.7 矢印の向きと同値なグラフ

解答

(1) $x\to y$ の分解:$p(x=0)=0.3+0.1=0.4$,$p(x=1)=0.6$,$p(y=1\mid x=0)=0.1/0.4=0.25$,$p(y=1\mid x=1)=0.4/0.6=2/3$.$y\to x$ の分解:$p(y=0)=0.3+0.2=0.5$,$p(y=1)=0.5$,$p(x=1\mid y=0)=0.2/0.5=0.4$,$p(x=1\mid y=1)=0.4/0.5=0.8$.たとえば $(x,y)=(0,0)$ は $0.4\times0.75=0.3$,$0.5\times0.6=0.3$ で一致し,残りの 3 つのますも同様に一致する($(0,1)$:$0.4\times0.25=0.5\times0.2=0.1$,$(1,0)$:$0.6\times\tfrac13=0.5\times0.4=0.2$,$(1,1)$:$0.6\times\tfrac23=0.5\times0.8=0.4$).どちらのグラフも同じ同時分布を表す.

(2) $a\to c\to b$ の分解に乗法定理 $p(a)\,p(c\mid a)=p(a,c)=p(c)\,p(a\mid c)$ を使うと

$$ p(a)\,p(c\mid a)\,p(b\mid c)=p(c)\,p(a\mid c)\,p(b\mid c) $$

となり,右辺は $a\leftarrow c\to b$ の分解である.逆向きの変形も同じ式で行えるので,一方で書ける分布はすべて他方でも書ける.2 つのグラフは同じ分布の集合を表す.

(3) 決められない.(1) と同じく,2 変数の同時分布は $g\to h$ でも $h\to g$ でも同じように分解できるので,観測データの分布だけからは向きが区別できない.向きを決めるには,データの外の情報が要る.たとえば,粒径を他の条件(気孔率,相の分率,不純物)をそろえたまま変える実験(熱処理の温度・時間で粒径だけを変え,試料の割り当てをランダムにする)で硬さが変わるかを見る.あるいは,硬さは組織ができた後に測る量であるという時間の順序や,粒界が転位の運動を妨げるという機構の知識を仮定として置く.ただし後者は仮定であり,同時に変わる交絡因子(気孔率など)がないことも確かめる必要がある.

演習19.8 max-sum で最も確からしい組を求める

解答

(1) $\psi_{1,2}=p(x_1)\,p(x_2\mid x_1)$,$\psi_{2,3}=p(x_3\mid x_2)$ として,対数の値 $\omega$ を前から計算する.まず $\omega(x_2)=\max_{x_1}\ln\bigl[p(x_1)\,p(x_2\mid x_1)\bigr]$.

$$ \begin{aligned} \omega(x_2=0)&=\max(\ln0.54,\ \ln0.12)\\ &=\max(-0.616,\ -2.120)\\ &=-0.616\quad(x_1=0),\\ \omega(x_2=1)&=\max(\ln0.06,\ \ln0.28)\\ &=\max(-2.813,\ -1.273)\\ &=-1.273\quad(x_1=1). \end{aligned} $$

ここで $0.54=0.6\times0.9$,$0.12=0.4\times0.3$,$0.06=0.6\times0.1$,$0.28=0.4\times0.7$ である.次に $\omega(x_3)=\max_{x_2}\bigl[\ln p(x_3\mid x_2)+\omega(x_2)\bigr]$.

$$ \begin{aligned} \omega(x_3=0)&=\max(\ln0.7-0.616,\\ &\qquad\ \ \ln0.1-1.273)\\ &=\max(-0.973,\ -3.576)\\ &=-0.973\quad(x_2=0),\\ \omega(x_3=1)&=\max(\ln0.3-0.616,\\ &\qquad\ \ \ln0.9-1.273)\\ &=\max(-1.820,\ -1.378)\\ &=-1.378\quad(x_2=1). \end{aligned} $$

最大は $\omega(x_3=0)=-0.973$ なので $x_3^{*}=0$.バックポインターをたどって $x_2^{*}=0$,$x_1^{*}=0$.最も確からしい組は $(0,0,0)$ で,確率は $e^{-0.973}\approx0.378=0.6\times0.9\times0.7$ である.

(2) 周辺分布は $p(x_1=1)=0.4$,$p(x_2=1)=0.6\times0.1+0.4\times0.7=0.34$,$p(x_3=1)=0.66\times0.3+0.34\times0.9$ $=0.198+0.306=0.504$.確率が大きいほうを並べると $(0,0,1)$ で,その確率は $0.6\times0.9\times0.3=0.162$ である.$x_3$ だけを見ると 1 がわずかに確からしいが,それは $x_2=1$ を経由する組の確率が合わさった結果であり,$x_2=0$ の組の中では $x_3=0$ のほうがずっと確からしい.組として最も確からしいのは $(0,0,0)$(0.378)で,$(0,0,1)$ の 2 倍以上である.

第20章 近似推論 — 解けない積分を近似する

演習20.1 計数率の事後分布の Laplace 近似

解答

(1) 5 回の計数 $c_1,\dots,c_5$ の尤度は $\prod_n\dfrac{\lambda^{c_n}e^{-\lambda}}{c_n!}\propto\lambda^{\sum_nc_n}e^{-5\lambda}$ $=\lambda^{12}e^{-5\lambda}$(計数の和は $2+4+1+3+2=12$).事前分布 $\mathrm{Gam}(\lambda\mid1,0.2)\propto\lambda^{0}e^{-0.2\lambda}$ を掛けると

$$ p(\lambda\mid\data)\propto\lambda^{12}e^{-5.2\lambda}=\lambda^{13-1}e^{-5.2\lambda}, $$

これは形 $a=13$,率 $b=5.2\ \mathrm{s}$ の Gamma 分布である.

(2) $\ln\tilde{p}(\lambda)$ $=12\ln\lambda-5.2\lambda$.$\diff{}{\lambda}$:$12/\lambda-5.2=0$ より $\lambda^{*}$ $=12/5.2$ $=2.308\ \mathrm{s^{-1}}$.$-\dfrac{\dd^{2}}{\dd\lambda^{2}}\ln\tilde{p}$ $=12/\lambda^{2}$ なので

$$ \Lambda=\frac{12}{(12/5.2)^{2}}=\frac{5.2^{2}}{12}=2.253\ \mathrm{s^{2}}. $$

分散 $1/\Lambda=0.444\ \mathrm{s^{-2}}$,標準偏差 $0.666\ \mathrm{s^{-1}}$,95 % 区間 $2.308\pm1.96\times0.666$ $=[1.00,\ 3.61]\ \mathrm{s^{-1}}$.真の平均は $13/5.2=2.5$,分散 $13/5.2^{2}=0.481$(標準偏差 0.693)で,近似は中心を 0.19 だけ左に置き,幅もやや狭い.($\lambda\lt0$ に置く確率は $\Phi(-2.308/0.666)\approx3\times10^{-4}$ で小さい.)

(3) $\lambda=e^{u}$,$\dd\lambda/\dd u=\lambda$ なので $u$ の非正規化密度は $\lambda^{12}e^{-5.2\lambda}\times\lambda$ $=e^{13u-5.2e^{u}}$.$\diff{}{u}$:$13-5.2e^{u}=0$ より $\lambda=e^{u^{*}}=13/5.2=2.5$.$-\dfrac{\dd^{2}}{\dd u^{2}}$ $=5.2e^{u}$ $=13$ なので $\Lambda_u=13$,$u$ の標準偏差 $1/\sqrt{13}=0.277$.$u$ の 95 % 区間 $\ln2.5\pm1.96\times0.277$ を $\lambda$ に戻すと

$$ \bigl[2.5\,e^{-0.544},\ 2.5\,e^{0.544}\bigr]=[1.45,\ 4.31]\ \mathrm{s^{-1}}. $$

真の区間 $[1.33,\ 4.03]$ と比べると,$\lambda$ での近似 $[1.00,\ 3.61]$ は両端とも 0.3〜0.4 低く,対数での近似は 0.1〜0.3 高い.対数での近似は右に長い裾を非対称な区間として表せるので,ずれが小さい.計数率のように正の量は,対数で近似するのがよい.

演習20.2 ロジットで展開する Laplace 近似

解答

(1) $x=\sigma(u)=1/(1+e^{-u})$ の微分は $\dd x/\dd u=x(1-x)$.変数変換で密度にはJacobi 行列式 $\abs{\dd x/\dd u}$ が掛かるので

$$ \begin{aligned} \tilde{p}_u(u)&=x^{a-1}(1-x)^{b-1}\cdot x(1-x)\\ &=x^{a}(1-x)^{b}. \end{aligned} $$

$\int\tilde{p}_u\,\dd u$ $=\int_0^1x^{a-1}(1-x)^{b-1}\,\dd x$ $=B(a,b)$ なので,正規化定数は $x$ で書いたときと同じ $Z=B(a,b)$ である.

(2) $\ln\tilde{p}_u$ $=a\ln x+b\ln(1-x)$.連鎖律 $\diff{}{u}=x(1-x)\diff{}{x}$ を使う:

$$ \begin{aligned} \diff{\ln\tilde{p}_u}{u}&=x(1-x)\Bigl(\frac ax-\frac{b}{1-x}\Bigr)\\ &=a(1-x)-bx=a-(a+b)x . \end{aligned} $$

0 とおいて $x^{*}=a/(a+b)$,$u^{*}$ $=\ln\dfrac{x^{*}}{1-x^{*}}$ $=\ln\dfrac ab$.もう一度 $u$ で微分すると $-(a+b)\,x(1-x)$ なので

$$ \Lambda_u=(a+b)\,\frac{a}{a+b}\,\frac{b}{a+b}=\frac{ab}{a+b}. $$

(3) $a=3$,$b=9$:$x^{*}=0.25$,$u^{*}=\ln(1/3)=-1.0986$,$\Lambda_u=27/12=2.25$.

$$ \begin{aligned} \ln Z&\approx3\ln0.25+9\ln0.75\\ &\quad+\tfrac12\ln\frac{2\pi}{2.25}\\ &=-4.1589-2.5891+0.5135\\ &=-6.2345 . \end{aligned} $$

真の値 $-6.2046$ との差は $-0.030$ で,$x$ での近似の差 $+0.052$ より小さい.なお,ロジットの近似を $x$ に戻した分布の平均は 0.268(真の値 0.25)で,平均については必ずしも良くならない.どの量を近似したいかで,良い変数は変わる.

演習20.3 Jensen の不等式から ELBO を導く

解答

(1) $q(\bm{\theta})\gt0$ の範囲で $p(\data)$ $=\int p(\data,\bm{\theta})\,\dd\bm{\theta}$ $=\int q(\bm{\theta})\dfrac{p(\data,\bm{\theta})}{q(\bm{\theta})}\,\dd\bm{\theta}$ $=\Ex_q[X]$,$X\equiv p(\data,\bm{\theta})/q(\bm{\theta})$ と書ける($p(\data,\bm{\theta})\gt0$ なのに $q=0$ の範囲があると,その分だけ積分が欠けて $\Ex_q[X]\le p(\data)$ になるが,不等号の向きは変わらない).$\ln$ は凹関数なので Jensen の不等式 $\ln\Ex_q[X]\ge\Ex_q[\ln X]$ が成り立ち

$$ \begin{aligned} \ln p(\data)&\ge\ln\Ex_q[X]\\ &\ge\Ex_q\!\left[\ln\frac{p(\data,\bm{\theta})}{q(\bm{\theta})}\right]=\ELBO(q). \end{aligned} $$

(2) $\ln$ は狭義の凹関数なので,Jensen の不等式の等号は $X$ が $q$ のもとでほとんど確実に定数 $c$ のときに限る.$p(\data,\bm{\theta})$ $=c\,q(\bm{\theta})$ を $\bm{\theta}$ で積分すると $p(\data)=c$($q$ の台が事後分布の台を覆うとき).よって $q(\bm{\theta})$ $=p(\data,\bm{\theta})/p(\data)$ $=p(\bm{\theta}\mid\data)$.

(3) Jensen の不等式からは「下界であること」と「等号の条件」しか分からない.20.3 節の導き方では,差 $\ln p(\data)-\ELBO(q)$ がちょうど $\KL(q\,\|\,p(\bm{\theta}\mid\data))$ であることが分かる.このため「ELBO を最大にすること」と「事後分布への KL を最小にすること」が同じ問題であると言え,近似の性質(峰に寄る,分散が小さめ)を KL の性質から説明できる.

演習20.4 平均場近似と周辺分布の積

解答

$p=\Normal(\bm{0},\bm{\Sigma})$,$\bm{\Sigma}$ $=\begin{pmatrix}1&\rho\\\rho&1\end{pmatrix}$,$\abs{\bm{\Sigma}}=1-\rho^{2}$,$\bm{\Sigma}^{-1}$ $=\dfrac{1}{1-\rho^{2}}\begin{pmatrix}1&-\rho\\-\rho&1\end{pmatrix}$.20.6 節より $q^{*}$ $=\Normal(\bm{0},(1-\rho^{2})\bm{I})$,20.7 節より $q^{\dagger}$ $=\Normal(\bm{0},\bm{I})$(周辺分布の分散は 1).平均がすべて $\bm{0}$ なので,2 次元の KL の公式は $\KL(\Normal_0\,\|\,\Normal_1)$ $=\tfrac12\bigl[\tr(\bm{\Sigma}_1^{-1}\bm{\Sigma}_0)-2+\ln(\abs{\bm{\Sigma}_1}/\abs{\bm{\Sigma}_0})\bigr]$.

(1) $\KL(q^{*}\,\|\,p)$ は例題20.7 (3) で $-\tfrac12\ln(1-\rho^{2})$.$\KL(p\,\|\,q^{\dagger})$:$\bm{\Sigma}_0=\bm{\Sigma}$,$\bm{\Sigma}_1=\bm{I}$ とおくと $\tr(\bm{\Sigma})=2$,$\ln(1/\abs{\bm{\Sigma}})$ $=-\ln(1-\rho^{2})$ なので

$$ \begin{aligned} \KL(p\,\|\,q^{\dagger})&=\tfrac12\bigl[2-2-\ln(1-\rho^{2})\bigr]\\ &=-\tfrac12\ln(1-\rho^{2}). \end{aligned} $$

$\KL(p(\theta_1,\theta_2)\,\|\,p(\theta_1)p(\theta_2))$ は相互情報量 $I[\theta_1;\theta_2]$ の定義(第5章 5.7)そのものである.

(2) $\KL(q^{\dagger}\,\|\,p)$:$\bm{\Sigma}_0=\bm{I}$,$\bm{\Sigma}_1=\bm{\Sigma}$.$\tr(\bm{\Sigma}^{-1})$ $=2/(1-\rho^{2})$,$\ln\abs{\bm{\Sigma}}$ $=\ln(1-\rho^{2})$.$\KL(p\,\|\,q^{*})$:$\bm{\Sigma}_0=\bm{\Sigma}$,$\bm{\Sigma}_1$ $=(1-\rho^{2})\bm{I}$.$\tr(\bm{\Sigma}_1^{-1}\bm{\Sigma})$ $=2/(1-\rho^{2})$,$\ln\bigl[(1-\rho^{2})^{2}/(1-\rho^{2})\bigr]$ $=\ln(1-\rho^{2})$.どちらも

$$ \tfrac12\Bigl[\frac{2}{1-\rho^{2}}-2+\ln(1-\rho^{2})\Bigr]. $$

$\rho=0.9$ では $1-\rho^{2}=0.19$ なので,(1) の値は $-\tfrac12\ln0.19=0.830$,(2) の値は $\tfrac12(10.526-2-1.661)$ $=3.433$.

(3) 個々のパラメーターの誤差棒としては,$q^{\dagger}$ は正しい標準偏差 1 を与えるのに対し,$q^{*}$ は $\sqrt{0.19}=0.44$ と半分以下にする.報告した誤差棒が狭すぎると,実際には区別できない値を「区別できる」と結論してしまうので,$q^{*}$ の欠点のほうが深刻である(過大な自信).ただしどちらも相関を表せないので,和や差のような組み合わせの不確かさはどちらも誤る.たとえば $\theta_1+\theta_2$ の真の分散は $2(1+\rho)=3.8$ だが,$q^{*}$ では $0.38$,$q^{\dagger}$ では 2 である.

演習20.5 スピン 2 個の平均場近似が示す「相転移」

解答

(1) $g(m)=\tanh(\beta Jm)$ は $m=0$ を通る奇関数で,$m\gt0$ では上に凸で 1 に近づく.原点での傾きは $\beta J$ である.$\beta J\le1$ なら $m\gt0$ で常に $g(m)\lt m$ なので解は $m=0$ だけ,$\beta J\gt1$ なら原点の近くでは $g(m)\gt m$,大きな $m$ では $g(m)\lt m$ なので,その間で交わる正の解(と対称な負の解)が現れる.条件は $\beta J\gt1$.

(2) $m=\tanh(1.5m)$ を $m=0.5$ から反復すると $0.635,\ 0.741,\ 0.805,\dots$ と増えて $m=0.8586$ に収束する.このとき $\beta\Ex_q[E]$ $=-1.5\,m^{2}$ $=-1.1057$,エントロピーは $\tfrac{1+m}{2}=0.9293$,$\tfrac{1-m}{2}=0.0707$ から 1 個あたり $0.9293\times0.0733+0.0707\times2.6493$ $=0.2555$,2 個で $0.5110$.$\beta A[q]$ $=-1.1057-0.5110$ $=-1.6167$.$m=0$ の解では $\Ex_q[E]=0$,エントロピー $2\ln2$ なので $\beta A[q]=-1.3863$.厳密には $Z$ $=2e^{1.5}+2e^{-1.5}$ $=8.96338+0.44626$ $=9.40964$,$\beta A=-\ln Z=-2.2417$.どちらの解も $\beta A[q]\ge\beta A$ を満たし,$m\ne0$ の解のほうが自由エネルギーが低い(ELBO が大きい).

(3) $h=0$ では $E$ は全スピンの反転 $s_i\to-s_i$ で変わらないので,$p(s_1,s_2)=p(-s_1,-s_2)$ であり,$\Ex[s_1]=0$.有限個のスピンの系に自発磁化は無い.平均場近似は $q(s_1,s_2)=q_1(s_1)q_2(s_2)$ という独立の仮定のため,「2 つのスピンがそろいやすい」という相関(厳密には $\Ex[s_1s_2]$ $=(2e^{1.5}-2e^{-1.5})/Z$ $=0.905$)を相関として表せない.代わりに両方のスピンを同じ向きに偏らせる($\Ex_q[s_1s_2]=m^{2}=0.737$)ことで KL を小さくしている.これは 20.7 節の「一方の峰に寄る」性質であり,物理的な相転移ではなく近似の産物である.無限に大きな格子では平均場理論の予言する相転移が(臨界温度の値はずれるものの)実在することがあるが,それを確かめるには平均場近似の外の方法が要る(第27章).

演習20.6 再パラメーター化と score function 推定量

解答

(1) $\Ex_q\Bigl[f\,\pdiff{\ln q}{\mu}\Bigr]$ $=\int f(\theta)\,q(\theta)\,\dfrac{1}{q(\theta)}\pdiff{q(\theta)}{\mu}\,\dd\theta$ $=\int f(\theta)\pdiff{q(\theta)}{\mu}\,\dd\theta$ $=\pdiff{}{\mu}\int f(\theta)q(\theta)\,\dd\theta$(微分と積分の交換ができる場合).よって不偏である.

(2) $\Ex_q[\theta]=\mu$ なので真の値は $\partial\mu/\partial\mu=1$.(a) $f'(\theta)=1$,$\partial\theta/\partial\mu=1$ なので推定量はいつも 1,分散 0.(b) $\ln q$ $=-\tfrac12\ln(2\pi\sigma^{2})-(\theta-\mu)^{2}/(2\sigma^{2})$,$\partial\ln q/\partial\mu$ $=(\theta-\mu)/\sigma^{2}$.$\mu=0$,$\sigma=1$ では推定量は $\theta\cdot\theta$ $=\epsilon^{2}$ で,平均 $\Ex[\epsilon^{2}]=1$(不偏),分散 $\Ex[\epsilon^{4}]-1=3-1=2$.

(3) 真の値は $\partial\mu/\partial\sigma=0$.(a) $\partial\theta/\partial\sigma$ $=\epsilon$ なので推定量は $\epsilon$,平均 0,分散 1.(b) $\partial\ln q/\partial\sigma$ $=-1/\sigma+(\theta-\mu)^{2}/\sigma^{3}$ なので推定量は $\epsilon(\epsilon^{2}-1)$ $=\epsilon^{3}-\epsilon$.平均は $\Ex[\epsilon^{3}]-\Ex[\epsilon]$ $=0$,分散は $\Ex[(\epsilon^{3}-\epsilon)^{2}]$ $=\Ex[\epsilon^{6}]-2\Ex[\epsilon^{4}]+\Ex[\epsilon^{2}]$ $=15-6+1$ $=10$.再パラメーター化の推定量は分散が 1/10 である.score function 推定量は $f$ の微分が要らない(離散の変数にも使える)利点があるが,分散が大きいので,実際には分散を下げる工夫と組み合わせて使う.

演習20.7 ピーク位置のばらつきの事後分布

解答

(1) $\ln\tilde{p}(\sigma_{\mathrm p})$ $=-(N+1)\ln\sigma_{\mathrm p}-\dfrac{S}{2\sigma_{\mathrm p}^{2}}$.微分 $-\dfrac{N+1}{\sigma_{\mathrm p}}+\dfrac{S}{\sigma_{\mathrm p}^{3}}$ $=0$ より $\sigma_{\mathrm p}^{*2}$ $=\dfrac{S}{N+1}$ $=\dfrac{0.0032}{9}$ $=3.556\times10^{-4}$,$\sigma_{\mathrm p}^{*}$ $=0.01886\ \mathrm{deg}$.2 階微分は $\dfrac{N+1}{\sigma_{\mathrm p}^{2}}-\dfrac{3S}{\sigma_{\mathrm p}^{4}}$ で,モードでは $S$ $=(N+1)\sigma_{\mathrm p}^{*2}$ を入れて $-\dfrac{2(N+1)}{\sigma_{\mathrm p}^{*2}}$.よって

$$ \begin{aligned} \Lambda&=\frac{2(N+1)}{\sigma_{\mathrm p}^{*2}}=\frac{18}{3.556\times10^{-4}}\\ &=5.06\times10^{4}\ \mathrm{deg^{-2}}, \end{aligned} $$

標準偏差 $1/\sqrt{\Lambda}$ $=0.00444\ \mathrm{deg}$,95 % 区間 $0.01886\pm0.00871$ $=[0.0101,\ 0.0276]\ \mathrm{deg}$.

(2) $\ln\tilde{p}_v$ $=-Nv-\dfrac{S}{2}e^{-2v}$.微分 $-N+Se^{-2v}=0$ より $\sigma_{\mathrm p}^{2}$ $=e^{2v^{*}}$ $=S/N$ $=4\times10^{-4}$,$\sigma_{\mathrm p}$ $=0.0200\ \mathrm{deg}$.2 階微分 $-2Se^{-2v}=-2N$ なので $\Lambda_v=2N=16$,$v$ の標準偏差 0.25.$\sigma_{\mathrm p}$ に戻すと $0.0200\,e^{\pm1.96\times0.25}$ $=0.0200\,e^{\pm0.49}$ より $[0.0123,\ 0.0326]\ \mathrm{deg}$.

(3) 厳密な区間 $[0.0135,\ 0.0383]$ と比べると,$\sigma_{\mathrm p}$ での近似は上端を 0.011 も低く見積もり(右の長い裾を無視),対数での近似は 0.006 低い.対数での近似のほうが良い.事後分布は $\sigma_{\mathrm p}\to0$ で急に 0 に落ち,大きい側に長い裾を引く非対称な形をしている.$\ln\sigma_{\mathrm p}$ に変換すると 0 の壁が $-\infty$ に移り,分布が対称に近づくので,Gauss 分布による近似が当てはまりやすい.測定回数がもっと少ないとこの差は大きくなる(たとえば $N=2$ では $\sigma_{\mathrm p}$ での Laplace 近似が負の値に 0.7 % の確率を置く).

演習20.8 近似の方法を選ぶ

解答

(1) $M=6$.Laplace 近似:Hesse 行列に $2M^{2}+1=73$ 回の評価(約 73 分).最適化に数百回かかるとして,1 つのモードあたり数時間,2 つのモードで半日ほど.変分推論:再パラメーター化の勾配を数個の標本で見積もり,数千回の更新を行うと $10^{3}$〜$10^{4}$ 回の評価(勾配を自動微分で求める場合)で,1〜7 日程度.相関つきの族は変分パラメーターが $6+21=27$ 個に増え,収束に必要な更新は増える.MCMC:$10^{5}$ 分 $\approx69$ 日.

(2) 平均場の変分推論:相関係数 0.95 の組では,各パラメーターの標準偏差が $\sqrt{1-0.95^{2}}=0.31$ 倍に縮みうる(式 (20.9) と 20.6 節の 2 次元 Gauss 分布の例).さらに一方のモードだけに寄るので,もう一方のモードの確率を無視する.誤差棒は 3 倍以上狭すぎることがある.相関つき Gauss の変分推論・Laplace 近似:相関は表せるので 1 つのモードの中の幅はおおむね正しいが,やはり 1 つのモードだけを見て,非対称な裾を無視する.Laplace 近似は中心がモードに来る.MCMC:時間をかければ偏りは小さくなるが,2 つのモードの間に確率の低い谷があると連鎖が谷を越えず,片方のモードだけを見て「収束した」ように見えることがある(第21章).

(3) 手順の例:① 出発点を変えた多数回の最適化で 2 つのモード $\bm{\theta}_1,\bm{\theta}_2$ を見つける.② 正の量(長さのスケールなど)は対数に変換してから扱う.③ 各モードで Laplace 近似し,式 (20.4) で各モードの近似の周辺尤度 $Z_k\approx p(\data,\bm{\theta}_k)(2\pi)^{M/2}\abs{\bm{\Lambda}_k}^{-1/2}$ を求め,$Z_k/\sum_jZ_j$ の重みで 2 つの Gauss 分布を混ぜる.④ 誤差棒は相関を含む $\bm{\Lambda}_k^{-1}$ から出し,平均場の誤差棒は使わない.⑤ 計算が許す範囲で,各モードから短い MCMC を走らせる,あるいは $\ln p$ のガウス過程の代理モデル(第12章)を作って,Gauss 近似の裾の歪みを確かめる.⑥ 報告には,どの近似を使い,どのモードを含めたかを明記する.

第21章 サンプリング法 — 乱数で積分する

演習21.1 指数関数の積分と対称な変数

解答

(1) $I=\int_0^1e^{u}\,\dd u=e-1\approx1.71828$.2 乗の期待値は $\Ex[f^{2}]=\int_0^1e^{2u}\,\dd u=\dfrac{e^{2}-1}{2}\approx3.19453$ なので

$$ \begin{aligned} \Var[f]&=\Ex[f^{2}]-I^{2}\\ &=3.19453-2.95249=0.24204 . \end{aligned} $$

(2) $S=100$ の標準誤差は $\sqrt{0.24204/100}=0.0492$.$\sqrt{0.24204/S}\le10^{-3}$ より $S\ge0.24204/10^{-6}\approx2.42\times10^{5}$.

(3) $g(u)=\tfrac12(e^{u}+e^{1-u})$ について,$1-u$ も一様分布に従うので $\Ex[g]=\tfrac12(I+I)=I$(不偏).2 乗を展開し,$e^{u}e^{1-u}=e$ を使うと

$$ \begin{aligned} g^{2}&=\tfrac14\bigl(e^{2u}+2e+e^{2-2u}\bigr),\\ \Ex[g^{2}]&=\tfrac14\left(\frac{e^{2}-1}{2}+2e+\frac{e^{2}-1}{2}\right)\\ &=\frac{e^{2}-1}{4}+\frac{e}{2}\approx2.95640 . \end{aligned} $$

($\int_0^1e^{2-2u}\,\dd u=\int_0^1e^{2v}\,\dd v$ を使った.)よって $\Var[g]=2.95640-2.95249=0.00391$.$g$ は $f$ を 2 回評価するので,比べる相手は独立な 2 個の平均の分散 $\Var[f]/2=0.12102$ であり,分散は $0.00391/0.12102\approx1/31$ になる.$e^{u}$ は単調増加なので $e^{u}$ と $e^{1-u}$ は負の相関をもち,片方が大きいともう片方が小さく,和のばらつきが打ち消されるためである.

演習21.2 セラミックスの強度の乱数を作る

解答

(1) $u=1-\exp[-(\sigma_{\mathrm f}/\sigma_0)^{m}]$ を解く.$1-u=\exp[-(\sigma_{\mathrm f}/\sigma_0)^{m}]$,両辺の対数をとって $(\sigma_{\mathrm f}/\sigma_0)^{m}=-\ln(1-u)$,$1/m$ 乗して

$$ \sigma_{\mathrm f}=\sigma_0\bigl[-\ln(1-u)\bigr]^{1/m} . $$

(2) $u=0.05$:$-\ln0.95=0.05129$,$0.05129^{0.1}=0.7430$,$\sigma_{\mathrm f}=222.9\ \mathrm{MPa}$.$u=0.5$:$(\ln2)^{0.1}=0.6931^{0.1}=0.9640$,$289.2\ \mathrm{MPa}$.$u=0.95$:$(-\ln0.05)^{0.1}=2.9957^{0.1}=1.1160$,$334.8\ \mathrm{MPa}$.$m=10$ と大きいので,5 % 点から 95 % 点までが 223〜335 MPa に収まる.

(3) $(250/300)^{10}=(5/6)^{10}=0.16151$,$P(\sigma_{\mathrm f}\lt250)=1-e^{-0.16151}=0.1491$.1000 個中の個数は二項分布 $\mathrm{Bin}(1000,\,0.1491)$ に従い,平均 $149.1$ 個,標準偏差 $\sqrt{1000\times0.1491\times0.8509}=\sqrt{126.9}\approx11.3$ 個.乱数で作った 1000 個の中の個数は,おおむね $149\pm23$ 個(2 標準偏差)の範囲でばらつく.

演習21.3 最もよい重点サンプリングの提案分布

解答

(1) $w=p/q$ として,1 個の標本の $wf$ の分散は $\Var_q[wf]=\Ex_q[(wf)^{2}]-(\Ex_q[wf])^{2}$.第 2 項は $\Ex_q[wf]=\int\frac{p}{q}fq\,\dd x=I$ より $I^{2}$.第 1 項は

$$ \Ex_q[(wf)^{2}]=\int\frac{p^{2}}{q^{2}}f^{2}\,q\,\dd x=\int\frac{f^{2}p^{2}}{q}\,\dd x . $$

よって分散は $\int\frac{f^{2}p^{2}}{q}\,\dd x-I^{2}$ である.

(2) $q^{*}=fp/I$ を代入すると,$f\gt0$ の所で $w f=\dfrac{p}{fp/I}\,f=I$ と定数になるので,分散は 0 である.式でも $\int\frac{f^{2}p^{2}}{fp/I}\,\dd x=I\int fp\,\dd x=I^{2}$ で,$I^{2}-I^{2}=0$.

(3) $q^{*}$ を正規化するには求めたい $I$ そのものが必要なので,実際には使えない.しかし「$q$ は $f(x)p(x)$ が大きい所に確率を集めるとよい」という指針になる.$p$ だけでなく $f$ の大きい所(たとえば裾の確率を求めるなら裾)を重点的に引く.逆に,$fp$ が大きい所で $q$ が小さいと $f^{2}p^{2}/q$ が大きくなり分散が増える(21.4 節の裾の軽い提案の危険と同じ).

演習21.4 定常だが詳細釣り合いを満たさない連鎖

解答

(1) $\bm{\pi}=(\tfrac13,\tfrac13,\tfrac13)$ について $(\bm{\pi}\bm{T})_j=\tfrac13\sum_iT_{ij}$ である.各列の和は $0.5+0+0.5=1$,$0.5+0.5+0=1$,$0+0.5+0.5=1$ なので $(\bm{\pi}\bm{T})_j=\tfrac13$,すなわち $\bm{\pi}\bm{T}=\bm{\pi}$.

(2) $p_1T_{12}=\tfrac13\times0.5=\tfrac16$,$p_2T_{21}=\tfrac13\times0=0$ で等しくない.よって詳細釣り合いは成り立たない.

(3) 正味の流れ $p_iT_{ij}-p_jT_{ji}$ は $1\to2$,$2\to3$,$3\to1$ がどれも $+\tfrac16$ である.確率は $1\to2\to3\to1$ の向きにぐるぐる回り続けているが,各状態に入る量($\tfrac16$)と出る量($\tfrac16$)が等しいので分布は変わらない.定常ではあるが,時間を逆向きにすると流れの向きが変わる(時間反転について対称でない).

(4) 定常性 $\sum_xp(x)T(x'\mid x)=p(x')$ を確かめるには全状態の和が要り,正規化された $p$ が必要になる.詳細釣り合いは 2 状態ずつの条件 $\tilde{p}(x)T(x'\mid x)=\tilde{p}(x')T(x\mid x')$ で,$Z$ が両辺で約分されるので $\tilde{p}$ だけで確かめられ,それを満たす $T$(Metropolis–Hastings 法)を機械的に作れる.なお,詳細釣り合いを破る連鎖の方が速く混ざる場合もあり,そうした方法も研究されている.

演習21.5 正の量を対数でランダムウォークする

解答

(1) $y'=\ln x'$ は $\Normal(y'\mid\ln x,\,s^{2})$ に従う.$x'=e^{y'}$ への変数変換で $\dd y'/\dd x'=1/x'$ なので(第2章 2.6 節)

$$ \begin{aligned} &q(x'\mid x)\\ &\quad=\frac{1}{x'\sqrt{2\pi}\,s}\exp\!\left[-\frac{(\ln x'-\ln x)^{2}}{2s^{2}}\right] \end{aligned} $$

($x'\gt0$).(2) 指数関数の部分は $x$ と $x'$ について対称なので,比をとると前の因子 $1/x'$ と $1/x$ だけが残る:

$$ \begin{aligned} \frac{q(x\mid x')}{q(x'\mid x)}&=\frac{1/x}{1/x'}=\frac{x'}{x},\\ r&=\frac{\tilde{p}(x')}{\tilde{p}(x)}\cdot\frac{x'}{x} . \end{aligned} $$

(3) $\dfrac{\tilde{p}(1.5)}{\tilde{p}(1.0)}=\dfrac{1.5^{2}e^{-3}}{1^{2}e^{-2}}=2.25\,e^{-1}=0.8277$.正しい比は $r=0.8277\times1.5=1.2416$ で,受理確率は $\min(1,1.2416)=1$.$x'/x$ を忘れると受理確率 0.828 になる.忘れた連鎖は $\ln x$ の上で $\tilde{p}(e^{y})$ を標的にしたことになり,$x$ の上では $\tilde{p}(x)/x\propto xe^{-2x}$(Gamma 分布の形 $a$ が 1 小さい)を標本することになる.小さい $x$ に偏った誤った事後分布が得られる.

演習21.6 引き合う吸着分子の Monte Carlo

解答

(1) 吸着で $N$ が 1 増え,吸着エネルギー $\varepsilon$ と,新しくできる $k$ 組の相互作用 $kw$ が加わるので,$\Delta(E-\mu N)=(\varepsilon-\mu)+kw$.

(2) $k_{\mathrm B}T=0.02585\ \mathrm{eV}$.

$k=4$ のサイトからの脱離は変化が $+0.07\ \mathrm{eV}$ なので受理確率 $e^{-0.07/0.02585}=e^{-2.708}=0.0667$.周りを囲まれた分子はなかなか離れない.

(3) 相互作用があると,1 つのサイトの占有の確率が近傍の占有に依存し,サイトが独立でなくなる.21.12.2 項の Langmuir の式は独立なサイトの詳細釣り合いから出したものなので使えない(近傍の状態を平均で置き換える平均場近似なら近似式が作れる).孤立したサイトには吸着しにくく(受理確率 0.145),隣に分子がいるサイトにはよく吸着し離れにくいので,分子が集まった島(2 次元の凝縮相)ができ,低温では島と空いた領域に分かれる.被覆率は $\mu$ のわずかな変化で急に変わることがある.島の形や被覆率は Monte Carlo で計算する.

演習21.7 長い相関と間引き

解答

(1) 例題21.8 の式で $\tau_{\mathrm{int}}=(1+0.99)/(1-0.99)=199$.有効標本数 1000 には $S=1000\times199=1.99\times10^{5}$ ステップが要る.

(2) 間引く前:$10^{5}/199=502.5$.間引いた列は $\phi'=0.99^{10}=0.9044$ の AR(1) とみなせて,$\tau_{\mathrm{int}}'=(1+0.9044)/(1-0.9044)=19.92$,有効標本数は $10^{4}/19.92=502.1$.間引いても有効標本数はほとんど変わらず(わずかに減り),増えることはない.捨てた 9 割の標本は情報をほとんど持っていなかったが,持っていた分は失われた.

(3) 間引きは精度を上げない.意味があるのは,標本を保存する記憶容量や,標本ごとの後処理(たとえば各標本で重い物性計算をする)の費用を減らしたいときである.その場合も,間引き間隔を $\tau_{\mathrm{int}}$ 程度にすれば情報の損失は小さい.

演習21.8 合金の原子の入れ替え

解答

(1) A A B B は $\bm{s}=(+1,+1,-1,-1)$ で,隣り合う 3 組の積は $+1,\ -1,\ +1$ なので $E=J(1-1+1)=J=0.03\ \mathrm{eV}$.A B A B は $(+1,-1,+1,-1)$ で積は $-1,-1,-1$,$E=-3J=-0.09\ \mathrm{eV}$.$\Delta E=-0.09-0.03=-0.12\ \mathrm{eV}$.

(2) $\Delta E\lt0$ なので受理確率 1.逆の入れ替えは $\Delta E=+0.12\ \mathrm{eV}$ で,$e^{-0.12/0.08617}=e^{-1.393}=0.248$.

(3) 入れ替えは A と B の個数を変えないので組成が保たれ,組成を固定したカノニカル分布を標本する.提案は「A のサイトを 1 つ,B のサイトを 1 つ,それぞれ一様に選ぶ」とすれば,ある組を選ぶ確率は入れ替えの前後で同じ(A と B の個数が変わらないため)なので対称である.したがって受理確率 $\min(1,e^{-\beta\Delta E})$ の Metropolis 法になり,定理21.6 により詳細釣り合いを満たす.実際の拡散と違い,離れたサイトの組を選んでもよい.

(4) $J\gt0$ では異種原子の隣接($s_is_{i+1}=-1$)でエネルギーが下がるので,A と B が交互に並ぶ規則配列を好む(第19章 例題19.11 で異種の対の割合が 0.5 より大きくなったのと同じ傾向).低温ほど規則配列の割合が高い.

第22章 系列データと隠れ Markov モデル — 順序のあるデータ

演習22.1 2 状態の Markov 連鎖

解答

$A_{12}=1-A_{11}=0.1$,$A_{21}=1-A_{22}=0.4$ である.

(1) 第22章の公式22.2 より $p^{*}(1)=A_{21}/(A_{12}+A_{21})=0.4/0.5=0.8$,$p^{*}(2)=0.1/0.5=0.2$.確かめ:$0.8\times0.9+0.2\times0.4=0.72+0.08=0.8$.

(2) 平均滞在時間は $1/(1-A_{ii})$ なので,状態 1 は $1/0.1=10$,状態 2 は $1/0.4=2.5$ 時刻.比 $10:2.5=0.8:0.2$ が定常分布と一致する.

(3) $\lambda=1-A_{12}-A_{21}=0.5$.$\pi_2=0$ なので $p_t(2)-p^{*}(2)=0.5^{t-1}(0-0.2)$,差の大きさは $0.2\times0.5^{t-1}$ である.$t=1,\dots,6$ で $0.2,\ 0.1,\ 0.05,\ 0.025,\ 0.0125,\ 0.00625$ なので,0.01 未満になる最初の $t$ は $6$($p_6(2)=0.19375$).

(4) 特性方程式は

$$ \begin{aligned} &\det(\bm{A}-\lambda\bm{I})\\ &=(0.9-\lambda)(0.6-\lambda)-0.1\times0.4\\ &=\lambda^{2}-1.5\lambda+0.5\\ &=(\lambda-1)(\lambda-0.5)=0 . \end{aligned} $$

固有値は 1 と 0.5 で,0.5 が公式22.2 の $\lambda=1-A_{12}-A_{21}$ に一致する.一般に $2\times2$ の確率行列の固有値の和はトレース $A_{11}+A_{22}$ なので,1 でない方は $A_{11}+A_{22}-1=1-A_{12}-A_{21}$ である.

演習22.2 forward・backward・Viterbi を手で計算する

解答

パラメーターは $\bm{\pi}=(0.6,0.4)$,$A_{11}=0.7$,$A_{12}=0.3$,$A_{21}=0.4$,$A_{22}=0.6$,$B_{1\cdot}=(0.5,0.4,0.1)$,$B_{2\cdot}=(0.1,0.3,0.6)$(低・中・高),観測は 高・高・低.

(1) forward:$\alpha_1=(0.6\times0.1,\ 0.4\times0.6)=(0.06,\ 0.24)$.

$$ \begin{aligned} \alpha_2(1)&=0.1\times(0.06\times0.7+0.24\times0.4)\\ &=0.1\times0.138=0.0138,\\ \alpha_2(2)&=0.6\times(0.06\times0.3+0.24\times0.6)\\ &=0.6\times0.162=0.0972,\\ \alpha_3(1)&=0.5\times(0.0138\times0.7+0.0972\times0.4)\\ &=0.5\times0.04854=0.02427,\\ \alpha_3(2)&=0.1\times(0.0138\times0.3+0.0972\times0.6)\\ &=0.1\times0.06246=0.006246. \end{aligned} $$

$p(x_{1:3})=0.02427+0.006246=0.030516$.

(2) backward:$\beta_3=(1,1)$.$x_3=\text{低}$ なので $\beta_2(1)=0.7\times0.5+0.3\times0.1=0.38$,$\beta_2(2)=0.4\times0.5+0.6\times0.1=0.26$.$x_2=\text{高}$ なので

$$ \begin{aligned} \beta_1(1)&=0.7\times0.1\times0.38+0.3\times0.6\times0.26\\ &=0.0266+0.0468=0.0734,\\ \beta_1(2)&=0.4\times0.1\times0.38+0.6\times0.6\times0.26\\ &=0.0152+0.0936=0.1088. \end{aligned} $$

確かめ:$t=1$ で $0.06\times0.0734+0.24\times0.1088$ $=0.004404+0.026112$ $=0.030516$,$t=2$ で $0.0138\times0.38+0.0972\times0.26$ $=0.005244+0.025272$ $=0.030516$.どちらも $p(x_{1:3})$ に一致する.平滑化は $\gamma_t(j)=\alpha_t(j)\beta_t(j)/0.030516$:

(3) Viterbi:$\omega_1=(0.06,\ 0.24)$.以下の $\max$ の中は $\omega_{t-1}(1)A_{1j}$ と $\omega_{t-1}(2)A_{2j}$ である(例:$0.06\times0.7=0.042$,$0.24\times0.4=0.096$).

$$ \begin{aligned} \omega_2(1)&=0.1\times\max(0.042,\ 0.096)\\ &=0.1\times0.096=0.0096,\\ \omega_2(2)&=0.6\times\max(0.018,\ 0.144)\\ &=0.6\times0.144=0.0864,\\ \omega_3(1)&=0.5\times\max(0.00672,\ 0.03456)\\ &=0.5\times0.03456=0.01728,\\ \omega_3(2)&=0.1\times\max(0.00288,\ 0.05184)\\ &=0.1\times0.05184=0.005184. \end{aligned} $$

バックポインターは $\psi_2=(2,2)$,$\psi_3=(2,2)$(どれも状態 2 からの値が大きい).$\omega_3(1)\gt\omega_3(2)$ なので $z_3^{*}=1$,$z_2^{*}=\psi_3(1)=2$,$z_1^{*}=\psi_2(2)=2$.経路は 劣化・劣化・正常(221)で,同時確率は 0.01728(事後確率 $0.01728/0.030516=0.56626$).確かめ:$\pi_2B_{2,\text{高}}\cdot A_{22}B_{2,\text{高}}\cdot A_{21}B_{1,\text{低}}$ $=0.24\times0.36\times0.2=0.01728$.

(4) $\gamma_t$ が最大の状態は 2,2,1 で,Viterbi の経路 221 と一致する.

演習22.3 forward–backward の恒等式

解答

第22章 22.3.2 項の条件付き独立を「性質 1(観測は今の状態だけで決まる)」「性質 2(状態の Markov 性)」「性質 3(今の状態を知れば未来の観測は過去と無関係)」と呼ぶ.

(1) 観測を時刻 $t$ までとそれより後に分け,乗法定理を使う.

$$ \begin{aligned} &p(x_{1:T},z_t=j)\\ &=p(x_{1:t},z_t=j)\,p(x_{t+1:T}\mid x_{1:t},z_t=j)\\ &=\alpha_t(j)\,p(x_{t+1:T}\mid z_t=j)\quad(\text{性質 3})\\ &=\alpha_t(j)\,\beta_t(j). \end{aligned} $$

加法定理で $j$ について足すと $\sum_j\alpha_t(j)\beta_t(j)=\sum_jp(x_{1:T},z_t=j)=p(x_{1:T})$.右辺は $t$ によらないので,どの $t$ でも同じ値になる.

(2) 観測を $x_{1:t}$,$x_{t+1}$,$x_{t+2:T}$ の 3 つに分け,乗法定理を順に使う.

$$ \begin{aligned} &p(x_{1:T},z_t=i,z_{t+1}=j)\\ &=p(x_{1:t},z_t=i)\\ &\quad\times p(z_{t+1}=j\mid x_{1:t},z_t=i)\\ &\quad\times p(x_{t+1}\mid x_{1:t},z_t=i,z_{t+1}=j)\\ &\quad\times p(x_{t+2:T}\mid x_{1:t+1},z_t=i,z_{t+1}=j). \end{aligned} $$

第 1 因子は $\alpha_t(i)$.第 2 因子は性質 2 より $A_{ij}$.第 3 因子は性質 1 より $B_{jx_{t+1}}$.第 4 因子は性質 3(時刻 $t+1$ について)より $p(x_{t+2:T}\mid z_{t+1}=j)=\beta_{t+1}(j)$.よって $p(x_{1:T},z_t=i,z_{t+1}=j)$ $=\alpha_t(i)A_{ij}B_{jx_{t+1}}\beta_{t+1}(j)$ で,両辺を $p(x_{1:T})$ で割れば

$$ \xi_t(i,j)=\frac{\alpha_t(i)A_{ij}B_{jx_{t+1}}\beta_{t+1}(j)}{p(x_{1:T})}. $$

(3) $j$ について足し,backward 算法の漸化式 $\beta_t(i)=\sum_jA_{ij}B_{jx_{t+1}}\beta_{t+1}(j)$ を使う.

$$ \begin{aligned} \sum_j\xi_t(i,j)&=\frac{\alpha_t(i)\sum_jA_{ij}B_{jx_{t+1}}\beta_{t+1}(j)}{p(x_{1:T})}\\ &=\frac{\alpha_t(i)\beta_t(i)}{p(x_{1:T})}=\gamma_t(i). \end{aligned} $$

これは加法定理 $\sum_jp(z_t=i,z_{t+1}=j\mid x_{1:T})=p(z_t=i\mid x_{1:T})$ そのものでもある.

演習22.4 γ 最大の列が起こりえない列になる例

解答

観測の出力確率がどの状態でも同じなので,同時確率 $p(x_{1:2},z_{1:2})$ は $\pi_{z_1}A_{z_1z_2}$ に状態によらない定数を掛けたものであり,事後確率は $\pi_{z_1}A_{z_1z_2}$ そのものになる.

(1) 確率が 0 でない列は 4 本である:$12$:$0.4\times0.5=0.2$,$13$:$0.2$,$21$:$0.3\times1=0.3$,$31$:$0.3$.和は 1.ほかの 5 本(11,22,23,32,33)は遷移確率 0 を含むので確率 0.

(2) $\gamma_1=(0.2+0.2,\ 0.3,\ 0.3)=(0.4,\ 0.3,\ 0.3)$,$\gamma_2=(0.3+0.3,\ 0.2,\ 0.2)=(0.6,\ 0.2,\ 0.2)$.各時刻で最大の状態は 1,1 で,列は 11.$A_{11}=0$ なのでこの列の確率は 0 である.各時刻の判断としてはどちらも最も確からしいのに,並べると起こりえない列になる.

(3) 最大の確率は 0.3 で,21 と 31 が同点である.Viterbi 法では $\omega_2(1)=\max(0.4\times0,\ 0.3\times1,\ 0.3\times1)=0.3$(観測の因子を除く),$\omega_2(2)=\omega_2(3)=0.4\times0.5=0.2$ なので $z_2^{*}=1$,$\psi_2(1)$ は 2 と 3 が同点で,番号の小さい方を選ぶ規則なら 2.経路は 21(確率 0.3)である.Viterbi の経路は必ず確率が最大の列なので,遷移確率 0 の組を含むことはない.

演習22.5 炉の監視の警報

解答

(1) $A_{12}=0.03$,$A_{22}=1$.予測は $p(z_t=2\mid x_{1:t-1})$ $=0.03\times0.98+1\times0.02$ $=0.0494$.予測のオッズ $0.0494/0.9506=0.05197$,「高」の尤度比 $B_{2,\text{高}}/B_{1,\text{高}}=0.5667/0.1=5.667$ を掛けて $0.2945$,確率 $0.2945/1.2945=0.2275$.例題22.12 の 0.2237 よりわずかに大きい.違いは予測の第 2 項(劣化にとどまる確率 1 と 0.95)だけで,$\hat\alpha_{t-1}(2)$ が小さいうちは差は小さい.

(2)「中」の尤度比は $(1/3)/(1/3)=1$ なので,更新は何も変えず,フィルタリングは予測と等しい:$f_t=0.03(1-f_{t-1})+f_{t-1}=0.03+0.97f_{t-1}$.$1-f_t=0.97(1-f_{t-1})$ なので $f_t\to1$ となる.つまり劣化を示す観測が何もないのに,時間が経つだけで劣化の確率が 1 に近づき,やがて警報が出る.「戻らない」モデルでは「まだ劣化していない」ことを示す観測(「低」)が続かない限り,劣化の確率は上がり続けるからである.$A_{22}=0.95$ のモデルでは「中」だけが続くと定常値 $0.03/(0.03+0.05)=0.375$ に近づき,0.5 を超えない.戻らないモデルを使うなら,閾値だけでなく「劣化の確率が上がった理由が観測によるものか」(尤度比が 1 より大きい観測があったか)を併せて見る必要がある.

(3) 定常状態で 1 時間あたりに正常から劣化へ移る回数の期待値は $p^{*}(1)A_{12}=0.625\times0.03=0.01875$ なので,1 年で $8760\times0.01875\approx164$ 回.これは「1 年に 164 回劣化して戻る」というモデルの主張であり,点検記録で実際の劣化(補修を要した事例)が年に数回しかないなら,このモデルの「劣化」は実際の劣化ではなく,短い一時的な乱れ(扉の開閉など)を拾っていることになる.$\bm{A}$ の値がプロセスの実態と合うかを,外部の記録で確かめる意味がある.

演習22.6 電池の容量を Kalman フィルターで追う

解答

(1) $z_t=z_{t-1}-d+w_t$ で,$x_{1:t-1}$ のもとで $z_{t-1}\sim\Normal(\mu_{t-1},P_{t-1})$,$w_t$ は独立なので

$$ \mu_{t\mid t-1}=\mu_{t-1}-d,\qquad P_{t\mid t-1}=P_{t-1}+q. $$

更新の式は第22章の式と同じで,$K_t=P_{t\mid t-1}/(P_{t\mid t-1}+r)$,$\mu_t=\mu_{t\mid t-1}+K_t(x_t-\mu_{t\mid t-1})$,$P_t=P_{t\mid t-1}r/(P_{t\mid t-1}+r)$.

(2) $t=1$:$\mu_{1\mid0}=100$,$P_{1\mid0}=1$.$K_1=1/1.25=0.8$,$\mu_1=100+0.8\times(99.6-100)=99.68$,$P_1=1\times0.25/1.25=0.2$.

$t=2$:$\mu_{2\mid1}=99.68-0.05=99.63$,$P_{2\mid1}=0.2+0.01=0.21$.$K_2=0.21/0.46=0.45652$,$\mu_2$ $=99.63+0.45652\times(99.9-99.63)$ $=99.63+0.12326=99.753$,$P_2=0.21\times0.25/0.46=0.11413$.

$t=3$:$\mu_{3\mid2}=99.753-0.05=99.703$,$P_{3\mid2}=0.11413+0.01=0.12413$.$K_3=0.12413/0.37413=0.33178$,$\mu_3$ $=99.703+0.33178\times(99.3-99.703)$ $=99.703-0.13380=99.569$,$P_3=0.12413\times0.25/0.37413=0.082946$.

推定の標準偏差は $\sqrt{P_t}=0.447,\ 0.338,\ 0.288$ % と減っていく.

(3) $P^{-}_\infty=(q+\sqrt{q^{2}+4qr})/2$ $=(0.01+\sqrt{0.0001+0.01})/2$ $=(0.01+0.10050)/2$ $=0.055249$,$K_\infty=0.055249/0.305249=0.18100$.測定 1 回のばらつき(標準偏差 $\sqrt{r}=0.5$ %)が,1 サイクルの容量の不規則な変化($\sqrt{q}=0.1$ %)よりずっと大きいので,1 回の測定値は 18 % の重みでしか推定を動かさない.実質的に,最近の約 $1/K_\infty\approx5.5$ サイクル分の測定値を(指数関数的な重みで)平均していることになる.

(4) フィルターは平均の劣化速度 $d=0.05$ %/サイクルを仮定して予測するので,実際の劣化が速くなると予測が毎回高すぎ,推定は真の容量より高い側に遅れて追随する(イノベーション $x_t-\mu_{t\mid t-1}$ が負に偏り続ける).$K_\infty$ が小さいので遅れは数サイクル以上続く.対策として,劣化速度も状態に加えて推定する(2 次元の状態 $(z_t,d_t)$),イノベーションの偏りを監視して段階の切り替えを検出する,などがある.

演習22.7 時系列の検証の設計

解答

(a) 漏れている.検証の時刻の前後 1 時間の記録が訓練に入り,隣り合う時刻は似ているので,検証は「前後が分かっているときの内挿」の性能を測ることになる.さらに目的変数は 12 時間後の値なので,訓練の時刻 $t$ の目的変数($t+12$ の偏差)が検証の時刻 $t+12$ 付近の情報そのものになる.直し方:時刻で切る(例:前半 1.5 年を訓練,後半 0.5 年を検証).

(b) 漏れている.前後 6 時間の平均は $t+1,\dots,t+6$ の値を含む.予測を実行する時刻 $t$ にはそれらはまだ存在しない.直し方:過去だけの移動平均 $\frac{1}{6}\sum_{s=t-5}^{t}x_s$(時刻 $t$ の値までを含む)にする.

(c) 漏れている(程度は小さいが).標準化の平均と標準偏差に後半 0.5 年の値が入る.後半に炉の状態が変わって水準がずれていると,その情報が訓練に紛れ込む.直し方:標準化の係数は訓練期間(前半 1.5 年)だけで求め,同じ係数を検証期間に当てはめる(第6章 6.7 節の前処理の fit と同じ).

(d) 特徴量は正しいが,境目で漏れる.訓練期間の最後の 12 時間の目的変数は,検証期間の最初の 12 時間の偏差で決まる.訓練と検証の間に 12 時間以上の隙間を置き,訓練の目的変数が検証期間の値を参照しないようにする.特徴量に過去 24 時間を使うので,検証の最初の時刻の特徴量に訓練期間の値が入るのは問題ない(予測の時点で手元にある情報だから).加えて,データが 2 年あるなら,訓練の終わりをずらしながら直後の期間で検証する前進する検証を行えば,季節による違いも見られる.

演習22.8 Kalman ゲインの定常値

解答

(1) 予測の分散の漸化式は,更新 $P_t=P_{t\mid t-1}r/(P_{t\mid t-1}+r)$ と予測 $P_{t+1\mid t}=P_t+q$ を合わせて

$$ P_{t+1\mid t}=\frac{P_{t\mid t-1}\,r}{P_{t\mid t-1}+r}+q . $$

定常値 $P^{-}$ では $P^{-}=\dfrac{P^{-}r}{P^{-}+r}+q$.両辺に $P^{-}+r\gt0$ を掛けると

$$ \begin{aligned} P^{-}(P^{-}+r)&=P^{-}r+q(P^{-}+r),\\ (P^{-})^{2}+P^{-}r&=P^{-}r+qP^{-}+qr,\\ (P^{-})^{2}-qP^{-}-qr&=0 . \end{aligned} $$

解の公式で $P^{-}=\bigl(q\pm\sqrt{q^{2}+4qr}\bigr)/2$.分散は正なので $+$ をとり,$P^{-}_\infty=\bigl(q+\sqrt{q^{2}+4qr}\bigr)/2$.$K_\infty=P^{-}_\infty/(P^{-}_\infty+r)$ はゲインの定義そのものである.

(2) $P_t=P_{t\mid t-1}r/(P_{t\mid t-1}+r)=\dfrac{P_{t\mid t-1}}{P_{t\mid t-1}+r}\,r=K_tr$.定常値でも $P_\infty=K_\infty r$.

(3) $q\to0$:$\sqrt{q^{2}+4qr}\approx2\sqrt{qr}$ が $q$ より大きく,$P^{-}_\infty\approx\sqrt{qr}\to0$,$K_\infty\approx\sqrt{q/r}\to0$.状態がほとんど動かないので,新しい観測の重みが 0 に近づき,フィルターはこれまでのすべての観測の平均を求めることに近づく(動かない量を繰り返し測るときの最良の推定).$r\to0$:$P^{-}_\infty\to q$,$K_\infty=q/(q+r)\to1$.観測に雑音がないので,最新の観測値をそのまま推定とする.

(4) $q=0.2$,$r=1$:$P^{-}_\infty=(0.2+\sqrt{0.04+0.8})/2$ $=(0.2+0.916515)/2$ $=0.558258$,$K_\infty=0.558258/1.558258=0.358258$.シミュレーター22.3 の既定の表示(読み出しの 0.3583,「いまの数値を式に入れると」の欄の 0.35826)と一致する.

第23章 RNN・LSTM と系列表現 — 記憶を持つネットワーク

演習23.1 SMILES の文字の言語モデルのパラメーター

解答

(1) 埋め込み行列は $V_{\mathrm{voc}}\times D=40\times32=1280$ 個.RNN は $\bm{W}_{xh}$ が $D_h\times D=128\times32=4096$,$\bm{W}_{hh}$ が $128\times128=16384$,$\bm{b}_h$ が 128 で,計 $20608$ 個.出力層は $\bm{W}_{hy}$ が $V_{\mathrm{voc}}\times D_h=40\times128=5120$,$\bm{b}_y$ が 40 で,計 $5160$ 個.合計は

$$ 1280+20608+5160=27048 . $$

(2) LSTM の 1 層は $4D_h(D+D_h+1)$ 個で,$4\times128\times(32+128+1)$ $=512\times161=82432$ 個.埋め込みと出力層は変わらないので,合計は $1280+82432+5160=88872$ 個で,RNN の約 3.3 倍になる.

(3) one-hot ベクトルを直接入れると,入力の重みは $D_h\times V_{\mathrm{voc}}=128\times40=5120$ 個.埋め込みを使うと $1280+4096=5376$ 個で,かえって少し多い.語彙が 40 と小さいときは,パラメーターの節約にはならない.それでも埋め込みを使う意味は,(i) 各文字の表現を 32 次元の連続値のベクトルとして学習し,性質の似た文字(たとえば芳香族の c と脂肪族の C)を近い表現にできること,(ii) 語彙が大きくなったとき(数千〜数万のトークン)には $V_{\mathrm{voc}}\times D_h$ の重みを避けられること,(iii) 入力の次元が語彙の大きさから切り離され,語彙を変えても RNN の本体の形が変わらないこと,である.

演習23.2 greedy に生成する

解答

$\bm{W}_{xh}=\bm{I}$,$\bm{b}_h=\bm{0}$ なので $\bm{h}_t=\tanh(\bm{W}_{hh}\bm{h}_{t-1}+\bm{x}_t)$,$\bm{x}_t$ は入力トークンの埋め込み($\bm{W}_E$ の行)である.

$t=1$(入力「昇温」):例題23.2・23.3 と同じく $\bm{h}_1=(0.1974,\ 0.7616)^{\tp}$,$\bm{p}_1=(0.6565,\ 0.2981,\ 0.0312,\ 0.0142)$.最大は「昇温」(0.6565)なので,これを選ぶ.

$t=2$(入力「昇温」):$\bm{W}_{hh}\bm{h}_1=(-0.2821,\ 0.4795)^{\tp}$ に「昇温」の埋め込み $(0.2,\ 1.0)^{\tp}$ を足して $\bm{a}_2=(-0.0821,\ 1.4795)^{\tp}$,$\bm{h}_2=(-0.0819,\ 0.9014)^{\tp}$.$\bm{o}_2=2(0.8195,\ 0.9833,\ -0.9833,\ -0.8195)$ から $\bm{p}_2=(0.4077,\ 0.5658,\ 0.0111,\ 0.0154)$.最大は「保持」.

$t=3$(入力「保持」):$\bm{h}_3=(-0.7581,\ 0.6105)^{\tp}$,$\bm{p}_3=(0.0423,\ 0.8777,\ 0.0037,\ 0.0763)$.最大は「保持」.

$t=4$(入力「保持」):$\bm{h}_4=(-0.8288,\ 0.2224)^{\tp}$,$\bm{p}_4=(0.0248,\ 0.6840,\ 0.0102,\ 0.2810)$.最大は「保持」.

$t=5$(入力「保持」):$\bm{h}_5=(-0.7721,\ -0.0032)^{\tp}$,$\bm{p}_5=(0.0217,\ 0.4752,\ 0.0219,\ 0.4813)$.最大は「〈終〉」(0.4813.「保持」0.4752 とわずかの差)なので,ここで止まる.

生成された系列は「昇温,昇温,保持,保持,保持,〈終〉」である.

teacher forcing(例題23.3)との違い:例題23.3 では $t=2$ の入力は正解の「保持」で,$\bm{h}_2=(-0.6539,\ 0.6524)^{\tp}$ だった.greedy 生成では $t=1$ で自分が選んだ「昇温」が入るので,$t=2$ 以降の隠れ状態がすべて違う値になる.学習していないこのモデルは,正解の系列(昇温,保持,降温,〈終〉)とは違う系列を作り,「降温」は一度も選ばれない.学習時は正解の過去が入るので 1 ステップずつの予測の良し悪しだけが評価されるが,生成時は自分の選択の結果が後のすべての入力を決める.

演習23.3 スカラーの BPTT

解答

(1) $a_t=wh_{t-1}+ux_t$,$h_t=\tanh a_t$,$L=\tfrac12(h_T-y)^{2}$ とする.$h_t$ が現れるのは,$t=T$ では $L$ の中だけ,$t\lt T$ では $a_{t+1}=wh_t+ux_{t+1}$ の中だけである.したがって

$$ \begin{aligned} \pdiff{L}{h_T}&=h_T-y,\\ \pdiff{L}{h_t}&=\pdiff{L}{a_{t+1}}\pdiff{a_{t+1}}{h_t}=w\,\delta_{t+1}\quad(t\lt T). \end{aligned} $$

$a_t$ は $h_t$ を通してだけ $L$ に効き,$\diff{h_t}{a_t}=1-\tanh^{2}a_t=1-h_t^{2}$ なので

$$ \begin{aligned} \delta_T&=(1-h_T^{2})(h_T-y),\\ \delta_t&=(1-h_t^{2})\,w\,\delta_{t+1}\quad(t\lt T). \end{aligned} $$

$w$ と $u$ はすべての時刻の $a_t$ に現れ,$\partial a_t/\partial w=h_{t-1}$,$\partial a_t/\partial u=x_t$ である($h_{t-1}$ を固定して $a_t$ の式の中の $w$ だけを動かしたときの偏微分.$h_{t-1}$ を通じた $w$ への依存は,$\delta$ の再帰の中で前の時刻の項として数えられている).よって

$$ \pdiff{L}{w}=\sum_{t=1}^{T}\delta_t\,h_{t-1},\qquad \pdiff{L}{u}=\sum_{t=1}^{T}\delta_t\,x_t . $$

(2) 例題23.4 の $h_2=0.54362$,$h_3=0.40940$,$w=0.8$ を使う.式 (23.13) の形で

$$ \begin{aligned} \pdiff{h_3}{h_1}&=w(1-h_3^{2})\cdot w(1-h_2^{2})\\ &=0.8\times0.83239\times0.8\times0.70448\\ &=0.6659\times0.5636=0.3753 . \end{aligned} $$

(3) $\partial L/\partial u=\sum_t\delta_tx_t$ で,$x_2=x_3=0$ なので $\delta_1x_1=\delta_1=0.03301$ だけが残る.$\delta_1$ は最後の時刻の誤差 $\delta_3$ から 2 段さかのぼった値で,各段で $w(1-h_t^{2})\lt1$ を掛けられて小さくなっている.一方 $\partial L/\partial w$ には,さかのぼっていない $\delta_3$ と $h_2$ の積(0.09476)が入るので大きい.最初の入力の重みを学ぶ信号は,遠い時刻から逆伝播で届く小さな誤差だけで決まる.これが 23.5 節の勾配消失が長い依存関係の学習を妨げる仕組みの最小の例である.

演習23.4 何ステップ届くか,クリッピングで何が変わるか

解答

(1) $h_0=0$ なら全時刻で $h_t=0$ なので,$\partial h_{50}/\partial h_0=w^{50}$.$w^{50}\ge0.01$ の両辺の自然対数をとると $50\ln w\ge\ln0.01=-4.6052$,$\ln w\ge-0.092103$,$w\ge e^{-0.092103}=0.9120$.$w\ge0.912$ が必要である.

(2) 式 (23.14) は,各因子 $w(1-h_i^{2})$ の $1-h_i^{2}$ を上限 1 で置き換えて得た.$h_0\ne0$ で状態が 0 から離れると $1-h_i^{2}\lt1$ となり,各因子は $w$ より小さい.飽和して $\abs{h_i}$ が 1 に近づくほど $1-h_i^{2}$ は 0 に近づくので,勾配は上限 $w^{t}$ よりさらに小さくなる.たとえば $w=0.912$ で状態が 0.5 程度にとどまれば,各因子は $0.912\times0.75=0.684$ で,50 ステップでは $0.684^{50}\approx5.6\times10^{-9}$ になる(実際の状態は 0 に向かって減っていくので,これより大きい値になる.ここでは上限が甘くなる理由を示すための概算である).

(3) $\norm{\bm{g}}=\sqrt{36+64+0}=10\gt2$ なので,$\bm{g}\leftarrow(2/10)\bm{g}=(1.2,\ -1.6,\ 0)$.長さは $\sqrt{1.44+2.56}=2$ で,向きは元と同じである.

演習23.5 忘却ゲートの値と記憶の持ち

解答

(1) 式 (23.17) を成分 $j$ で書くと $c_{t,j}=f_{t,j}\,c_{t-1,j}+i_{t,j}\,\tilde{c}_{t,j}$.$\bm{f}_t,\bm{i}_t,\tilde{\bm{c}}_t$ を定数とみなすと,$c_{t,j}$ は $c_{t-1,j}$ の 1 次関数で,他の成分 $c_{t-1,m}$($m\ne j$)を含まない.よって

$$ \pdiff{c_{t,j}}{c_{t-1,m}}=\begin{cases}f_{t,j}&(m=j)\\0&(m\ne j)\end{cases} $$

であり,行列で書けば対角成分だけが $f_{t,j}$ の対角行列になるので

$$ \pdiff{\bm{c}_t}{\bm{c}_{t-1}}=\diag(\bm{f}_t). $$

(2) 50 ステップの直接の経路は $f^{50}=0.95^{50}=0.0769$.

(3) $f^{100}\ge0.5$ より $f\ge0.5^{1/100}$ で,$0.5^{1/100}=e^{(\ln0.5)/100}$ $=e^{-0.0069315}=0.99309$.$\sigma(b_f)=f$ を解くと,$1/(1+e^{-b_f})=f$ から $e^{-b_f}=(1-f)/f$,$b_f=\ln\{f/(1-f)\}$.$f=0.99309$ を代入して $b_f=\ln(0.99309/0.00691)=\ln143.7=4.97$.前活性がほぼ 5 以上でなければならない.

(4) GRU は $3D_h(D+D_h+1)=3\times128\times161=61824$ 個,LSTM は $4\times128\times161=82432$ 個で,GRU は LSTM の 3/4 である.

演習23.6 温度履歴の要約を RNN として書く

解答

(1) 式 (23.23) は隠れ状態 $h_k=\Theta_k$ が 1 次元で,$W_{hh}=1$,活性化は恒等写像(tanh を通さない),入力は温度 $T_k$ を非線形の関数 $\phi(T_k)=\Delta t\,T_k^{-1}\exp\{-Q/(RT_k)\}$ に通したもの($\bm{W}_{xh}\bm{x}_t$ の代わりに $\phi(T_k)$ を足す)に当たる.バイアスは 0.LSTM の式 (23.17) で同じ計算をするには,忘却ゲートを $f_k=1$(前の値をすべて残す),入力ゲートを $i_k=1$,候補を $\tilde{c}_k=\phi(T_k)$ とすればよい.ただし $\tilde{c}_k$ は tanh の出力なので $(-1,1)$ に収まるように $\Theta$ の尺度を選ぶ必要がある.

(2) 例題23.10 と同じく,比は $\dfrac{T_1}{T_2}\exp\!\left[\dfrac{Q}{R}\Bigl(\dfrac{1}{T_1}-\dfrac{1}{T_2}\Bigr)\right]$ で,$T_1=1673.15\ \mathrm{K}$,$T_2=1723.15\ \mathrm{K}$.$1/T_1-1/T_2=5.9767\times10^{-4}-5.8033\times10^{-4}$ $=1.7341\times10^{-5}\ \mathrm{K^{-1}}$,$Q/R=57734\ \mathrm{K}$ なので指数は $1.0012$,$e^{1.0012}=2.7215$,$T_1/T_2=0.97098$ を掛けて比は $2.643$.30 分 × 2.643 = 79.3 分に相当する.

(3) $0.99^{600}=\exp(600\ln0.99)$ $=\exp(600\times(-0.010050))$ $=\exp(-6.030)=0.0024$.600 ステップ前の寄与は 0.24 % しか残らない.一方,$0.999^{600}=\exp(600\times(-0.0010005))$ $=\exp(-0.6003)=0.549$ で半分ほど残る.積算 $\Theta$ を正しく表すには因子がほぼ正確に 1 でなければならず,tanh RNN ではこれを保つのが難しい.

(4) 例:(i) 同じ運転の記録を時間で切った断片を訓練と検証に分けない(運転単位,さらに原料ロットや炉の単位で分ける.第6章 6.8 節).(ii) 途中で予測する用途では,予測する時刻より後の温度を入力や特徴量(全区間の平均・標準化の統計量など)に使わない(第22章の時系列の漏洩).(iii) 検証用の運転の温度条件が訓練の範囲の外にあるときは外挿であることを明記する.

演習23.7 同じ分子の別の書き方

解答

(1) C=Cc1ccccc1 も c1ccccc1C=C も 11 文字なので,トークンの数はどちらも 11.2 つ目では環を開く 1 が 2 番目,閉じる 1 が 8 番目にあり,6 トークン離れている(1 つ目でも 5 番目と 11 番目で 6 トークン).

(2) 文字列としては違っても同じ分子なので,テストデータの分子の物性値が訓練データにそのまま含まれていることになる.モデルが文字列の違いを越えて同じ分子だと学べば,テストの誤差は「未知の分子への予測」ではなく「既知の分子の想起」を測ることになり,汎化の性能を高く見積もる(データ漏洩.第6章 6.7 節).防ぐには,分割の前に全分子を一意の書き方(正準化した SMILES)に直すか,分子の識別子で重複を除いてから,分子単位で訓練とテストに分ける.

(3) 同じ分子の別の書き方は,物性値を変えない「入力の変換」なので,訓練データに加えると,モデルに「書き方によらず同じ答えを返す」ことを学ばせるデータ拡張になる(画像を回転しても写っている物は同じ,という拡張と同じ考え).ただし (2) の注意から,拡張は分割の後に,訓練データの中だけで行う.

(4) 例:(i) 文法的に正しい SMILES でも,訓練データにある分子の写しなら新しい候補にならない(新規性を別に確かめる).(ii) 分子として存在しうることと,実際に合成できること,安定であることは別である.(iii) 目的の物性を持つかは,生成モデルとは別の予測か実験・計算で確かめる必要があり,その予測も訓練範囲の外では信用できない.

演習23.8 ボトルネックと読み直し

解答

(1) 例題23.8 と同じく $c=h_{20}=\sum_{t=1}^{20}a^{20-t}x_t$ なので,$x_1$ の係数は $a^{19}=0.8^{19}=0.0144$.最後の入力の係数 1 の 1.4 % にすぎない.

(2) スコアが $(3,0,0,0)$ なら $A_{i1}=\dfrac{e^{3}}{e^{3}+3e^{0}}=\dfrac{20.086}{23.086}=0.870$(残りは各 $1/23.086=0.0433$).スコアがすべて等しいときは,式 (23.21) の分子がすべて同じなので $A_{ij}=1/4=0.25$ で,文脈は 4 つの状態の単純な平均になる.どちらの場合も,位置 1 の情報は encoder の段を通らずに重み 1 つで届く.スコアが大きい位置ほど強く読まれる.

(3) RNN では $\bm{h}_t$ の計算に $\bm{h}_{t-1}$ が要るので,512 回の計算を順番に行う必要がある.self-attention では全位置の計算が互いの結果を待たないので,順番に行う計算は 1 回(全位置を 1 度に行列の積で計算する)である.GPU のように多数の演算を同時に行える装置では,順番に待つ回数が少ないほど 1 回の学習ステップが速く終わり,同じ時間で多くのデータを学習できる.ただし self-attention の計算量は $T^{2}$ に比例して増える(表23.3).

第24章 Attention の仕組み — 関連する情報を重み付きで集める

演習24.1 Query が 2 つの Attention

解答

(1) $\bm{Q}$ は $2\times2$,$\bm{K}$ は $3\times2$,$\bm{V}$ は $3\times1$.よって $T_q=2$,$T_k=3$,$d_k=2$,$d_v=1$.スコアと重みは $2\times3$,出力は $2\times1$ になる.

(2) 内積の行列は

$$ \begin{gathered} \bm{Q}\bm{K}^{\tp}=\begin{pmatrix}1&0&1\\0&2&2\end{pmatrix},\\ \bm{S}=\frac{\bm{Q}\bm{K}^{\tp}}{\sqrt2}=\begin{pmatrix}0.7071&0&0.7071\\0&1.4142&1.4142\end{pmatrix}. \end{gathered} $$

行 1:$\exp$ は $(2.0281,\ 1,\ 2.0281)$,和 $5.0562$,重み $(0.4011,\ 0.1978,\ 0.4011)$.行 2:$\exp$ は $(1,\ 4.1133,\ 4.1133)$,和 $9.2265$,重み $(0.1084,\ 0.4458,\ 0.4458)$.出力は

$$ \begin{aligned} z_1&=0.4011\times1+0.1978\times2\\ &\quad+0.4011\times3=2.0000,\\ z_2&=0.1084\times1+0.4458\times2\\ &\quad+0.4458\times3=2.3374 . \end{aligned} $$

各行の和は $1.0000$ である.

(3) 偶然ではない.行 1 では $A_{11}=A_{13}$ なので,

$$ \begin{aligned} z_1&=A_{11}(v_1+v_3)+A_{12}v_2\\ &=A_{11}\times4+A_{12}\times2=2\,(2A_{11}+A_{12}). \end{aligned} $$

行の和が 1 なので $2A_{11}+A_{12}=1$,よって重みの値によらず $z_1=2$ である.Value 1 と Value 3 の平均が Value 2 に等しく,Key 1 と Key 3 に等しい重みが付くという対称性のためである.行 2 は Key 2・Key 3 に重みが寄るので,平均 2 より大きい $2.3374$ になる.

演習24.2 softmax の性質と mask

解答

(1) $s_j\to s_j+c$ とすると

$$ \frac{e^{s_j+c}}{\sum_{j'}e^{s_{j'}+c}}=\frac{e^{c}e^{s_j}}{e^{c}\sum_{j'}e^{s_{j'}}}=\frac{e^{s_j}}{\sum_{j'}e^{s_{j'}}} $$

となり,変わらない.

(2) Key がすべて等しく $\bm{k}_j=\bm{k}$ なら,どの Query $\bm{q}$ でもスコア $s_j=\bm{q}^{\tp}\bm{k}/\sqrt{d_k}$ は $j$ によらず同じ値 $s$ である.このとき $a_j=e^{s}/(T_ke^{s})=1/T_k$ なので,出力は $\bm{z}=\frac{1}{T_k}\sum_j\bm{v}_j$(Value の単純な平均)であり,Query によらない.

(3) $s_j\to s_j+b_j$ とすると

$$ a'_j=\frac{e^{s_j}e^{b_j}}{\sum_{j'}e^{s_{j'}}e^{b_{j'}}}=\frac{a_je^{b_j}}{\sum_{j'}a_{j'}e^{b_{j'}}} $$

(2 つ目の等号は分子と分母を $\sum_{j'}e^{s_{j'}}$ で割った).元の重みに $e^{b_j}$ を掛けてから,和が 1 になるよう割り直したものになる.(1) と違い $b_j$ が列ごとに違うと重みは変わる.causal mask は $b_j=0$($j\le i$),$b_j=-\infty$($j\gt i$)の場合で,$e^{-\infty}=0$ を掛けて見てはいけない位置の重みを 0 にし,残りで割り直す操作になる.

(4) 行の中で mask しない位置のスコアの最大を $s_{\max}$ とする(少なくとも $j=i$ が残る).mask した位置の $\exp$ の値と $e^{s_{\max}}$ の比は $e^{s_{ij}-10^{9}-s_{\max}}\le e^{20-10^{9}}$ であり($|s|\le10$ なので $s_{ij}-s_{\max}\le20$),重みはこれ以下である.$e^{-10^{9}}$ は 64 bit の浮動小数点数でも 0 に丸められるほど小さく,実質的に $-\infty$ と同じ結果になる.

演習24.3 内積の分散と softmax の Jacobi 行列

解答

(1) 各項について,独立性から $\Ex[q_lk_l]=\Ex[q_l]\Ex[k_l]=0$,$\Ex[q_l^{2}k_l^{2}]=\Ex[q_l^{2}]\Ex[k_l^{2}]=\sigma_q^{2}\sigma_k^{2}$(平均 0 なので $\Ex[q_l^{2}]=\sigma_q^{2}$).よって $\Var[q_lk_l]=\sigma_q^{2}\sigma_k^{2}-0^{2}=\sigma_q^{2}\sigma_k^{2}$.異なる $l$ の項は独立なので分散は足し合わせられ,

$$ \Var\bigl[\bm{q}^{\tp}\bm{k}\bigr]=\sum_{l=1}^{d_k}\sigma_q^{2}\sigma_k^{2}=d_k\sigma_q^{2}\sigma_k^{2}. $$

$\sigma_q=\sigma_k=1$ で第24章の定理24.1 に戻る.

(2) Jacobi 行列の $(j,l)$ 成分は $J_{jl}=\delta_{jl}a_j-a_ja_l$.第 $j$ 行の和は

$$ \sum_lJ_{jl}=a_j-a_j\sum_la_l=a_j-a_j\times1=0 . $$

$J$ は対称($J_{jl}=J_{lj}$)なので列の和も 0 である.意味:すべてのスコアを同じだけ $\varepsilon$ 増やす変化 $\Delta\bm{s}=\varepsilon(1,\dots,1)^{\tp}$ に対し,重みの変化は $J\Delta\bm{s}=\bm{0}$.演習24.2 (1) の「全成分に同じ数を足しても softmax は変わらない」の微分版である.

(3) 対角成分 $a_j(1-a_j)$ は

$$ \begin{aligned} J_{11}&=(1-\varepsilon)\,\varepsilon=\varepsilon-\varepsilon^{2}\approx\varepsilon,\\ J_{22}=J_{33}&=\frac{\varepsilon}{2}\Bigl(1-\frac{\varepsilon}{2}\Bigr)\approx\frac{\varepsilon}{2}. \end{aligned} $$

非対角成分も $-a_ja_l$ で,$-(1-\varepsilon)\varepsilon/2\approx-\varepsilon/2$ や $-\varepsilon^{2}/4$ と,どれも $\varepsilon$ の 1 次以下の大きさである.$\varepsilon\to0$(重みが 1 つに集中)で Jacobi 行列全体が 0 に近づき,スコアを動かしても重みがほとんど変わらない.これが softmax の飽和で勾配が流れない理由である.

演習24.4 multi-head attention のパラメーター数

解答

(1) $\bm{W}_Q^{(j)},\bm{W}_K^{(j)},\bm{W}_V^{(j)}$ はどれも $512\times64$ なので,$3\times512\times64=98{,}304$ 個.

(2) $\bm{W}_O$ は $(n_{\mathrm{head}}d_v)\times d_{\mathrm{model}}=512\times512=262{,}144$ 個.

(3) バイアスなし:$8\times98{,}304+262{,}144$ $=786{,}432+262{,}144$ $=1{,}048{,}576$ 個.これは $4d_{\mathrm{model}}^{2}=4\times512^{2}$ に等しい.バイアスあり:$\bm{Q},\bm{K},\bm{V}$ と $\bm{W}_O$ の後に 512 個ずつで $4\times512=2048$ 個を足して $1{,}050{,}624$ 個.

(4) $\bm{W}_Q,\bm{W}_K,\bm{W}_V$ がそれぞれ $512\times512$,$\bm{W}_O$ が $512\times512$ なので,$4\times512^{2}=1{,}048{,}576$ 個で (3) と同じ.ヘッドの数はパラメーターの数を変えず,同じ数のパラメーターを何組の独立な Attention に分けるかを決める.

演習24.5 原子の鎖での距離バイアス付き Attention

解答

(1) 原子 1 の Query は $(1,0)$.各原子の特徴との内積は $(1,0,1,0)$ で,$\sqrt2$ で割ると $(0.7071,\ 0,\ 0.7071,\ 0)$.距離は $r_{1j}=0,\ 1.5,\ 3.0,\ 4.5$ Å なので,バイアス $-r_{1j}^{2}/(2\times1.5^{2})$ は $0,\ -0.5,\ -2,\ -4.5$.スコアは

$$ (0.7071,\ -0.5,\ -1.2929,\ -4.5). $$

$\exp$ は $(2.0281,\ 0.6065,\ 0.2745,\ 0.0111)$,和 $2.9202$.重みは $(0.6945,\ 0.2077,\ 0.0940,\ 0.0038)$(和 1).出力は A の成分に原子 1・3,B の成分に原子 2・4 の重みが入るので

$$ \begin{aligned} \bm{z}_1&=(0.6945+0.0940,\ 0.2077+0.0038)\\ &=(0.7885,\ 0.2115). \end{aligned} $$

(2) $\ell\to\infty$ ではバイアスがすべて 0 になり,スコアは $(0.7071,0,0.7071,0)$.$\exp$ は $(2.0281,1,2.0281,1)$,和 $6.0562$,重み $(0.3349,\ 0.1651,\ 0.3349,\ 0.1651)$.出力 $(0.6698,\ 0.3302)$.距離が効かないので,同じ元素 A の原子 1 と原子 3 は,距離が違っても同じ重みになる.

(3) $\ell\to0$ では $j\ne1$ のバイアス $-r_{1j}^{2}/(2\ell^{2})$ が $-\infty$ に向かうので,重みは $(1,0,0,0)$,出力は自分の特徴 $(1,0)$ になる.周りの原子の情報を何も集めない.$\ell$ は「どの距離までの原子を見るか」を決める長さスケールで,第10章のカーネルの長さスケールと同じ役割である.

(4) スコアは原子 $i$ と $j$ の特徴(元素)と距離 $r_{ij}$ だけで決まり,番号は使わない.番号を付け替えると重みのベクトルの成分の並び順は変わるが,「どの原子(どの元素,どの距離の原子)にどれだけの重みが付くか」は変わらない.これは第24章の定理24.2 の置換同変性と同じ理由である(距離のバイアスも $\bm{P}\bm{B}\bm{P}^{\tp}$ と並べ替わるだけなので,証明はそのまま成り立つ).

演習24.6 焼成の温度履歴を Attention で集約する

解答

(1) 内積 $\bm{q}^{\tp}\bm{k}_j$ は $2\times1+1\times0=2$,$1$,$2+1=3$,$1$.$\sqrt2$ で割ってスコア $(1.4142,\ 0.7071,\ 2.1213,\ 0.7071)$.$\exp$ は $(4.1133,\ 2.0281,\ 8.3421,\ 2.0281)$,和 $16.5116$.重みは

$$ \begin{aligned} &(a_1,a_2,a_3,a_4)\\ &\quad=(0.2491,\ 0.1228,\ 0.5052,\ 0.1228). \end{aligned} $$

出力は

$$ \begin{aligned} &0.2491\times0.0+0.1228\times1.0\\ &\quad+0.5052\times0.5+0.1228\times0.2\\ &=0+0.1228+0.2526+0.0246=0.4000 . \end{aligned} $$

(2) 寄与 $a_jv_j$ は $(0,\ 0.1228,\ 0.2526,\ 0.0246)$.重みの大きさの順は 区間 3(0.505)> 区間 1(0.249)> 区間 2 = 区間 4(0.123)だが,寄与の大きさの順は 区間 3 > 区間 2 > 区間 4 > 区間 1 である.重みが 2 番目に大きい昇温の区間 1 は,Value が 0 なので出力に何も寄与していない.

(3) 結論してはいけない.重みが最大の区間 3 は寄与も最大だが,(a) 寄与は重みと Value の積で決まり,Value の作り方($\bm{W}_V$)しだいで順位が変わる,(b) 区間 3 の情報がほかの区間と強く相関していれば,重みを別の区間に移しても同じ予測が得られる可能性がある(第24章 24.10 節),(c) 重みは 1 層の集約の割合で,その前後の層の計算を含まない.確かめる方法の例:

上の最初の 2 つはモデルの中で「どの区間を使っているか」を確かめる方法,3 つ目は「冷却の前半が相対密度の原因か」という物理の問いを確かめる方法であり,両者は別の問いである.

演習24.7 causal mask と置換同変性

解答

(1) mask の 1 行目は $M_{11}=0$,$M_{1j}=-\infty$($j\ge2$).$\exp(-\infty)=0$ なので,位置 1 の重みは $A_{11}=e^{s_{11}}/e^{s_{11}}=1$,$A_{1j}=0$($j\ge2$).出力は $\bm{z}_1^{\tp}=1\times\bm{v}_1^{\tp}=\bm{x}_1^{\tp}\bm{W}_V$ で,スコアの値によらない.

(2) 24.3 節の $\bm{X}$(行 $(1,0)$,$(0,1)$,$(1,1)$,$\bm{W}_V=\bm{I}$)に mask をかけた出力は $(1,0)$,$(0.3302,0.6698)$,$(0.7517,0.7517)$ である.1 行目と 2 行目を入れ替えた $\bm{X}'$(行 $(0,1)$,$(1,0)$,$(1,1)$)を入れると,(1) より新しい位置 1 の出力は $\bm{x}'_1=(0,1)$.置換同変なら,元の出力の 2 行目 $(0.3302,0.6698)$ になるはずなので,一致しない.したがって causal mask をかけた self-attention は一般には置換同変でない.(新しい位置 2 の出力は $(0.6698,0.3302)$ で,これも元の 1 行目 $(1,0)$ と一致しない.)

(3) 定理24.2 より $\bm{Z}(\bm{P}\bm{X})=\bm{P}\bm{Z}(\bm{X})$.$\bm{P}\bm{Z}$ の行は $\bm{Z}$ の行を並べ替えたものなので,

$$ \bar{\bm{z}}(\bm{P}\bm{X})=\frac1T\sum_{i=1}^{T}\bigl(\bm{P}\bm{Z}\bigr)_{i}=\frac1T\sum_{i=1}^{T}\bm{z}_i=\bar{\bm{z}}(\bm{X}) $$

(和は足す順番によらない).組成(たとえば Al$_2$O$_3$ を「Al 0.4,O 0.6」と表す)には元素の並び順という物理的な意味が無い.「Al,O」の順に並べても「O,Al」の順に並べても同じ物質なので,予測が並べ方で変わってはいけない.置換不変な集約を使えば,この要請がモデルの構造として保証される.

演習24.8 長い系列の計算量とメモリー

解答

(1) $2T^{2}d\gt4Td^{2}$ の両辺を $2Td\ (\gt0)$ で割ると $T\gt2d$.$d=1024$ では $T\gt2048$.

(2) 成分の数は $T^{2}n_{\mathrm{head}}=8192^{2}\times16=1{,}073{,}741{,}824$.4 byte を掛けて

$$ 4{,}294{,}967{,}296\ \text{byte}=4\ \text{GiB}\ (\approx4.29\ \text{GB}). $$

$T=1024$ では $1024^{2}\times16\times4=67{,}108{,}864$ byte $=64$ MiB.比は $(8192/1024)^{2}=8^{2}=64$ 倍で,長さを 8 倍にするとメモリーは 64 倍になる.これが 1 層・1 系列あたりの量である.

(3) 不利な点:計算量とメモリーが $T^{2}$ で増える.RNN は $T$ に比例し,途中で保持するのは $d$ 次元の隠れ状態だけである.有利な点:全位置を 1 段で並列に計算でき,遠く離れた位置どうしが 1 段で直接つながる.RNN は $T$ 段の逐次計算が必要で,遠い位置の情報は多数の行列の積を通るので勾配が消えたり爆発したりしやすい.

第25章 Transformer の構造 — Attention を積み重ねる

演習25.1 位置符号のずらしと内積

解答

$d_{\mathrm{model}}=4$ では $\omega_0=1$,$\omega_1=1/10000^{2/4}=0.01$ であり,成分の順は $(\sin\omega_0pos,\ \cos\omega_0pos,$ $\sin\omega_1pos,\ \cos\omega_1pos)$ である.

(1) $pos=3$ を代入する.

$$ \begin{aligned} \bm{PE}_3&=(\sin3,\ \cos3,\ \sin0.03,\ \cos0.03)\\ &=(0.1411,\ -0.9900,\ 0.0300,\ 0.9996). \end{aligned} $$

(2) ずらし $k=2$ の回転行列は,組ごとの角度 $\omega_0k=2$,$\omega_1k=0.02$ を使って

$$ \bm{R}_2=\begin{pmatrix}c_2&-s_2&0&0\\ s_2&c_2&0&0\\ 0&0&c'&-s'\\ 0&0&s'&c'\end{pmatrix} $$

ここで $c_2=\cos2$,$s_2=\sin2$,$c'=\cos0.02$,$s'=\sin0.02$ である.第 1・2 成分について,$\bm{PE}_1$ の $(\sin1,\cos1)=(0.8415,0.5403)$ に左上の $2\times2$ を掛けると

$$ \begin{aligned} &\bigl(\sin1\cos2+\cos1\sin2,\\ &\qquad -\sin1\sin2+\cos1\cos2\bigr)\\ &=\bigl(\sin(1+2),\ \cos(1+2)\bigr)\\ &=(0.1411,\ -0.9900) \end{aligned} $$

となり,$\bm{PE}_3$ の第 1・2 成分と一致する(数値でも $0.8415\cdot(-0.4161)$ $+0.5403\cdot0.9093$ $=0.1411$,$-0.8415\cdot0.9093$ $+0.5403\cdot(-0.4161)$ $=-0.9900$).第 3・4 成分も同じく $(\sin0.03,\cos0.03)$ になる.

(3) 第25章の式 (25.8)(位置符号の内積の式)より,内積は位置の差 $k$ だけで決まり $\sum_i\cos(\omega_ik)$ である.$\bm{PE}_0\bm{PE}_3^{\tp}$ も $\bm{PE}_5\bm{PE}_8^{\tp}$ も差は $k=3$ なので等しく,

$$ \begin{aligned} \cos3+\cos0.03&=-0.98999+0.99955\\ &=0.0096 . \end{aligned} $$

直接計算でも $\bm{PE}_0\bm{PE}_3^{\tp}$ $=0\cdot0.1411+1\cdot(-0.9900)$ $+0\cdot0.0300+1\cdot0.9996$ $=0.0096$ である.速い針(第 1・2 成分)は 3 rad 回ってほぼ反対向き($\cos3\approx-0.99$)になり,遅い針はほとんど同じ向き($\cos0.03\approx1$)なので,和がほぼ 0 になる.

演習25.2 LayerNorm の計算と性質

解答

(1) 平均 $\bar{x}=(2+4+6+8)/4=5$.偏差 $(-3,-1,1,3)$.分散 $s^{2}=(9+1+1+9)/4=5$,$s=\sqrt5=2.2361$.$\bm{g}=\bm{1}$,$\bm{b}=\bm{0}$ では

$$ \begin{aligned} \mathrm{LN}(\bm{x})&=\tfrac{1}{\sqrt5}\,(-3,\ -1,\ 1,\ 3)\\ &=(-1.3416,\ -0.4472,\\ &\qquad 0.4472,\ 1.3416). \end{aligned} $$

$\bm{g}=(1,1,2,2)$,$\bm{b}=(0,0,0,1)$ では,成分ごとに掛けて足して

$$ \begin{aligned} &(-1.3416,\ -0.4472,\\ &\qquad 2\cdot0.4472,\ 2\cdot1.3416+1)\\ &=(-1.3416,\ -0.4472,\ 0.8944,\ 3.6833). \end{aligned} $$

(2) $\bm{x}'=-\bm{x}$ とする.平均は $\bar{x}'=-\bar{x}$,偏差は $x'_k-\bar{x}'=-(x_k-\bar{x})$,分散は $s'^{2}=\frac1d\sum_k(x_k-\bar{x})^{2}=s^{2}$ で $s'=s$.したがって

$$ \frac{x'_k-\bar{x}'}{s'}=-\frac{x_k-\bar{x}}{s}, $$

$\bm{b}=\bm{0}$ なら $\mathrm{LN}(-\bm{x})=-\mathrm{LN}(\bm{x})$.一般に $a\bm{x}+c\bm{1}$ では分母が $\sqrt{a^{2}s^{2}}=\abs{a}s$ になるので,比は $\dfrac{a}{\abs{a}}\cdot\dfrac{x_k-\bar{x}}{s}=\sgn(a)\dfrac{x_k-\bar{x}}{s}$ である.$a\gt0$ のときだけ符号が変わらず元と同じになるので,定理25.2 では $a\gt0$ とした($a\lt0$ では符号が反転する).

(3) 全成分が $c$ なら $\bar{x}=c$,偏差はすべて 0,$s^{2}=0$ である.$\epsilon=0$ では $0/0$ となり定義できない.$\epsilon\gt0$ では分子が 0 で分母が $\sqrt{\epsilon}\gt0$ なので,$\mathrm{LN}(\bm{x})_k=g_k\cdot0+b_k=b_k$,つまり出力はバイアス $\bm{b}$ そのものになる.$\epsilon$ はこのような場合に計算が破綻しないために入れる.

演習25.3 原論文の base モデルのパラメーター数

解答

$d=512$,$d_{\mathrm{ff}}=2048$ とする.部品ごとに数える.

(1) encoder の 1 段は Attention 1 個,FFN 1 個,LayerNorm 2 個で

$$ 1{,}050{,}624+2{,}099{,}712+2048=3{,}152{,}384 . $$

decoder の 1 段は Attention 2 個(self と cross),FFN 1 個,LayerNorm 3 個で

$$ \begin{aligned} &2\times1{,}050{,}624+2{,}099{,}712+3072\\ &=4{,}204{,}032 . \end{aligned} $$

(2) 共有の埋め込み行列は $37000\times512=18{,}944{,}000$(入力側・出力側・softmax の前で同じ行列なので 1 回だけ数える).位置符号はパラメーターを持たない.合計は

$$ \begin{aligned} &18{,}944{,}000+6\times3{,}152{,}384+6\times4{,}204{,}032\\ &=18{,}944{,}000+18{,}914{,}304+25{,}224{,}192\\ &=63{,}082{,}496\approx6.31\times10^{7}. \end{aligned} $$

論文の表の $65\times10^{6}$ より約 $1.9\times10^{6}$(約 3 %)少ない.この差は埋め込みの行に換算すると約 3700 語分であり,論文は語彙を「約 37000」としか書いていないので,正確な語彙の数や実装の細部(バイアスの有無など)の違いで説明できる程度である.論文に書かれた情報だけでは,差の原因を 1 つに決めることはできない.数え方の骨組み(ブロックが全体の約 7 割,埋め込みが約 3 割)は正しく,桁も一致する.

演習25.4 組成を入力する Transformer

解答

(1) 並び「A,B」では $\bm{X}=\begin{pmatrix}1&0\\0&1\end{pmatrix}$,$\bm{Q}=\bm{K}=\bm{V}=\bm{X}$.スコアは $\bm{X}\bm{X}^{\tp}/\sqrt2=\begin{pmatrix}0.7071&0\\0&0.7071\end{pmatrix}$.第 1 行の exp は $(2.0281,\ 1)$,和 $3.0281$ で重み $(0.6698,\ 0.3302)$.第 2 行は $(0.3302,\ 0.6698)$.

$$ \bm{A}=\begin{pmatrix}0.6698&0.3302\\0.3302&0.6698\end{pmatrix},\qquad \bm{Z}=\bm{A}\bm{X}=\bm{A}. $$

平均は,各成分が $(0.6698+0.3302)/2=0.5$ なので $(0.5,\ 0.5)$.並び「B,A」は行の入れ替えで,self-attention は並べ替え同変なので $\bm{Z}$ の行も入れ替わるだけであり,平均は同じ $(0.5,\ 0.5)$ である.

(2) 「A,B」:$\bm{X}=\begin{pmatrix}1.5&0\\0&1\end{pmatrix}$.スコアは $\bm{X}\bm{X}^{\tp}/\sqrt2=\begin{pmatrix}1.5910&0\\0&0.7071\end{pmatrix}$.第 1 行の exp は $(4.9086,\ 1)$ で重み $(0.8308,\ 0.1692)$,第 2 行は $(1,\ 2.0281)$ で $(0.3302,\ 0.6698)$.

$$ \begin{aligned} \bm{z}_1&=0.8308\,(1.5,0)+0.1692\,(0,1)\\ &=(1.2461,\ 0.1692),\\ \bm{z}_2&=0.3302\,(1.5,0)+0.6698\,(0,1)\\ &=(0.4954,\ 0.6698), \end{aligned} $$

平均は $(0.8707,\ 0.4195)$.

「B,A」:$\bm{X}=\begin{pmatrix}0.5&1\\1&0\end{pmatrix}$.$\bm{X}\bm{X}^{\tp}=\begin{pmatrix}1.25&0.5\\0.5&1\end{pmatrix}$ を $\sqrt2$ で割ってスコア $\begin{pmatrix}0.8839&0.3536\\0.3536&0.7071\end{pmatrix}$.第 1 行の exp は $(2.4203,\ 1.4241)$ で重み $(0.6296,\ 0.3704)$,第 2 行は $(1.4241,\ 2.0281)$ で $(0.4125,\ 0.5875)$.

$$ \begin{aligned} \bm{z}_1&=0.6296\,(0.5,1)+0.3704\,(1,0)\\ &=(0.6852,\ 0.6296),\\ \bm{z}_2&=0.4125\,(0.5,1)+0.5875\,(1,0)\\ &=(0.7937,\ 0.4125), \end{aligned} $$

平均は $(0.7395,\ 0.5210)$.位置の情報を足すと,同じ組成でも並べ方によって出力が変わる.

(3) 組成は元素の集合であり,どの順で書いても同じ物質である.位置の情報を入れると (2) のように並べ方で予測が変わってしまい,同じ物質に違う予測を出すことになる.位置の情報を入れずに self-attention と FFN をかけ,最後に平均(または和)をとれば,並べ方によらない(並べ替え不変な)予測になる.組成比は各トークンの埋め込みに組成比を表す量を添えて入れればよい.ただし,結晶構造が違う同じ組成の物質(多形)は組成だけでは区別できないので,それが重要な物性では構造の情報も別に必要である.

演習25.5 XRD パターンをトークン列にする

解答

(1) $4000/20=200$ なので $T=200$.

(2) 重み行列は $T\times T$ である.

$T$ を 20 分の 1 にすると,重み行列は $20^{2}=400$ 分の 1 になる.これが 1 層・1 ヘッドぶんなので,層とヘッドの数だけさらに倍になる.

(3) 比は $T/(6d_{\mathrm{model}})$ で,$6\times256=1536$.$T=4000$ では $4000/1536=2.60$(Attention が線形変換の 2.6 倍),$T=200$ では $200/1536=0.130$(線形変換が支配的)である.

(4) 利点:Attention の計算とメモリーが $T^{2}$ で減り,学習・推論が軽くなる.1 トークンが $0.4^{\circ}$ の幅の形(ピークの立ち上がり・頂点など)をまとめて表すので,隣り合う点のつながりを最初の線形変換で扱える.欠点:1 トークンの中の細かい位置の違い($0.02^{\circ}$ 単位のピークのずれ)は,トークンの位置としては区別されず,トークンの中身のベクトルに押し込まれる.格子定数のわずかな変化によるピークのずれや,近接した 2 本のピークの分離など,細かい角度の情報が重要な解析では,パッチの幅を狭くする,ピーク位置を別の特徴として与える,などの工夫が要る.また,回折角という物理量を位置の情報としてどう入れるか(位置の番号か,角度そのものの関数か)も設計の選択になる.

演習25.6 計算量の分かれ目

解答

(1) $12Td^{2}=2T^{2}d$ を解く.両辺を $2Td$($\gt0$)で割ると $6d=T$.したがって $T=6d$ で等しく,$T\lt6d$ では線形変換,$T\gt6d$ では Attention の方が多い.

(2) 比は $T/(6d)$ である.S10 の小規模モデル:$24/(6\cdot32)=24/192=0.125$.GPT-2 の最小モデル:$1024/(6\cdot768)=1024/4608=0.222$.どちらも文脈長いっぱいでも線形変換の方が多い.

(3) $12\times768^{2}\times12$ $=12\times589{,}824\times12$ $=84{,}934{,}656$ 回.例題25.10 の 12 ブロックぶんのパラメーター数は $12\times7{,}087{,}872=85{,}054{,}464$ 個で,差は $119{,}808$(バイアスと LayerNorm のパラメーターの数 $12\times(4\cdot768+3072+768+4\cdot768)$ にあたる)だけである.線形変換の重みの 1 個 1 個は,トークン 1 個あたりちょうど 1 回の積和に使われるので,「1 トークンあたりの積和の回数 ≈ 重みのパラメーター数」になる.大きなモデルの計算量をパラメーター数から見積もれるのはこのためである(Attention の $2Td$ の部分と,出力のロジットの $dV_{\mathrm{voc}}$ の部分は別に足す).

演習25.7 causal mask と「先を見ない」

解答

命題 $P(l)$:「第 $l$ 段のブロックの出力 $\bm{X}^{(l)}$ の第 $t$ 行は,$x_1,\dots,x_t$ だけで決まる(すべての $t$ について)」を,$l=0,1,\dots,n_{\mathrm{layer}}$ について示す.

$l=0$:$\bm{X}^{(0)}$ の第 $t$ 行は $\bm{e}_{x_t}\bm{W}_E+\bm{p}_t$ で,$x_t$ だけで決まる.よって $P(0)$ は成り立つ.

$P(l-1)\Rightarrow P(l)$:$P(l-1)$ を仮定し,第 $l$ 段の pre-LN ブロックの各操作を順に調べる.

  1. $\mathrm{LN}_1$ は各行に別々にかかるので,$\mathrm{LN}_1(\bm{X}^{(l-1)})$ の第 $t$ 行は $\bm{X}^{(l-1)}$ の第 $t$ 行だけで決まり,仮定より $x_{\le t}$ だけで決まる.
  2. $\bm{Q}_j,\bm{K}_j,\bm{V}_j$ は各行に右から行列を掛けたものなので,第 $s$ 行は $x_{\le s}$ だけで決まる.
  3. self-attention の出力の第 $t$ 行は $\sum_{s}A_{ts}\bm{v}_s$ である.causal mask のため $s\gt t$ の重みは $A_{ts}=0$ であり,和は $s\le t$ だけにわたる.重み $A_{ts}$($s\le t$)は $\bm{q}_t$ と $\bm{k}_1,\dots,\bm{k}_t$ から作られ,$\bm{v}_s$($s\le t$)も $x_{\le t}$ だけで決まる.よって第 $t$ 行は $x_{\le t}$ だけで決まる.ヘッドを連結して $\bm{W}_O$ を掛けても行ごとの操作なので変わらない.
  4. $\bm{U}=\bm{X}^{(l-1)}+\mathrm{MHA}(\cdot)$ は行ごとの和なので,$\bm{U}$ の第 $t$ 行も $x_{\le t}$ だけで決まる.
  5. $\mathrm{LN}_2$,FFN,残差の和はどれも行ごとの操作なので,$\bm{X}^{(l)}$ の第 $t$ 行も $x_{\le t}$ だけで決まる.

よって $P(l)$ が成り立つ.帰納法により $P(n_{\mathrm{layer}})$ が成り立ち,最後の LayerNorm と $\bm{W}_E^{\tp}$ の掛け算も行ごとなので,ロジットの第 $t$ 行 $\bm{o}_t$ は $x_1,\dots,x_t$ だけで決まる.

学習で困ること:次トークン予測では,位置 $t$ の出力で $x_{t+1}$ を当てるように学習する.もし $\bm{o}_t$ が $x_{t+1}$ に依存できると,モデルは入力の中の $x_{t+1}$ を「写す」だけで損失をほぼ 0 にでき,次を予測する能力をまったく学ばない.生成のときには $x_{t+1}$ はまだ存在しないので,そのようなモデルは役に立たない.causal mask があるので,正解の系列全体を 1 回入力しても,各位置の予測は答えを覗かずに計算され,全位置の損失を 1 回の順伝播で同時に求められる.

演習25.8 重み共有でどれだけ減るか

解答

(1) 別に持つと $\bm{W}_U\in\R^{768\times50257}$ の $38{,}597{,}376$ 個が増え,

$$ 124{,}439{,}808+38{,}597{,}376=163{,}037{,}184 . $$

共有による減少は $38{,}597{,}376/163{,}037{,}184=0.237$,つまり共有しない場合の 23.7 % である.

(2) S10 の小規模モデルでは $\bm{W}_U$ が $32\times67=2144$ 個で,共有しなければ $28{,}384+2144=30{,}528$ 個.減少は $2144/30{,}528=0.070$,7.0 % である.語彙が小さいので効果も小さい.

(3) $\bm{W}_E$ の第 $i$ 行を $\bm{w}_i$ と書くと,重み共有のもとで $o_{t,i}=\bm{h}_t\bm{w}_i^{\tp}$ である.2 つのトークン $i,j$ のロジットの差は

$$ o_{t,i}-o_{t,j}=\bm{h}_t\bm{w}_i^{\tp}-\bm{h}_t\bm{w}_j^{\tp}=\bm{h}_t(\bm{w}_i-\bm{w}_j)^{\tp} $$

で,Cauchy–Schwarz の不等式より

$$ \abs{o_{t,i}-o_{t,j}}\le\norm{\bm{h}_t}\,\norm{\bm{w}_i-\bm{w}_j} $$

である.入力の埋め込みが近い($\norm{\bm{w}_i-\bm{w}_j}$ が小さい)2 つのトークンは,どの位置でもロジットの差が小さく,出力でも似た確率を受け取る.同じ文脈に現れやすいトークンほど埋め込みが近く学ばれるので,入力と出力の両方の学習が 1 つの行列を通して互いに助け合う.

第26章 GPT はどのように学び,文章を生成するか

演習26.1 greedy と最も確率の高い列

解答

各因子が直前のトークンだけで決まるので,第26章の自己回帰分解の式 (26.1) の各因子に表の値を入れて掛ける.

(1)

$$ \begin{aligned} p(\text{A }\langle\text{eos}\rangle)&=0.55\times0.25=0.1375,\\ p(\text{B }\langle\text{eos}\rangle)&=0.45\times0.90=0.405 . \end{aligned} $$

(2) <eos> の前が 2 個の列は AA,AB,BA,BB の 4 通りである.

$$ \begin{aligned} p(\text{AA}\langle\text{eos}\rangle)&=0.55\times0.40\times0.25=0.0550,\\ p(\text{AB}\langle\text{eos}\rangle)&=0.55\times0.35\times0.90=0.17325,\\ p(\text{BA}\langle\text{eos}\rangle)&=0.45\times0.05\times0.25=0.005625,\\ p(\text{BB}\langle\text{eos}\rangle)&=0.45\times0.05\times0.90=0.02025 . \end{aligned} $$

合計は $0.0550+0.17325$ $+0.005625+0.02025$ $=0.254125$.

(3) greedy は最初に確率の大きい A(0.55)を選ぶ.A の後は A が 0.40 で最大なので再び A を選び,以後も A の後は常に A を選ぶ.<eos>(0.25)は最大にならないので,greedy は「A A A …」を文脈長の上限まで生成し続ける.

一方,列全体の確率は「B <eos>」が 0.405 で最大である.A で始まる列は,A <eos> が 0.1375,AB <eos> が 0.17325 などで,どれも先頭の因子 0.55 に 1 未満の数を掛けたもので 0.405 に届かない(A の後の 3 通りのうち最大の続きでも $0.55\times0.35\times0.90=0.173$).B で始まる列のうち <eos> 以外に進む列は $0.45\times0.05$ 以下である.したがって最大は B <eos> である.

greedy は各ステップで目先の確率が最大の語を選ぶので,最初の A のように「その時点では有利だが,その後の続きが悪い」選択を取り消せない.列全体の確率を最大にするには,複数の途中の列を残すビーム探索などが必要である.また,この例のように greedy は同じ語の繰り返しから抜け出せないことがある.

演習26.2 学習した併合で新しい語を切る

解答

(1) 文字に分けて語末に「_」を付け,n+_,i+o,io+n_,o+x の順に当てはめる.

(2) 4 回の後の記号列は ox i d e _(1 回),ion_(4 回),io n s _(1 回),ox y g e n_(2 回)である.隣り合う組の回数は,(ox, y),(y, g),(g, e),(e, n_) がいずれも oxygen の 2 回で 2,そのほかは 1 である.最大が 4 つ同点になるので,どれを併合するかを決める規則(たとえば最初に現れた組を選ぶ,文字の順で選ぶ)が必要になる.規則によって語彙と切り方が変わるので,BPE を実装するときは同点の扱いを決めて記録しておかなければ,同じ文章から同じ語彙を再現できない.

(3) モデルにとってトークンは ID(埋め込み行列の行の番号)にすぎず,「ion_」と「io」「n」が同じ文字を含むことは入力から直接は分からない.ion と ions の関係(単数と複数)は,両者が似た文脈に現れることから,埋め込みと重みの中で学ぶしかない.学習データに少ない語ほど,このような関係は弱くしか学ばれない.

演習26.3 temperature とエントロピー

解答

(1) $p_i=\exp(o_i/\tau)/Z$ より $\ln p_i=o_i/\tau-\ln Z$.これを $H$ に入れ,$\sum_ip_i=1$ を使う.

$$ \begin{aligned} H(\tau)&=-\sum_ip_i\Bigl(\frac{o_i}{\tau}-\ln Z\Bigr)\\ &=-\frac{1}{\tau}\sum_ip_io_i+\ln Z\sum_ip_i\\ &=\ln Z(\tau)-\frac{\langle o\rangle}{\tau} . \end{aligned} $$

(2) まず $\ln Z$ と $p_i$ の微分を求める.$\diff{}{\tau}\exp(o_j/\tau)=-\dfrac{o_j}{\tau^{2}}\exp(o_j/\tau)$ なので

$$ \diff{\ln Z}{\tau}=\frac{1}{Z}\sum_j\Bigl(-\frac{o_j}{\tau^{2}}\Bigr)e^{o_j/\tau}=-\frac{\langle o\rangle}{\tau^{2}} . $$

$\ln p_i=o_i/\tau-\ln Z$ を微分すると $\dfrac{1}{p_i}\diff{p_i}{\tau}=-\dfrac{o_i}{\tau^{2}}+\dfrac{\langle o\rangle}{\tau^{2}}$,すなわち

$$ \diff{p_i}{\tau}=-\frac{p_i\,(o_i-\langle o\rangle)}{\tau^{2}} . $$

これを使うと

$$ \begin{aligned} \diff{\langle o\rangle}{\tau}&=\sum_io_i\diff{p_i}{\tau}=-\frac{1}{\tau^{2}}\sum_ip_io_i(o_i-\langle o\rangle)\\ &=-\frac{1}{\tau^{2}}\bigl(\langle o^{2}\rangle-\langle o\rangle^{2}\bigr)=-\frac{\Var_p[o]}{\tau^{2}} . \end{aligned} $$

(1) の式を微分する(商の微分 $\diff{}{\tau}\dfrac{\langle o\rangle}{\tau}=\dfrac{1}{\tau}\diff{\langle o\rangle}{\tau}-\dfrac{\langle o\rangle}{\tau^{2}}$).

$$ \begin{aligned} \diff{H}{\tau}&=-\frac{\langle o\rangle}{\tau^{2}}-\Bigl(-\frac{\Var_p[o]}{\tau^{3}}-\frac{\langle o\rangle}{\tau^{2}}\Bigr)\\ &=\frac{\Var_p[o]}{\tau^{3}} . \end{aligned} $$

分散は 0 以上,$\tau\gt0$ なので $dH/d\tau\ge0$ であり,$H$ は $\tau$ について単調に増える(ロジットがすべて等しいときだけ分散が 0 で,$H$ は一定の $\ln V_{\mathrm{voc}}$).

(3) $\tau=1$ の確率は $\bm{p}=(0.46306,\,0.28086,$ $0.17035,\,0.06267,\,0.02305)$.

$$ \begin{aligned} \langle o\rangle&=2.0(0.46306)+1.5(0.28086)\\ &\quad+1.0(0.17035)-1.0(0.02305)\\ &=1.4947,\\ \langle o^{2}\rangle&=4(0.46306)+2.25(0.28086)\\ &\quad+1(0.17035)+1(0.02305)\\ &=2.6776 . \end{aligned} $$

$\Var_p[o]=2.6776-1.4947^{2}$ $=2.6776-2.2342=0.4434$.$\tau=1$ なので $dH/d\tau=0.4434$ nat.確かめとして,(1) の式で $\ln Z=\ln15.957=2.7699$,$H=2.7699-1.4947=1.2752$ nat となり,例題26.6 の値と一致する.

演習26.4 top-k と top-p を組み合わせる

解答

(1) exp の和は $2.718+2.226+1.221$ $+0.607+0.223=6.995$(丸めない値で 6.9949).

$$ \begin{aligned} \bm{p}(1)=(&0.3886,\ 0.3182,\ 0.1746,\\ &0.0867,\ 0.0319) . \end{aligned} $$

(2) 大きい順の累積は $0.3886$,$0.7068$($\lt0.75$),$0.8814$($\ge0.75$).3 語が残り,$0.8814$ で割り直して $(0.4409,\ 0.3610,\ 0.1981,\ 0,\ 0)$.

(3) ロジットを 0.5 で割ると $(2.0,\,1.6,\,0.4,\,-1.0,\,-3.0)$.exp は $7.389$,$4.953$,$1.492$,$0.368$,$0.050$,和 $14.252$ で,$\bm{p}(0.5)=(0.5185,\,0.3475,$ $0.1047,\,0.0258,\,0.0035)$.累積は $0.5185$,$0.8660$($\ge0.75$)なので 2 語が残り,$(0.5987,\ 0.4013,\ 0,\ 0,\ 0)$.分布が鋭くなると,同じ $p$ でも残る語が減る.

(4) top-k $=3$ で 3 語を残して割り直すと $(0.4409,\,0.3610,\,0.1981)$.この割り直した確率で累積をとると $0.4409$,$0.8019$($\ge0.75$)なので,2 語が残り,$0.8019$ で割り直して $(0.5498,\ 0.4502,\ 0,\ 0,\ 0)$.(2) では 3 語が残ったのに対し,ここでは 2 語である.top-k で裾を切った後に割り直すと上位の語の確率が大きくなり,累積が早く $p$ に届くからである.top-k と top-p を組み合わせるときは,適用の順序と,どの確率で累積をとるかで結果が変わる.

演習26.5 次トークン予測の勾配と最適解

解答

(1) $\ell=-\ln p_y(\tau)=-\dfrac{o_y}{\tau}+\ln\sum_j\exp(o_j/\tau)$.第 1 項の $o_i$ による微分は $-[i=y]/\tau$.第 2 項は連鎖律で

$$ \pdiff{}{o_i}\ln\sum_j e^{o_j/\tau}=\frac{1}{\sum_je^{o_j/\tau}}\cdot\frac{1}{\tau}e^{o_i/\tau}=\frac{p_i(\tau)}{\tau} . $$

合わせて $\pdiff{\ell}{o_i}=\bigl(p_i(\tau)-[i=y]\bigr)/\tau$.$\tau=1$ なら第26章の式 (26.5) に戻る.

(2) $\bm{o}/\tau=(0.5,\,0,\,-0.5)$.$e^{0.5}=1.6487$,$e^{0}=1$,$e^{-0.5}=0.6065$,和 $3.2553$ で,$\bm{p}=(0.5065,\,0.3072,\,0.1863)$.勾配は

$$ \begin{aligned} \frac{\bm{p}-\bm{y}}{\tau}&=\frac{(0.5065,\,-0.6928,\,0.1863)}{2}\\ &=(0.2532,\,-0.3464,\,0.0932) . \end{aligned} $$

(3) 第26章の式 (26.4) より,期待損失は $H[p_{\mathrm{data}}]+\KL(p_{\mathrm{data}}\,\|\,q)$ である.第 1 項は $q$ によらない.第 2 項は 0 以上で,0 になるのは $q=p_{\mathrm{data}}$ のときに限る(第5章).したがって期待損失を最小にする $q$ は $p_{\mathrm{data}}$ そのもので,最小値はエントロピー $H[p_{\mathrm{data}}]$ である.

演習26.6 水銀の文の損失を分解する

解答

(1) 正しい文(液体):

$$ \begin{aligned} \ln p&=-6.859-0.116-2.585\\ &\quad-0.003-8.112-0.007\\ &=-17.682 . \end{aligned} $$

トークンの数は 8 なので,perplexity は $\exp(17.682/8)=\exp(2.210)=9.12$.誤った文(固体):$-6.859-0.116-2.585$ $-0.003-0.002-0.001$ $=-9.566$,perplexity は $\exp(9.566/8)=\exp(1.196)=3.31$.

(2) 前の 4 トークンは共通なので,差 $-9.566-(-17.682)=8.116$ は後の 4 トークンから来る.そのうち「液体」と「固体」の位置の差が $-0.002-(-8.112)=8.110$ で,ほぼすべてを占める.

(3) 文脈を区別しない最適な分布は $q_{\text{固体}}=590/591$,$q_{\text{液体}}=1/591$(式 (26.14)).591 個の位置の損失は,固体の 590 位置で各 $-\ln(590/591)=0.001693$,液体の 1 位置で $\ln591=6.382$.平均は

$$ \begin{aligned} \frac{590\times0.001693+6.382}{591}&=\frac{0.999+6.382}{591}\\ &=0.01249\ \text{nat} . \end{aligned} $$

合計では $7.381$ nat である.水銀だけを完全に区別できる(水銀の文脈で液体に 1,ほかで固体に 1 を置く)モデルなら,どの位置も確率 1 なので平均損失は 0 である.

(4) 訓練データ全体の損失の合計は,1 トークンあたり約 0.505 nat が約 56,500 トークン分で,約 $2.9\times10^{4}$ nat である.水銀の例外を完全に覚えても減らせるのは最大 7.4 nat 程度で,全体の約 0.03 % にすぎない.損失全体から見ると,まれな例外を覚えることの重みはきわめて小さく,勾配による学習はこの例外を優先して覚えるとは限らない.材料工学で重要な例外(常温で液体の金属,強磁性の金属,熱をよく通す絶縁体など)ほど「まれ」であることが多いので,言語モデルの答えでは例外的な性質ほど確かめが必要になる.

演習26.7 誤りが見つからなかった抜き取り検査

解答

(1) 15 本中 0 本が誤り($m=0$,$l=15$)なので,事後分布は $\mathrm{Beta}(1+0,\,1+15)=\mathrm{Beta}(1,16)$.事後平均は $1/(1+16)=1/17=0.0588$.

(2) $\mathrm{Beta}(1,16)$ の密度は $16(1-\mu)^{15}$ で,累積分布関数は $\int_0^u16(1-\mu)^{15}\dd\mu=1-(1-u)^{16}$.これを 0.95 とおく.

$$ \begin{aligned} &(1-u)^{16}=0.05\\ &\Longrightarrow\ u=1-0.05^{1/16}=1-0.8293=0.1707 . \end{aligned} $$

誤りが 1 本も無くても,誤りの割合は 17 % 程度まではありうる.

(3) $n$ 本で誤り 0 なら事後分布は $\mathrm{Beta}(1,n+1)$ で,95 % 上限は $1-0.05^{1/(n+1)}$.これが 0.05 未満になる条件は $0.05^{1/(n+1)}\gt0.95$,対数をとって $\dfrac{\ln0.05}{n+1}\gt\ln0.95$.$\ln0.95\lt0$ で割ると不等号が逆になり $n+1\gt\ln0.05/\ln0.95=58.40$.よって $n+1\ge59$,$n\ge58$ 本である($n=58$ で上限 0.0495,$n=57$ で 0.0503).

(4) 15 本で誤りが無かったことは,誤りの割合が 0 であることを示さない.(2) のとおり 17 % 程度の誤りとも矛盾しない.また,無作為に選んだ 15 本では,まれな種類の誤り(特定の単位の書き方,特定の測定法)を見逃しやすい.報告では「15 本を照合して誤り 0,誤りの割合の 95 % 上限は約 17 %」のように,検査の規模と上限を書くべきである.

演習26.8 小さなモデルから言えること

解答

第27章 材料科学・統計力学との接点 — 分配関数から機械学習原子間ポテンシャルまで

演習27.1 エネルギーの基準と自由エネルギー

解答

(1) $k_{\mathrm B}T$ $=8.617\times10^{-5}\times600$ $=0.05170\ \mathrm{eV}$,$\beta$ $=1/0.05170$ $=19.34\ \mathrm{eV^{-1}}$.重みは

$$ \begin{aligned} e^{-\beta\times0}&=1,\\ e^{-0.05/0.05170}&=e^{-0.9671}=0.3802,\\ e^{-0.10/0.05170}&=e^{-1.9341}=0.1446 . \end{aligned} $$

$Z=1+0.3802+0.1446=1.5248$.確率は $p=(0.6558,\ 0.2494,\ 0.0948)$.$A$ $=-0.05170\times\ln1.5248$ $=-0.05170\times0.4218$ $=-0.02181\ \mathrm{eV}$.$U$ $=0.05\times0.2494+0.10\times0.0948$ $=0.01247+0.00948$ $=0.02195\ \mathrm{eV}$.

(2) 各重みに $e^{-\beta\times1.00}$ $=e^{-19.34}$ $=3.98\times10^{-9}$ が掛かる.

エネルギーの原点の選び方は,$A$ と $U$ の値を動かすが,確率とエントロピー(測定できる差の量)には影響しない.

演習27.2 指数型のモデルの勾配・凸性・ゆらぎ

解答

(1) $Z_{\bm{\theta}}$ $=\sum_x\exp(\bm{\theta}^{\tp}\bm{f}(x))$ を微分すると,$\partial\exp(\bm{\theta}^{\tp}\bm{f})/\partial\bm{\theta}$ $=\bm{f}\exp(\bm{\theta}^{\tp}\bm{f})$ なので

$$ \begin{aligned}\pdiff{\ln Z_{\bm{\theta}}}{\bm{\theta}}&=\frac{1}{Z_{\bm{\theta}}}\sum_x\bm{f}(x)\exp(\bm{\theta}^{\tp}\bm{f}(x))\\ &=\sum_xp_{\bm{\theta}}(x)\bm{f}(x)=\Ex_{p_{\bm{\theta}}}[\bm{f}].\end{aligned} $$

(2) $\ln p_{\bm{\theta}}(x)$ $=\bm{\theta}^{\tp}\bm{f}(x)-\ln Z_{\bm{\theta}}$ を微分して (1) を使うと $\partial\ln p_{\bm{\theta}}(x)/\partial\bm{\theta}$ $=\bm{f}(x)-\Ex[\bm{f}]$,ゆえに $\partial p_{\bm{\theta}}(x)/\partial\bm{\theta}^{\tp}$ $=p_{\bm{\theta}}(x)(\bm{f}(x)-\Ex[\bm{f}])^{\tp}$.(1) の結果をもう一度微分すると

$$ \begin{aligned} \frac{\partial^{2}\ln Z_{\bm{\theta}}}{\partial\bm{\theta}\,\partial\bm{\theta}^{\tp}}&=\sum_x\bm{f}(x)\pdiff{p_{\bm{\theta}}(x)}{\bm{\theta}^{\tp}}\\ &=\sum_xp_{\bm{\theta}}(x)\bm{f}(x)\bigl(\bm{f}(x)-\Ex[\bm{f}]\bigr)^{\tp}\\ &=\Ex[\bm{f}\bm{f}^{\tp}]-\Ex[\bm{f}]\Ex[\bm{f}]^{\tp}=\Cov_{p_{\bm{\theta}}}[\bm{f}]. \end{aligned} $$

平均の負の対数尤度は $-\ell(\bm{\theta})$ $=-\bm{\theta}^{\tp}\bar{\bm{f}}+\ln Z_{\bm{\theta}}$($\bar{\bm{f}}$ $=\frac1N\sum_n\bm{f}(x_n)$)で,第 1 項は $\bm{\theta}$ の 1 次式なので Hesse 行列は $\Cov_{p_{\bm{\theta}}}[\bm{f}]$ に等しい.共分散行列は任意の $\bm{a}$ について $\bm{a}^{\tp}\Cov[\bm{f}]\bm{a}$ $=\Var[\bm{a}^{\tp}\bm{f}]\ge0$ なので半正定値であり,$-\ell$ は凸関数である.

(3) $\bm{\theta}\to-\beta$(スカラー),$\bm{f}\to E$ とおくと,(1) と (2) は

$$ \begin{aligned}&\diff{\ln Z}{(-\beta)}=\Ex[E],\\ &\frac{\dd^{2}\ln Z}{\dd(-\beta)^{2}}=\frac{\dd^{2}\ln Z}{\dd\beta^{2}}=\Var[E].\end{aligned} $$

よって $U=\Ex[E]=-\dd\ln Z/\dd\beta$,$\dd U/\dd\beta$ $=-\dd^{2}\ln Z/\dd\beta^{2}$ $=-\Var[E]$.$\beta=1/(k_{\mathrm B}T)$ から $\dd\beta/\dd T$ $=-1/(k_{\mathrm B}T^{2})$ なので

$$ \begin{aligned}C&=\diff{U}{T}=\diff{U}{\beta}\diff{\beta}{T}\\ &=(-\Var[E])\times\Bigl(-\frac{1}{k_{\mathrm B}T^{2}}\Bigr)\\ &=\frac{\Var[E]}{k_{\mathrm B}T^{2}}.\end{aligned} $$

分散は負にならないので,カノニカル分布の比熱は負にならないことも分かる.

演習27.3 三角形に並んだ反強磁性スピン

解答

(1) 3 個とも同じ向き($+++$,$---$)では 3 本の結合の積がすべて $+1$ で $E=3J$.それ以外の 6 状態(2 個が同じで 1 個が逆)では,同じ向きの対が 1 本(積 $+1$),逆向きの対が 2 本(積 $-1$)なので $E=J(1-1-1)=-J$.結合を 3 本とも逆向きにするには,$s_1=-s_2$,$s_2=-s_3$,$s_3=-s_1$ が必要だが,前の 2 つから $s_1=s_3$ となり 3 つ目と矛盾する.どの状態でも少なくとも 1 本の結合は「満足されない」(フラストレーション).

(2) $Z=6e^{\beta J}+2e^{-3\beta J}$.

(3) $\beta J=1$:$Z$ $=6\times2.7183+2\times0.04979$ $=16.3097+0.0996$ $=16.4093$.最低エネルギーの 6 状態にいる確率は $16.3097/16.4093=0.9939$.$\langle E\rangle/J$ $=[(-1)\times16.3097+3\times0.0996]/16.4093$ $=(-16.3097+0.2987)/16.4093$ $=-0.9757$.$S/k_{\mathrm B}$ $=\ln Z+\beta\langle E\rangle$ $=\ln16.4093+1\times(-0.9757)$ $=2.7978-0.9757$ $=1.8221$.

(4) $T\to0$ では最低エネルギーの 6 状態だけが等確率で残るので $S/k_{\mathrm B}\to\ln6=1.792$.強磁性($J\lt0$)なら最低エネルギーは $+++$ と $---$ の 2 状態なので $S/k_{\mathrm B}\to\ln2=0.693$.反強磁性の三角形では,フラストレーションのために最低エネルギーの状態が多数あり,低温でもエントロピーが残る.三角格子や Kagome 格子の反強磁性体,水の氷の水素の配置などで,絶対零度の極限でも残るエントロピー(残留エントロピー)が議論されるのは,この型の縮退による.

演習27.4 試行ハミルトニアンによる変分

解答

(1) 定理27.1 で $q=p_0$ とおくと $A\le A[p_0]=\Ex_{p_0}[E]-TS[p_0]$.$p_0$ 自身は $E_0$ の Boltzmann 分布なので,$E_0$ について定理27.1 の等号の場合を使うと $A_0=\Ex_{p_0}[E_0]-TS[p_0]$,すなわち $-TS[p_0]=A_0-\Ex_{p_0}[E_0]$.代入して

$$ \begin{aligned}A&\le\Ex_{p_0}[E]+A_0-\Ex_{p_0}[E_0]\\ &=A_0+\Ex_{p_0}[E-E_0].\end{aligned} $$

(2) $E_0=-b(s_1+s_2)$ では各スピンが独立で,$Z_0$ $=(e^{\beta b}+e^{-\beta b})^{2}$ $=(2\cosh\beta b)^{2}$,$A_0$ $=-2k_{\mathrm B}T\ln(2\cosh\beta b)$,$\Ex_{p_0}[s_i]=\tanh\beta b\equiv m$.独立性から $\Ex_{p_0}[E]$ $=-J\Ex[s_1]\Ex[s_2]$ $=-Jm^{2}$,$\Ex_{p_0}[E_0]=-2bm$.よって右辺は

$$ R(m)=-2k_{\mathrm B}T\ln(2\cosh\beta b)-Jm^{2}+2bm . $$

$\beta b=\operatorname{artanh}m$ と $\cosh(\operatorname{artanh}m)$ $=1/\sqrt{1-m^{2}}$ を使って $m$ で書く.

$$ \begin{aligned} \beta R(m)&=-2\ln2+\ln(1-m^{2})\\ &\quad-\beta Jm^{2}+2m\operatorname{artanh}m . \end{aligned} $$

一方 $\varphi(m)$ $=\tfrac{1+m}{2}\ln\tfrac{1+m}{2}+\tfrac{1-m}{2}\ln\tfrac{1-m}{2}$ を整理すると $\varphi(m)$ $=-\ln2+\tfrac12\ln(1-m^{2})+m\operatorname{artanh}m$ なので,$\beta R(m)$ $=-\beta Jm^{2}+2\varphi(m)$.これは本文の式 (27.12)(1 スピンあたりの平均場の変分自由エネルギー)で $N=2$,$n_{\mathrm{nn}}=1$,$h=0$ とおいたものと一致する.$m$ で微分して 0 とおくと $-2\beta Jm+2\operatorname{artanh}m$ $=0$,すなわち $m=\tanh(\beta Jm)$ を得る.「独立なスピンの分布の中で変分する」ことと「有効磁場 $b$ の試行ハミルトニアンで変分する」ことは同じであり,最適な有効磁場は $b=Jm$ である.

演習27.5 正の量の最大エントロピー分布

解答

(1) 定理27.2 と同じ計算(和を $x\ge0$ の積分に替える)で $p(x)=e^{-\lambda x}/Z$.$Z=\int_0^\infty e^{-\lambda x}\dd x$ が有限であるには $\lambda\gt0$ が必要で,$Z=1/\lambda$.平均は $\Ex[x]$ $=\lambda\int_0^\infty xe^{-\lambda x}\dd x$ $=\lambda\times1/\lambda^{2}$ $=1/\lambda$ なので,制約から $\lambda=1/\mu$.よって $p(x)=\mu^{-1}e^{-x/\mu}$.

(2) $-\ln p(x)=\ln\mu+x/\mu$ なので $H$ $=\Ex[-\ln p]$ $=\ln\mu+\Ex[x]/\mu$ $=\ln\mu+1$.($x$ の単位を変えると $\ln\mu$ が変わる.微分エントロピーは単位に依存する.)

(3) $\mu=2\ \mu\mathrm{m}$ のとき $P(d\gt4)$ $=\int_4^\infty\tfrac12e^{-d/2}\dd d$ $=e^{-4/2}$ $=e^{-2}$ $=0.135$.

(4) 指数分布は $d=0$ で密度が最大の単調減少の分布だが,実際の焼結体の粒径の分布は,ある大きさの所に峰を持ち,右に裾を引く形(対数正規分布に近い形)であることが多い.$\ln d$ の平均と 2 乗の平均を固定すると,最大エントロピー分布は $p(d)\propto\exp(-\lambda_1\ln d-\lambda_2(\ln d)^{2})$ $=d^{-\lambda_1}e^{-\lambda_2(\ln d)^{2}}$ となり,これは対数正規分布の形である($\lambda_2\gt0$).どの量の平均を知っているかを制約に入れれば,分布の形はそれに応じて変わる.平均だけの最大エントロピー分布を「粒径分布のモデル」とみなすのは,情報を使い残している.

演習27.6 全エネルギーだけから原子のエネルギーを推定する

解答

(1) カーネルの値は $k(0,0)=k(1,1)=1$,$k(0,1)=e^{-0.5}=0.6065$.式 (27.17)(全エネルギーの共分散)より

$$ \begin{aligned} \Var[E_A]&=4\,k(0,0)=4,\\ \Var[E_B]&=k(0,0)+k(1,1)+2k(0,1)\\ &=2+1.2131=3.2131,\\ \Cov[E_A,E_B]&=\sum_{i\in A}\bigl[k(0,0)+k(0,1)\bigr]\\ &=2\times1.6065=3.2131 \end{aligned} $$

(単位 $\mathrm{eV^{2}}$).

(2) 条件付き分布の公式より

$$ \begin{aligned} \Ex[E_B\mid E_A]&=\frac{3.2131}{4}\times(-8.0)\\ &=-6.426\ \mathrm{eV},\\ \Var[E_B\mid E_A]&=3.2131-\frac{3.2131^{2}}{4}\\ &=3.2131-2.5810\\ &=0.6321\ \mathrm{eV^{2}}. \end{aligned} $$

標準偏差は $0.795\ \mathrm{eV}$.

(3) $\Cov[e_{\mathrm{at}}(0),E_A]$ $=2k(0,0)$ $=2$ なので $\Ex[e_{\mathrm{at}}(0)\mid E_A]$ $=2/4\times(-8.0)$ $=-4.0\ \mathrm{eV}$,分散は $1-2^{2}/4=0$.構造 A の 2 原子は同じ環境なので,全エネルギーから 1 原子あたり $-4.0$ eV と確定する.一方 $G=1$ の原子は,$\Cov[e_{\mathrm{at}}(1),E_A]$ $=2e^{-0.5}$ $=1.2131$ から $\Ex[e_{\mathrm{at}}(1)\mid E_A]$ $=1.2131/4\times(-8.0)$ $=-2.426\ \mathrm{eV}$,分散 $1-1.2131^{2}/4=0.632$(標準偏差 $0.795$ eV).$G=1$ の環境は観測していないので,カーネルの類似度を通じて $G=0$ の情報が一部伝わるだけで,大きな不確かさが残る.(2) の $E_B$ の予測は $-4.0+(-2.426)=-6.426$ eV で,不確かさはすべて $G=1$ の原子から来ている.なお,$-2.426$ eV という値は事前分布の平均 0 とカーネルの仮定に強く依存し,物理的に意味のある「原子のエネルギー」ではない(27.9 節の注意).

演習27.7 ポテンシャルの誤差の物差しと訓練データの設計

解答

(1) 300 K:$k_{\mathrm B}T$ $=0.02585\ \mathrm{eV}$ $=25.9\ \mathrm{meV}$,$3\ \mathrm{meV}$ はその $0.116$ 倍.1500 K:$k_{\mathrm B}T$ $=0.1293\ \mathrm{eV}$ $=129.3\ \mathrm{meV}$,$3\ \mathrm{meV}$ は $0.023$ 倍.1 原子あたりでは $k_{\mathrm B}T$ より十分小さい.

(2) $200\times3\ \mathrm{meV}$ $=0.60\ \mathrm{eV}$.1500 K では $0.60/0.1293=4.64$,$e^{4.64}\approx104$ 倍.1 原子あたりの誤差が小さくても,向きがそろうと配置どうしの確率の比を 2 桁変えうる(実際には誤差の一部は打ち消し合うので,これは上限の見積もりである).

(3) 例:

演習27.8 平均場近似の転移温度

解答

(1) $k_{\mathrm B}T_{\mathrm c}$ $=Jn_{\mathrm{nn}}$ $=0.020\times6$ $=0.120\ \mathrm{eV}$,$T_{\mathrm c}$ $=0.120/(8.617\times10^{-5})$ $=1393\ \mathrm{K}$.

(2) $T=0.8\,T_{\mathrm c}$ では $\beta Jn_{\mathrm{nn}}=1/0.8=1.25$.反復すると

$$ \begin{aligned} m&:\ 1\to0.8483\to0.7858\to0.7540\\ &\quad\to0.7364\to0.7261\to0.7200\\ &\quad\to\cdots\to0.7104 . \end{aligned} $$

小数第 3 位までで $m=0.710$(本文の図27.3 (b) の値).

(3) 平均場近似は $4J$,厳密解は $2J/\ln(1+\sqrt2)=2J/0.8814=2.269J$ なので,$4/2.269=1.76$ 倍.相互作用する相手の数 $n_{\mathrm{nn}}$ が増えると,1 個のスピンが感じる有効磁場は多数のスピンの平均になり,その平均のゆらぎ(平均場近似が無視している部分)は相対的に小さくなる(独立な量の平均の分散が $1/n$ で減るのと同じ考え方.第2章 2.8).したがって,3 次元,さらに相手の数の多い格子ほど平均場近似の精度はよくなる.逆に 1 次元($n_{\mathrm{nn}}=2$)では,ゆらぎが秩序を壊すので,厳密解に有限温度の相転移は無いのに平均場近似は $k_{\mathrm B}T_{\mathrm c}=2J$ を予言してしまう.

第28章 材料探索の総合演習 — データ確認から追加実験の提案まで

演習28.1 2 回目の EI

解答

$d=\mu_*-f_{\mathrm{best}}=-3.371-(-3.426)=0.055$,$z=d/\sigma_*=0.055/0.104=0.529$.期待改善量の式 $\mathrm{EI}=d\,\Phi(z)+\sigma_*\Normal(z\mid0,1)$ に代入して

$$ \begin{aligned} \mathrm{EI}&=0.055\times0.7015+0.104\times0.3469\\ &=0.0386+0.0361=0.0747. \end{aligned} $$

表28.6 の 0.074 は丸める前の値($\mu_*=-3.37108$,$\sigma_*=0.10397$,$f_{\mathrm{best}}=-3.42565$)から計算したもので,0.0743 である.差は入力を 3 桁に丸めたことによる.

予測平均が最良値を上回っているのに EI が 1 回目より小さいのは,二つの理由による.第一に,最良値そのものが 1 回目の観測で $-3.912$ から $-3.426$ に上がったので,上回る量 $d$ が 0.191 から 0.055 に減った.第二に,幅 $\sigma_*$ も 0.147 から 0.104 に縮んだ.EI は「平均で見た改善量」$d$ と「幅の分だけ運良く上回る見込み」$\sigma_*$ の両方で決まり,両方が小さくなったのである.

演習28.2 バッチ項つきの共分散

解答

(1) 同じバッチ $j$,同じ条件 $\bm{x}$ の 2 試料は $y_1=f(\bm{x})+u_j+\varepsilon_1$,$y_2=f(\bm{x})+u_j+\varepsilon_2$.$f$,$u_j$,$\varepsilon_1$,$\varepsilon_2$ は独立なので,共分散の双線形性から,同じ確率変数どうしの項だけが残る:

$$ \begin{aligned} \Cov[y_1,y_2]&=\Var[f(\bm{x})]+\Var[u_j]\\ &=\sigma_f^{2}+\sigma_b^{2}. \end{aligned} $$

($\varepsilon_1$ と $\varepsilon_2$ は別の確率変数で独立なので,共分散は 0.)各々の分散は $\Var[y_i]=\sigma_f^{2}+\sigma_b^{2}+\sigma^{2}$ なので,相関係数は

$$ \rho_{\text{同}}=\frac{\sigma_f^{2}+\sigma_b^{2}}{\sigma_f^{2}+\sigma_b^{2}+\sigma^{2}} . $$

(2) 違うバッチ $j\ne j'$ なら $u_j$ と $u_{j'}$ は独立なので $\Cov[y_1,y_2]=\sigma_f^{2}$,相関係数は $\rho_{\text{別}}=\sigma_f^{2}/(\sigma_f^{2}+\sigma_b^{2}+\sigma^{2})$.

本文の推定値 $\sigma_f=0.404$,$\sigma_b=0.097$,$\sigma=0.043$ では,$\sigma_f^{2}=0.1632$,$\sigma_b^{2}=0.0094$,$\sigma^{2}=0.0018$,分母は $0.1745$ で,$\rho_{\text{同}}=0.1726/0.1745=0.989$,$\rho_{\text{別}}=0.1632/0.1745=0.935$.同じバッチの 2 試料の方が強く相関する.

(3) 入力を固定すると $\bm{f}\sim\Normal(m\bm{1},\bm{K})$,$\bm{u}=(u_1,\dots,u_J)^{\tp}\sim\Normal(\bm{0},\sigma_b^{2}\bm{I})$,$\bm{\varepsilon}\sim\Normal(\bm{0},\sigma^{2}\bm{I})$ は独立で,$\bm{y}=\bm{f}+\bm{Z}\bm{u}+\bm{\varepsilon}$ は Gauss 分布に従う量の線形結合なので Gauss 分布に従う.平均は $m\bm{1}$,共分散は $\bm{K}+\bm{Z}(\sigma_b^{2}\bm{I})\bm{Z}^{\tp}+\sigma^{2}\bm{I}=\bm{K}_y$(第28章の式 (28.9)).多変量 Gauss 分布の密度の対数をとって

$$ \begin{aligned} &\ln p(\bm{y}\mid\bm{\theta})\\ &=-\tfrac12(\bm{y}-m\bm{1})^{\tp}\bm{K}_y^{-1}(\bm{y}-m\bm{1})\\ &\quad-\tfrac12\ln\abs{\bm{K}_y}-\tfrac N2\ln2\pi , \end{aligned} $$

$\bm{K}_y=\bm{K}+\sigma_b^{2}\bm{Z}\bm{Z}^{\tp}+\sigma^{2}\bm{I}$,$\bm{\theta}=(\ell_c,\ell_T,\sigma_f,\sigma,\sigma_b)$.形は第12章の式と同じで,$\bm{K}_y$ だけが替わる.計算は第12章と同じく Cholesky 分解で行う.

演習28.3 予測の誤差を伝導度の言葉に直す

解答

(1) $10^{0.253}=1.79$.新しいバッチで焼く試料の伝導度の予測は,典型的に 1.8 倍程度(上にも下にも)外れる.$10^{-0.253}=0.56$ なので,「予測の 0.56 倍〜1.8 倍」と言ってもよい.

(2) 観測値は $10^{-3.248}=5.65\times10^{-4}\ \mathrm{S\,cm^{-1}}$,真の値は $10^{-3.401}=3.97\times10^{-4}\ \mathrm{S\,cm^{-1}}$.比は $10^{-3.248+3.401}=10^{0.153}=1.42$ 倍で,報告値は真の値より 4 割高い.

(3) この値は,5 回の追加実験の中で最大だったので選ばれた値であり,ノイズとバッチのずれで高めに出ている可能性が高い(第28章 28.9.2 項).報告の前に,同じ条件で別のバッチを含めて数回作り直して平均と標準偏差を示す.あるいはガウス過程の予測平均とその幅(観測を重ねた後の $\mu_*\pm2\sigma_*$)を添える.比較のため,基準試料(過去に何度も測った条件)を同じバッチに入れて,バッチのずれを差し引いた値も示すとよい(演習28.4).

演習28.4 基準試料を各バッチに入れる

解答

(1) 別々のバッチ $j,j'$ で測ると,$y_{\mathrm A}-y_{\mathrm R}=\bigl(g_{\mathrm A}-g_{\mathrm R}\bigr)$ $+(u_j-u_{j'})$ $+(\varepsilon_{\mathrm A}-\varepsilon_{\mathrm R})$.4 つの確率変数は独立なので,差の分散は $2\sigma_b^{2}+2\sigma^{2}$ $=2\times0.0064+2\times0.0025$ $=0.0178$,標準偏差は $\sqrt{0.0178}=0.133$.

(2) 同じバッチ $j$ なら $u_j$ が打ち消し合い,$y_{\mathrm A}-y_{\mathrm R}=(g_{\mathrm A}-g_{\mathrm R})+(\varepsilon_{\mathrm A}-\varepsilon_{\mathrm R})$.分散は $2\sigma^{2}=0.005$,標準偏差は $\sqrt{0.005}=0.071$.

(3) 同じバッチに基準試料を入れて差をとると,差の不確かさはほぼ半分(0.133 → 0.071)になる.追加実験の各バッチに,新しい条件の試料と一緒に基準試料を 1 個焼くとよい.基準試料の値からそのバッチのずれ $u_j$ を見積もれるので,新しい条件の良し悪しをバッチのずれと切り分けられる.代理モデルの側では,28.5.2 項のバッチ項($\sigma_b^{2}\bm{Z}\bm{Z}^{\tp}$)を入れ,基準試料の観測もバッチの番号つきでデータに加える.そうすれば,同じバッチの観測どうしの相関を通して,ガウス過程が自動的にずれを差し引いて新しい条件を評価する.

演習28.5 seed を変えてやり直す

解答

次のように計算する(本文と同じ関数を使う).

import ch28_capstone as cc
d, u = cc.clean_from_seed(20261113)
X, y, b = cc.stack(d["c"], d["T"]), d["y"], d["batch"]
fr, fg = cc.folds_random(len(y), 5, 20261112), cc.folds_group(b)
for key in ("mean", "gp"):
    rr = cc.cross_validate(key, X, y, b, fr)
    rg = cc.cross_validate(key, X, y, b, fg)
    print(key, cc.mae_rmse(y, rr["pred"]), cc.mae_rmse(y, rg["pred"]))
rg = cc.cross_validate("gp", X, y, b, fg)
print(cc.coverage(y, rg["pred"], rg["s_obs"]))

結果(Python 3.12.13,numpy 2.5.4,scipy 1.18.1)は次のとおりである.このデータの真のバッチのずれは,B1 から順に $+0.070$,$-0.173$,$-0.018$,$+0.030$,$-0.053$ である.

結論は保たれる.ガウス過程はバッチ単位でも基準(0.295)を上回るが,ランダム分割の誤差(0.081)はバッチ単位(0.230)の約 3 分の 1 で楽観的である.被覆率は 0.825 で,本章のデータ(0.70)よりは高いが名目の 0.95 には届かない.同じ作り方の 100 組の結果(表28.5:平均 0.846,四分位範囲 0.800〜0.925)の中に収まる値である.

演習28.6 過信した区間の被覆率

解答

区間の半幅は $a=1.96\times0.035=0.0686$.誤差 $e\sim\Normal(0,0.094^{2})$ が区間に入る確率は,標準化して

$$ \begin{aligned} P(\abs{e}\le a)&=2\,\Phi\!\left(\frac{0.0686}{0.094}\right)-1\\ &=2\,\Phi(0.730)-1\\ &=2\times0.767-1=0.534 . \end{aligned} $$

名目 95 % の区間が,実際には約 53 % しか当たらない.28.7.4 項のランダム分割での被覆率 0.55 とほぼ一致する.そこでの予測標準偏差の中央値は 0.035,ランダム分割でのガウス過程の RMSE は 0.10 程度なので,この単純な計算が失敗の大きさをよく説明している.区間の幅を約 0.37 倍(0.035/0.094)に縮めると,被覆率は 0.95 から 0.53 まで落ちる.

演習28.7 報告を点検する

解答

主な問題点と直し方を挙げる.

  1. 前処理の漏洩:標準化と,相関による記述子の選択を,分割の前に 60 点全部で行っている.特に記述子の選択は目標値を使うので,検証データの目標値が選択に入り込む(第6章 6.7 節の数値実験では,無関係な記述子でも $R^{2}$ が 0.46 に化けた).直し方:分割を先に行い,各回の訓練データの中だけで標準化と選択をやり直す(入れ子の交差検証).
  2. グループをまたいだ分割:3 つの研究室のデータには,研究室ごとの系統的なずれ(装置,手順,測り方)がありうる.ランダム分割では同じ研究室の仲間が訓練側にいるので楽観的になる.直し方:研究室(さらにバッチ)単位で分割する.新しい研究室・新しいバッチで使うなら,それに合わせた分割の誤差を報告する.
  3. 指標が $R^{2}$ だけ:$R^{2}$ は目標値の範囲が広いと高く出る(第6章 6.10 節).直し方:RMSE か MAE を単位つきで示し,平均で答えるモデルなどの基準の値と並べる.予測値と測定値の散布図,予測区間の被覆率も添える.
  4. 1 回の成功:予測が最大の条件で 1 個作って成功したことは,方法の有効性の証明にならない(運が良かった可能性,他の方法でも見つかった可能性).直し方:同じ予算のランダム探索などと,合成データや過去のデータで多数回比べた結果を示す.実際の追加実験も,複数の候補で行う.
  5. 試料 1 個の値を「過去最高」と報告:最大を選んだ観測値は高めに出る(第28章 28.9.2 項).直し方:同じ条件で作り直して平均とばらつきを示し,基準試料との同じバッチ内での差も示す.
  6. 再現の情報がない:seed,ライブラリーの版,ハイパーパラメーターとその選び方,分割の割り当て,データの点検と処置が書かれていない.直し方:表28.9 の項目を書き,データと台本を公開する(FAIR 原則).
  7. 「新材料の探索に有効」は言い過ぎ:検証したのは既知の焼成条件の範囲の中での予測である.新しい組成系への外挿の性能は評価していない.直し方:主張を評価した範囲に限るか,系統を丸ごと抜く評価(第6章 6.8 節)を行う.