このシミュレーターの説明(操作手順・式・条件・問い)
操作手順と観察する点
- ①で「例の 8 点を置く」を押します.見る点:観測点の近くでは潜在関数の帯 ±2σ*(塗り)が細くなり,観測点のない 6.4〜8.2 mol% の間で広がること.観測値の帯 ±2√(σ*2 + σ2)(破線)は,観測点の上でも ±2σ = ±0.1 より細くなりません.
- 「調べる点 x*」を観測点の上の 6.4 から,観測点のない 7.0 へ動かします(例の 8 点のまま).見る点:「いまの数値を式に入れると」の σ*2 = σf2 − vTv で,引く項 vTv が 0.638 から 0.556 に減り,σ* が 0.050 から 0.290 に増えること.次に ℓ を 0.2 にすると,x* = 7.0 では vTv ≈ 0 となり,σ*2 は事前分散 σf2 = 0.64 に,μ* は平均関数 m = −4.469 の近く(−4.459)に戻ること(データから離れた所では平均関数へ戻るだけ).
- 長さスケール ℓ を 0.2 と 5 にします.見る点:ℓ が小さいと平均が観測点の間で m へ落ち込み帯が膨らむこと,大きいと 2 つの山を表せず当てはまりが悪くなること.下の図で,当てはまりの項は ℓ を大きくすると下がり,複雑さの罰の項は上がる(罰が軽くなる)こと.
- 「格子探索で ℓ を最大化」と「格子探索で ℓ・σf・σ を最大化」を押します.見る点:対数周辺尤度が最大になる ℓ と,そのときの 3 項の値.データが少ないと最大が平らで,選ばれた値が当てにならないこと.
- 「事前分布からの標本」「事後分布からの標本」を表示し,ℓ を動かします.見る点:事前分布の標本の波の細かさが ℓ で決まること.事後分布の標本は観測点の近くでは観測値の近くを通り,離れると事前分布の標本のようにばらつくこと.
- ②で「次の 1 点を観測」を繰り返します(既定は EI,ξ = 0,初期点 3 個).見る点:獲得関数(下の図)が「予測平均が高い所」と「帯が広い所」の両方で大きくなり,局所的な極大(約 2.2 mol%)ではなく大域的な最大(約 7.0 mol%)の近くへ観測が集まること.履歴の表と単純後悔.
- ②で「最小化(−y を最小に)」に切り替えて「やり直す」から同じ回数だけ進めます.見る点:最小化では LCB と符号を変えた EI を使いますが,目的関数の符号を反転しただけなので,同じ seed なら観測する点の列が最大化と完全に一致すること.
- ③で「実行」を押します(既定は 200 回の繰り返し,予算 20 回).次に「BO が負ける例」を押して実行します.見る点:単純後悔の中央値と四分位範囲(帯).既定ではベイズ最適化の中央値がランダム探索より 1 桁近く小さいこと.長さスケールを 10 mol% に決め打ちすると,ランダム探索より中央値が大きくなる(負ける)こと.
キーボードでは Tab でボタンとスライダーへ移り,Enter(または Space)で押し,矢印キーでスライダーを動かせます.タブは ←→ で切り替えられます.①の図のクリックは,右の欄の「観測する添加量 x」と「この x で観測」でも同じことができます.
計算している式とアルゴリズム
ガウス過程 f ~ 𝒢𝒫(m, k) の共分散関数は RBF(Gauss)カーネルです.長さスケール ℓ,信号分散 σf2.平均関数 m は定数です.
N 個の観測 y と Ky ≡ K + σ2I(K ∈ ℝN×N は Gram 行列)から,テスト入力 x* での潜在関数 f* の予測分布 𝒩(f* | μ*, σ*2) と,観測値 y* の予測分散は
ここで k* = (k(x1, x*), …, k(xN, x*))T,θ = (ℓ, σf, σ).逆行列は作りません.Cholesky 分解 Ky = LLT を 1 回だけ行い,前進・後退代入で a = LT\(L\(y − m1)),v = L\k* を求め,μ* = m + k*Ta,σ*2 = k(x*, x*) − vTv,ln |Ky| = 2 Σi ln Lii とします(Rasmussen と Williams の教科書の Algorithm 2.1 と同じ手順).分解に失敗したら対角に小さな値(ジッター)を足して再試行し,足した量を画面に書きます.丸めで σ*2 が負になったら 0 に切り,切った個数を書きます.
ベイズ最適化(②③)では,観測した値の最良 fbest を基準に,獲得関数を 401 点の格子(刻み 0.025 mol%)で評価して最良の点を次に観測します.z = (μ* − fbest − ξ)/σ*,Φ は標準 Gauss 分布の累積分布関数です.
最大化と最小化の符号規約(②で切り替えられます.最小化の例として,同じ問題を g(x) = −y(x) の最小化として書き直したものを解きます):
| 最大化(本文の既定) | 最小化 |
| fbest | これまでの最大 | これまでの最小 |
| 改善量 | μ* − fbest − ξ | fbest − μ* − ξ |
| EI | (改善量)Φ(z) + σ* 𝒩(z | 0, 1),z = 改善量 / σ*(どちらも最大の点を選ぶ) |
| PI | Φ(z)(最大の点を選ぶ) |
| 信頼限界 | UCB = μ* + κσ* を最大にする | LCB = μ* − κσ* を最小にする |
fbest は「観測値の最良」と「観測した点での事後平均 μ*(xn) の最良」を切り替えられます.単純後悔は rn = ymax − y(x̂n) で,x̂n は n 回目までに観測値が最大だった点(推奨点),y(x̂n) はその点での真の関数値,ymax = −3.400(x = 7.000 mol%)は真の最大値です.
データと乱数の条件
- 観測値はすべて教育用の合成データ(データ C「添加量とイオン伝導度」)です.実在の物質のデータではありません.添加量 x ∈ [0, 10] mol%,y = log10(σion / S cm−1)(無次元),真の関数 y(x) = −5.0 + 1.0 exp[−(x − 2.2)2/(2·0.72)] + 1.6 exp[−(x − 7.0)2/(2·1.12)],観測値 = 真の値 + ε,ε ~ 𝒩(0, 0.052)(独立).局所的な極大は x ≈ 2.200 mol%(y ≈ −4.000),大域的な最大は x ≈ 7.000 mol%(y ≈ −3.400)です.
- 合成データのノイズの標準偏差 0.05 は固定です.スライダーの σ はモデルが仮定するノイズの標準偏差で,合成データには影響しません.
- ①の「例の 8 点」の添加量は 0.4,1.6,2.8,4.0,5.2,6.4,8.2,9.4 mol%(固定)で,観測ノイズだけが乱数です.
- 乱数は seed つきの生成器(mulberry32)です.既定の seed は ①②③ とも 20261112.①では seed を操作すると,いまある観測点の x はそのままで観測値を新しい乱数で引き直します.②では seed を操作すると最初からやり直します(初期点の x は一様乱数,観測ノイズは観測のたびに同じ乱数列から).③の繰り返し r(0 から数える)には,ベイズ最適化に seed + r,ランダム探索に seed + 100000 + r,格子の観測ノイズに seed + 200000 + r を使います.事前・事後分布の標本は seed + 1 + (引き直した回数)の乱数で作った標準 Gauss 乱数のベクトルを固定して使うので,ℓ などを動かすと標本は連続的に形を変えます.
- 既定値:ℓ = 1.00 mol%,σf = 0.80,σ = 0.050,平均関数 m は観測値の平均 ȳ(観測がないときは −4.5).②の既定:最大化,EI(ξ = 0),fbest は観測値の最良,初期点 3 個,予算 20 回.③の既定:予算 20 回,繰り返し 200 回,EI(ξ = 0),ℓ = 1.00 mol% に固定.
- 上限:①の観測点は 40 個まで,②③の予算は 40 回まで,③の繰り返しは 200 回まで.①の格子探索は ℓ 41 点 × σf 13 点 × σ 21 点(11193 通り).②③で「毎回 ℓ を選ぶ」ときは ℓ ∈ [0.2, 5] mol% の 25 点.③の計算は 1 コマ 12 ms 以内に区切って行い,途中で止められます.
簡略化している点
- 入力は 1 次元(添加量だけ)です.実際の材料探索では組成・温度・時間など複数の入力があり,カーネルの長さスケールも入力ごとに違います.
- 平均関数は定数です.既定では観測値の平均 ȳ を使い,対数周辺尤度は ȳ を既知の定数とみなして計算しています(ȳ 自体もデータから決めているので,厳密な周辺尤度より少し楽観的です).
- 獲得関数の最大化は 401 点の格子で行います(実際には連続最適化を多点から始めるのが普通です).同じ値の点があれば x の小さい方を選びます.
- ハイパーパラメーターは固定か,格子探索による対数周辺尤度の最大化だけです(勾配法や事前分布は使いません).
- 推奨点は「観測値が最大だった点」です.観測ノイズがあるので,運の良いノイズの点が推奨されることがあり,単純後悔は評価を重ねても一時的に増えることがあります.
- 等間隔の格子は,評価回数 n ごとに「予算が n 回なら置く格子」xk = 10(k − ½)/n mol%(k = 1, …, n)を測ったとして単純後悔を計算しています.
結果が不安定になる条件
- モデルのノイズ σ が小さく ℓ が大きいと,Ky がほとんど特異になります.同じ x を何度も観測したときも同じです.Cholesky 分解はジッターを足して続け,足した量を読み出しに書きます.
- σ を小さくしすぎると,予測平均がノイズまで拾って観測点の間で大きく振れます(ノイズのある観測を「正確な値」とみなすため).
- 観測が少ないと対数周辺尤度の最大が平らになったり,ℓ の端で最大になったりします.格子探索の結果はそのまま信じず,下の図の形を見てください.
- fbest に観測値の最良を使うと,大きなノイズの当たった点が基準になり,EI・PI が小さくなって探索が止まりがちです.
- ℓ を長くし σ を小さくすると,σ* がどこでも小さくなり,EI・PI が倍精度で表せないほど小さく(0 に)なることがあります.このときは改善を期待できる点がないので,同じ値の点のうち格子の左端を選びます(図に注意を出します).代理モデルが「もう分かった」と思い込んで探索が止まる例です.
- 計算に NaN や無限大が出たら,計算を止めて理由を表示します.
本文の対応節
操作後に答える短い問い
- ①で「例の 8 点を置く」(seed は既定)としたとき,x* = 7.0 mol% での σ* と √(σ*2 + σ2) はいくつですか.観測点のちょうど上(x* = 6.4)ではどうですか.観測値の帯が ±2σ より細くならないのはなぜですか.
答えの例
既定(ℓ = 1.00 mol%,σf = 0.80,σ = 0.050,m = ȳ = −4.469)で,x* = 7.0 では σ* = 0.290,√(σ*2 + σ2) = 0.294 で,2 つの帯はほとんど同じ幅です(観測点から離れていて σ* ≫ σ).観測点の上の x* = 6.4 では σ* = 0.0499 まで細くなりますが,√(σ*2 + σ2) = 0.0706 です.次の観測値の分散は σ*2 + σ2 ≥ σ2 なので,f をいくら正確に知っても,観測ノイズの分だけは予測できません.
- EI の式で σ* → 0 とすると何になりますか.観測点の上では EI がほぼ 0 になるのはなぜですか.
答えの例
z = (μ* − fbest − ξ)/σ* は改善量が正なら +∞,負なら −∞ へ行くので,Φ(z) → 1 または 0,𝒩(z | 0, 1) → 0 となり,EI → max(μ* − fbest − ξ, 0) です(確実に分かっている値の改善量).観測点の上では σ* が小さく,μ* はその点の観測値の近くで fbest 以下なので,期待できる改善がほとんど残りません.
- ②で最大化と最小化(−y を最小に)を同じ seed・同じ回数で実行すると,観測点の列はどうなりますか.それはなぜですか.
答えの例
完全に一致します.目的関数の符号を反転すると,事後平均の符号が反転し(μ* は y について線形),事後分散は変わりません.fbest も符号が反転するので,最小化の改善量 fbest − μ* − ξ は最大化の改善量と同じ値になり,EI・PI は同じ値,LCB は UCB の符号を変えた値になります.
- ③の既定(予算 20 回,200 回の繰り返し)で,20 回目の単純後悔の中央値はベイズ最適化とランダム探索でそれぞれいくつですか.「BO が負ける例」ではどうなりますか.なぜ負けるのですか.
答えの例
seed 20261112 の 200 回で,20 回目の単純後悔の中央値 [四分位範囲] はベイズ最適化 0.0037 [0.00041, 0.010],ランダム探索 0.031 [0.0053, 0.088](等間隔の格子は 0.041)です.同じ繰り返しどうしで比べると,ベイズ最適化の方が小さかったのは 81.5 % で,いつも勝つわけではありません.「BO が負ける例」(ℓ = 10 mol% に決め打ち,予算 30 回)では中央値がベイズ最適化 0.049 [0.012, 0.13],ランダム探索 0.019 [0.0032, 0.054] となり,ベイズ最適化が負けます(ベイズ最適化の方が小さかった割合は 36.5 %).山の幅(0.7 mol% と 1.1 mol%)に比べて ℓ が長すぎると,代理モデルは滑らかすぎて山の位置を正しく表せず,しかも σ* を小さく見積もるので,誤った場所の近くばかりを測り,探索をやめてしまいます.代理モデルが外れれば探索も外れます(①で例の 8 点に ℓ = 5 を当てると,対数周辺尤度は −230 で,ℓ = 1 の −6.5 よりはるかに小さく,データがこの ℓ を支持しないことが分かります).