2 つの記述子で表した点を 2 つのクラスに分ける境界を,データから引きます.①ではロジスティック回帰を勾配降下法で学習させ,交差エントロピー損失が下がる様子と,線形分離できるデータで正則化をなくすと重みが増え続ける様子を見ます.②ではカーネルと C,γ を変えて,SVM の境界・マージン・サポートベクトルがどう変わるかを見ます.どちらも,画面の数値を本文の式に入れて結果を説明できるかを確かめてください.
事後確率 p(y=1 | x) = σ(a) の濃淡と決定境界(p = 0.5)
ラベルは y ∈ {0, 1} です.図の上でポインターを動かすと,その点の a と p を下の式に入れて表示します.図をクリックすると,選んだクラスの点を足せます.
損失 L(交差エントロピー+正則化項)の推移.縦軸は対数.破線は Newton 法で求めた最小値 L*(存在するとき).
重みの大きさ ‖w‖(b を除く)の推移.線形分離できるデータで λ = 0 にすると増え続けます.
SVM のスコア f(x) の濃淡,境界 f = 0,マージン f = ±1,サポートベクトル
ラベルは y ∈ {−1, +1} です(第11章の規約).f(x) はスコアです.確率ではありません.図の上でポインターを動かすと,その点の f(x) を下の式に入れて表示します.図をクリックすると点を足せます.
双対変数 αn を大きい順に並べた棒.破線が上限 C.塗りの棒(○)は 0 < αn < C,斜線の棒(◇)は αn = C の点です(棒が細いときは印を省きます).
SMO の反復に対する KKT 条件の破れ m(α) − M(α)(両軸とも対数).破線の許容値 ε を下回ったら止めます.
f(x) はスコアです.確率ではありません(0〜1 に収まらず,大きさは C やカーネルで変わります).
キーボードでは Tab でボタンとスライダーへ移り,Enter(または Space)で押し,矢印キーでスライダーを動かせます.タブは ←→ で切り替えられます.図の上での操作(ポインター・クリック)は,「調べる点」の欄と「この位置に点を足す」ボタンでも同じことができます.
① ロジスティック回帰(ラベル yn ∈ {0, 1}).特徴は 1 次なら φ(x) = (x1, x2)T,2 次項つきなら (x1, x2, x12, x1x2, x22)T です.
決定境界は a = 0(p = 0.5)です.1 次の特徴では境界は直線で,点 x から境界までの符号付き距離は a/‖w‖ です.損失の 1 項は σ(a) を経由せずに
学習率の目安:L の勾配は Lc = ¼ λmax(ATA) + λ で Lipschitz 連続です(A は計画行列 Φ に 1 の列を足した行列,λmax は最大固有値).η < 2/Lc なら損失は反復ごとに減ります(十分条件).比較のための最小値 L* は,Hesse 行列 H = ATSA + λ diag(1, …, 1, 0)(S は ŷn(1 − ŷn) を並べた対角行列.最後の成分が b) を Cholesky 分解して Newton 法の方程式を解き(逆行列は作らない),直線探索をつけて求めています.λ = 0 で全点が境界の正しい側にあるときは,最小値は有限の重みでは達成されないと表示します.
② カーネル SVM(ラベル yn ∈ {−1, +1}).双対問題
を解きます.カーネルは,線形 k = xTx′,多項式 k = (xTx′ + 1)d(d = 2, 3),RBF(Gauss)k = exp(−γ‖x − x′‖2) です.RBF は本文の σf2 exp(−‖x − x′‖2/(2ℓ2)) で σf = 1,γ = 1/(2ℓ2) としたものです.
KKT 条件(最適解であるための必要十分条件)は,各点で次のどれかです.
1 行目はサポートベクトルではない点,2 行目はマージンの上の点,3 行目はマージンの内側か誤分類の点です.画面の「KKT 条件の残差」は,各点でこの条件の破れ(αn = 0 なら max(0, 1 − ynfn),0 < αn < C なら |ynfn − 1|,αn = C なら max(0, ynfn − 1))の最大値です.b は 0 < αn < C の点で ynf(xn) = 1 となるように決め,それらの平均を取ります(そのような点が無いときは,KKT 条件が許す範囲の中点).
SMO(sequential minimal optimization)は,等式制約 Σαnyn = 0 を保つために 2 つの α を組にして選び,その 2 変数の問題を解析的に解いて箱 [0, C] に切り詰める,を繰り返します.組は「KKT 条件を最も破る点」と,それと組んだとき目的関数が最も改善する点です(LIBSVM と同じ選び方).Ft = Σs αsysk(xs, xt) − yt として,m(α) = max (−Ft)(ytαt を増やせる点),M(α) = min (−Ft)(減らせる点)とすると,KKT 条件は m ≤ M と同値です.m − M ≤ ε = 10−3 で止めます.
主問題の目的関数 P(ヒンジ損失の形)と双対の目的関数 D の差(双対ギャップ)は,最適解で 0 になります.
どの点でも a = 0,ŷ = 0.5 なので,1 点あたりの損失は −ln 0.5 = ln 2 ≈ 0.693 です.N = 60 なら L = 60 ln 2 ≈ 41.59(正則化項は 0).画面の t = 0 の値と一致します.
全点が正しい側にあると,(w, b) を同じ向きのまま c 倍(c > 1)すると,どの点でも |an| が大きくなり,ŷn が正解のラベルに近づくので損失が必ず減ります.したがって損失は 0 に近づくだけで,最小値を与える有限の重みがありません.勾配降下法は損失を減らす向きに進み続けるので ‖w‖ が増え続けます(seed 20261112,η = 0.01 では 1000 反復で約 5.99,10000 反復で約 8.98).λ > 0 では (λ/2)‖w‖2 が ‖w‖ の 2 乗で増えるので,交差エントロピーの減少と釣り合う有限の点に最小値ができます(λ = 0.01 で ‖w‖ ≈ 6.75).
○ の点はマージンの上にあるので ynf(xn) = 1,つまり y = +1 なら f ≈ +1,y = −1 なら f ≈ −1 です(停止の許容値のぶんだけずれます).◇ の点は ynf(xn) ≤ 1 で,マージンの内側(0 < yf < 1)か,境界の反対側(yf < 0,誤分類)にあります.どちらも f は確率ではないので,「f = 0.8 だから 80 %」とは読めません.
既定(seed 20261112,N = 60)では,サポートベクトル 22 個(○ 18,◇ 4),マージン幅 0.581.γ = 20 では 59 個(○ 57,◇ 2),0.323 です(60 点のほぼ全部).γ が大きい(ℓ = 1/√(2γ) が短い)と,カーネルは近くの点どうしでしか値を持たず,f は各点のまわりの小さな山の重ね合わせになります.境界が個々の点に沿って曲がり,多くの点が境界の近くに残るのでサポートベクトルが増えます(訓練データに合わせすぎる=過学習).
機械学習 — 確率から GPT まで(目次)へ戻る | 本文:第9章 9.3 節,第10章 10.5 節,第11章 11.5 節 | 数式はブラウザ標準の MathML で組んでいます(外部ライブラリ不使用).