系列モデル — 隠れ Markov モデルと Kalman フィルター

装置が「正常」か「劣化」か(隠れ状態)は直接見えず,センサーの値(観測)だけが時刻ごとに得られる,という場面で,観測の列から隠れ状態を推定します.forward 算法で求めるフィルタリング(その時刻までの観測を使う)と,backward 算法も使う平滑化 γt(全時刻の観測を使う)の違い,最も確からしい状態の列(Viterbi 法)が各時刻の最も確からしい状態を並べたものと一致しないことがあること,連続の隠れ状態では Kalman フィルターになることを,式に数値を入れながら確かめてください.

観測の列と真の状態

「時刻を進める」で調べる時刻 t(縦の破線)が動き,下の「いまの数値を式に入れると」がその時刻の forward 算法の 1 段になります.

劣化である確率:フィルタリングと平滑化

破線はフィルタリング p(zt = 2 | x1:t)(時刻 t までの観測だけを使う),実線は平滑化 γt(2) = p(zt = 2 | x1:T)(全時刻の観測を使う).斜線の帯は真の状態が劣化の時刻です.状態の番号は 1 = 正常,2 = 劣化.

状態の列(推定と真の状態)

各行の塗ったます目は「劣化」,白います目は「正常」と推定した時刻です.ます目の下の小さな ▲ は真の状態と違う時刻です.「γ 最大」は各時刻で γt(j) が最大の状態を並べた列,「フィルター」はフィルタリングの確率が最大の状態の列,Viterbi は同時確率 p(x1:T, z1:T) が最大の状態の列です.

いまの数値を式に入れると(調べる時刻 t,状態 2 = 劣化)

p(zt = 2 | x1:t−1) は 1 時刻前までの観測から見た予測,ct = p(xt | x1:t−1) は正規化の係数です.状態 1(正常)の値は 1 から引いた値です(2 状態なので).α̂t(j) は規格化した forward 変数で,フィルタリングの確率そのものです.

読み出し

このシミュレーターの説明(操作手順・式・条件・問い)

操作手順と観察する点

  1. ①で既定のまま図を見ます(離散 3 値,π1 = 0.95,A11 = 0.97,A22 = 0.95,離れ具合 s = 0.7,T = 100.真の状態は時刻 69〜86 が劣化).見る点:破線(フィルタリング)は観測が来るたびにぎざぎざに動き,正常の区間でも「高」が続くと誤って 0.5 を超えること.実線(平滑化 γt)は後の観測も使うので滑らかで,劣化の始まりを早めに捉えること.読み出しの正答率はフィルタリング 0.90,平滑化 0.99,Viterbi 0.98.
  2. 「時刻を進める」を押すか「1 時刻進める」を繰り返します.見る点:「いまの数値を式に入れると」で,前の時刻のフィルタリングの確率に遷移確率 Aij を掛けて足した「予測」に,出力確率を掛けて正規化すると,その時刻のフィルタリングの確率になること.
  3. 離れ具合 s を 0 にし,次に 1 にします.見る点:s = 0 では観測が状態について何も語らないので,γt は遷移だけで決まる事前の確率になり,正答率は下がること.s を大きくすると推定が真の状態に近づくこと.
  4. 「Gauss 型」に切り替え,劣化の平均 Δ を変えます.見る点:Δ が小さい(2 つの分布が重なる)と推定があいまいになり,Δ が 3 以上ではほぼ確実に当たること.
  5. 「手計算(T = 3)」に切り替えます.見る点:α3(1) + α3(2) と,8 通りの状態の列の確率 p(x1:3, z1:3) の和が同じ値 p(x1:3) = 0.036280 になること.γt が全列挙から周辺化した値と一致すること.
  6. 手計算モードで「食い違う例(低・高・中)」を押します.見る点:Viterbi の経路は 正常 → 劣化 → 劣化 なのに,各時刻で γt が最大の状態を並べると 正常 → 劣化 → 正常 になること.全列挙の表で,その 2 つの列の確率を比べること.
  7. ②で「観測の欠けを入れる」をオンにします.見る点:観測の無い時刻では予測だけになり,帯(±2√Pt)が広がっていき,観測が戻ると急に狭くなること.下の図で Kt = 0,Pt が毎時刻 q ずつ増えること.
  8. ②で「データと同じ q, r を使う」を外し,フィルターの q を小さく,または大きくします.見る点:q を小さく仮定すると推定は鈍くなり(K∞ が小さい),大きく仮定すると観測のノイズに振り回されること.±2√Pt の帯に真値が入る割合(被覆率)が 95 % からずれること.

キーボードでは Tab でボタンとスライダーへ移り,Enter(または Space)で押し,矢印キーでスライダーを動かせます.タブは ←→ で切り替えられます.埋め込みでは ?only=hmm&mode=hand で手計算モードから始まります.

計算している式とアルゴリズム

隠れ状態 zt ∈ {1, 2}(1 = 正常,2 = 劣化),初期分布 πi = p(z1 = i),遷移行列 Aij = p(zt = j | zt−1 = i)(i から j へ.各行の和が 1),出力確率 Bjv = p(xt = v | zt = j) とすると,同時分布は

p(x1:T,z1:T)=πz1∏t=2TAzt−1zt∏t=1TBztxt

forward 算法(αt(j) = p(x1:t, zt = j))と backward 算法(βt(j) = p(xt+1:T | zt = j)):

α1(j)=πjBjx1,αt(j)=Bjxt∑iαt−1(i)Aij,p(x1:T)=∑jαT(j)βT(i)=1,βt(i)=∑jAijBjxt+1βt+1(j)γt(j)=p(zt=j∣x1:T)=αt(j)βt(j)p(x1:T),p(zt=j∣x1:t)=αt(j)∑kαt(k)(フィルタリング)

αt(j) は確率の積なので,T が大きいと指数関数的に小さくなり,やがて浮動小数点数で 0 に丸まります(この装置の試験では T = 2000 で 0 に丸まりました).そこで次のスケーリングを使います.各時刻で正規化の係数 ct = p(xt | x1:t−1) で割り,規格化した α̂t(j) = p(zt = j | x1:t) を順に求めます.

ct=∑jBjxt∑iα^t−1(i)Aij,α^t(j)=Bjxt∑iα^t−1(i)Aijct,lnp(x1:T)=∑t=1Tlnctβ^T(i)=1,β^t(i)=1ct+1∑jAijBjxt+1β^t+1(j),γt(j)=α^t(j)β^t(j)

計算の中では,同じ量を対数で求める版(ln αt を log-sum-exp で更新する)も並べて計算し,読み出しに両者の対数尤度の差を表示します(丸め誤差の大きさ).Gauss 型の観測では Bjxt の代わりに密度 𝒩(xt | μj, σ2) を使い,各時刻で 2 つの密度の大きい方で割ってから計算します(割った分は対数尤度に足し戻します).

Viterbi 法は,和の代わりに最大値を取ります.ωt(j) は「時刻 t に状態 j で終わる状態の列のうち最も確からしいものの同時確率」,ψt(j) はそのときの 1 つ前の状態(バックポインター)です.計算は対数で行います.

ω1(j)=πjBjx1,ωt(j)=Bjxtmaxiωt−1(i)Aij,ψt(j)=argmaxiωt−1(i)Aij

②の Kalman フィルターは,連続の隠れ状態 zt がランダムウォーク zt = zt−1 + wt(wt ~ 𝒩(0, q))をし,観測が xt = zt + vt(vt ~ 𝒩(0, r))のときの forward 算法です.分布がずっと Gauss 分布のままなので,平均と分散だけを更新すれば済みます(更新は第4章の「Gauss 分布の平均のベイズ推定」と同じ計算).

予測:μt∣t−1=μt−1,Pt∣t−1=Pt−1+q(t=1 では μ0,P0)ゲイン:Kt=Pt∣t−1Pt∣t−1+r更新:μt=μt∣t−1+Kt(xt−μt∣t−1),Pt=(1−Kt)Pt∣t−1=Pt∣t−1rPt∣t−1+r定常値:P∞−=q+q2+4qr2,K∞=P∞−P∞−+r,P∞=K∞r

μt,Pt は p(zt | x1:t) = 𝒩(zt | μt, Pt) の平均と分散,μt|t−1,Pt|t−1 は 1 つ前までの観測から見た予測の平均と分散です.観測が欠けた時刻は更新をせず,μt = μt|t−1,Pt = Pt|t−1 とします.分散の更新は引き算をしない形 Pt|t−1r/(Pt|t−1 + r) で計算するので,丸めで負になりません.

データと乱数の条件

  • ①の系列は教育用の合成データです(実在の装置の記録ではありません).状態 1 = 正常,2 = 劣化.z1 ~ π,zt | zt−1 = i ~ (Ai1, Ai2).A12 = 1 − A11,A21 = 1 − A22.既定は π = (0.95, 0.05),A11 = 0.97,A22 = 0.95,T = 100.
  • 離散 3 値の観測(センサーの値を 低・中・高 の 3 段階に分けたもの.v = 1, 2, 3):離れ具合 s ∈ [0, 1] で B1· = ((1 + s)/3, 1/3, (1 − s)/3)(正常は「低」が出やすい),B2· = ((1 − s)/3, 1/3, (1 + s)/3)(劣化は「高」が出やすい).既定 s = 0.7.
  • Gauss 型の観測:xt = μzt + σ εt,εt ~ 𝒩(0, 1),μ1 = 0,μ2 = Δ,σ = 1.センサー値は無次元です(正常時の平均を 0,ばらつきの標準偏差を 1 にとった値).既定 Δ = 1.5.
  • 推定には,データを作ったのと同じ π,A,B(または μj,σ)を使います.
  • ②の系列も教育用の合成データです:z1 = μ0 + √P0 ε1,zt = zt−1 + √q εt,xt = zt + √r ηt(εt,ηt ~ 𝒩(0, 1) は独立).たとえば装置の状態を表す量(無次元)がゆっくりずれていき,センサーはそれにノイズが乗った値を返す,という状況です.既定は q = 0.2,r = 1.0,μ0 = 0,P0 = 1,T = 100.観測の欠けは時刻 t が (0.3T, 0.45T] と (0.7T, 0.8T] の範囲(T = 100 なら 31〜45 と 71〜80).欠けを入れても観測の値そのものは変わりません.
  • 乱数は seed つきの生成器(mulberry32)です.既定の seed は ①,② とも 20261112.同じ seed でやり直すと同じ系列になります.①でパラメーターを変えると同じ seed で系列を作り直します(乱数の列は同じでも,遷移・出力の確率が変わるので状態と観測は変わります).T だけを変えたときは,短い系列は長い系列の先頭と同じです.
  • 上限:系列長 T は 10〜200.手計算モードは T = 3(全列挙は 23 = 8 通り).

簡略化している点

  • 状態は 2 つだけで,遷移確率・出力確率は時刻によらず一定です.実際の劣化は進むだけで戻らない(A21 = 0)ことが多いですが,ここでは補修などで正常に戻ることも許しています(A22 = 1 にすれば戻らないモデルになります).
  • パラメーター π,A,B は既知としています.データから学習する Baum–Welch 法(EM 法)は扱いません(本文 22.4 で紹介).
  • Gauss 型の観測の標準偏差は両状態で共通の σ = 1 に固定しています.
  • Kalman フィルターは 1 次元のランダムウォーク(状態の遷移の係数 1)に限り,後ろ向きの平滑化(RTS 平滑化)は扱いません.初期の平均と分散は μ0 = 0,P0 = 1 に固定しています.

結果が不安定になる条件

  • 規格化しない αt(j) は T とともに指数関数的に小さくなり,T が数百〜数千で 0 に丸まります.この装置はスケーリング版(と対数版)で計算するので,T = 200 でも桁落ちしません.
  • 確率 0 の遷移(Aij = 0)と確率 0 の出力(s = 1 のとき B1,高 = B2,低 = 0)が重なると,観測列そのものの確率が 0 になることがあります(手計算モードで起こせます).このときは計算を止めて理由を表示します.
  • s = 0 や Δ = 0 では観測が状態について何も語らないので,推定は遷移だけで決まります.同じ確率の状態が並ぶと Viterbi 法の経路は一つに決まらず,この装置は番号の小さい状態(正常)を選びます.
  • Kalman フィルターで q を真の値より極端に小さく仮定すると,推定の分散 Pt が小さくなりすぎ,真値が帯の外に出続けます(フィルターが観測を信じなくなる).

本文の対応節

操作後に答える短い問い

  1. 手計算モードの既定(π = (0.6, 0.4),A11 = 0.7,A22 = 0.6,観測 低・中・高)で,α1(1),α2(1),p(x1:3) を手で計算してください.
    答えの例

    α1(1) = 0.6 × 0.5 = 0.30000,α1(2) = 0.4 × 0.1 = 0.040000.α2(1) = B1,中(0.3 × 0.7 + 0.04 × 0.4) = 0.4 × 0.226 = 0.090400.同様に α2(2) = 0.3 × (0.3 × 0.3 + 0.04 × 0.6) = 0.034200,α3(1) = 0.1 × (0.0904 × 0.7 + 0.0342 × 0.4) = 0.0076960,α3(2) = 0.6 × (0.0904 × 0.3 + 0.0342 × 0.6) = 0.028584.p(x1:3) = 0.0076960 + 0.028584 = 0.036280.8 通りの全列挙の和と一致します.

  2. 「食い違う例(低・高・中)」で,各時刻の γt が最大の状態を並べた列(正常・劣化・正常)が Viterbi の経路(正常・劣化・劣化)と違うのはなぜですか.
    答えの例

    γ3 = (0.54627, 0.45373) は,z2 が正常の列も劣化の列も足し合わせた(周辺化した)確率です.最後の観測「中」は B1,中 = 0.4 と B2,中 = 0.3 で区別しにくく,z2 = 正常 を経る列の分まで含めると z3 = 正常 がわずかに多くなります.一方,最も確からしい 1 本の列 正常・劣化・劣化(確率 0.0097200)は,劣化にとどまる確率 A22 = 0.6 が劣化から戻る確率 A21 = 0.4 より大きいので,正常・劣化・正常(0.0086400)より確からしくなります.「各時刻で最も確からしい状態」と「最も確からしい状態の列」は別の問いです.

  3. ①の既定で,フィルタリングと平滑化の正答率はいくつですか.平滑化の方が高くなりやすいのはなぜですか.実時間の監視で使えるのはどちらですか.
    答えの例

    既定(seed 20261112)ではフィルタリング 0.90,平滑化(γ 最大)0.99,Viterbi 0.98 です.平滑化は時刻 t より後の観測も使うので,状態が切り替わった直後の判断を後から修正できます.ただし後の観測が届くまで計算できないので,その時刻に判断を下す実時間の監視ではフィルタリングしか使えません(後から記録を解析するときは平滑化が使えます).

  4. ②の既定(q = 0.2,r = 1,P0 = 1)で,K1,K2,K∞ を求めてください.観測が欠けた区間で Pt はどう変わりますか.
    答えの例

    K1 = 1/(1 + 1) = 0.5,P1 = 0.5.P2|1 = 0.5 + 0.2 = 0.7,K2 = 0.7/1.7 = 0.41176.定常値は P∞− = (0.2 + √(0.04 + 0.8))/2 = 0.55826,K∞ = 0.55826/1.55826 = 0.35826.観測が欠けると更新ができず,Pt = Pt−1 + q で毎時刻 0.2 ずつ増え(15 時刻で 3.0 増える),観測が戻った時刻のゲインは大きくなります.

機械学習 — 確率から GPT まで(目次)へ戻る | 本文:第22章 22.5 節 | 数式はブラウザ標準の MathML で組んでいます(外部ライブラリ不使用).