Attention と次トークン生成 — 重み付きで情報を集め,次の 1 語を選ぶ

①では,手で設定した小さな行列で Q,K,V → スコア → mask → softmax の重み → 出力,を数値で追い,√dk で割る意味と causal mask の効き方を確かめます.②では,この教材のために学習した小さな Transformer をブラウザの中で動かし,次のトークンの確率,temperature・top-k・top-p による分布の変化,生成した文が正しいかどうかを確かめます.確率が高い文がいつも正しいとは限らないことも見てください.

① 手で設定した重みの計算デモタブ①行列の値はすべて手で入れたものです.学習はしていません.Attention の計算の手順を数値で追うためのものです.
② この教材のために学習した小規模なモデルタブ②decoder のみの Transformer(2 層・2 ヘッド・dmodel = 32,パラメーター 28,384 個).教育用の合成コーパス(材料についての短い文)だけで学習しました.GPT と同じ型の小さなモデルで,GPT ではありません.
③ 実際の GPTここには無いこのページでは動いていません.規模(パラメーター数・層数)も学習データ(実在の大量の文章)も桁違いで,②の数値(誤りの割合など)はそのまま当てはまりません.

softmax の重み A(各行 = 各 Query.Key の方向に和が 1)

A = softmax(QKT/√dk + M).出力は Z = AV です.

計算の流れ(系列を行に並べた行列.各行が 1 つの位置)

いまの数値を式に入れると

重みは手で設定した値です.学習したモデルではありません.行列の値は下の欄で変えられます(−5〜5).

読み出し

このシミュレーターの説明(操作手順・式・条件・問い)

操作手順と観察する点

  1. ①を既定のまま見ます(T = 3,dmodel = dk = 2,WQ = WK = WV = 単位行列,X の行は (1, 0),(0, 1),(1, 1)).見る点:スコアの 1 行目は (1, 0, 1),√2 で割ると (0.7071, 0, 0.7071),重みは (0.4011, 0.1978, 0.4011),出力は (0.8022, 0.5989).どの行も重みの和が 1 であること.
  2. 「causal mask」をオンにします.見る点:1 行目の重みが (1, 0, 0) になり,出力が X の 1 行目そのものになること.2 行目は (0.3302, 0.6698, 0).3 行目(最後の位置)は mask の前と変わらないこと.
  3. プリセット「W_Q を 3 倍」を選び,「√d_k で割る」をオン・オフします.見る点:スコアが大きいほど重みが 1 つの Key に集中する(softmax が飽和する)こと.√dk で割るとスコアが縮み,重みがなだらかになること.
  4. 「X の 1 行目と 2 行目を入れ替える」を押します(mask はオフ).見る点:出力 Z の 1 行目と 2 行目もそのまま入れ替わる(置換同変)こと.Attention だけでは順序の情報が入らないこと.
  5. ②で文脈のプリセット「金属 の 例 に は」を選び,temperature τ を 0.5,1,2 にします.見る点:上位の確率(τ = 1 で 鉄 0.321,銅 0.288,アルミニウム 0.267)が,τ = 0.5 で鋭く,τ = 2 でなだらかになること.top-p = 0.9 では 4 語が残り,残った確率を足して 1 になるよう割り直されること.
  6. ②でプリセット「水銀 は 常温 で」を選び,「greedy で 1 トークン」を押します.見る点:表では液体なのに,モデルは「固体」を確率 0.998 で選ぶこと.判定が「誤り(表と矛盾)」になること.確率が高いことは正しいことを意味しません.
  7. ②でプリセット「チタン酸バリウム の 結晶構造 は」を選び,「サンプリングで 1 トークン」を seed を変えながら何度か押します.見る点:正解のペロブスカイト構造の確率は 0.047(4 位)で,もっともらしい誤り(岩塩構造 0.550 など)がよく出ること.頻度の少ない材料ほど誤りやすいこと.
  8. ②で第 2 層・ヘッド 2 の Attention の重みを見ます.見る点:「ニッケル は 磁石 に」の最後の位置は「ニッケル」に 0.94 の重みを置くこと.ただし重みは情報を集める割合で,判断の理由とは限りません.

キーボードでは Tab でボタン・数値欄・スライダーへ移り,Enter(または Space)で押し,矢印キーで数値やスライダーを動かせます.タブは ←→ で切り替えられます.

計算している式とアルゴリズム

系列を行に並べます(X ∈ ℝT×dmodel の第 t 行が位置 t のベクトル.線形変換は右から掛ける).

Q=XWQ,K=XWK,V=XWV,Attention(Q,K,V)=softmax(QKTdk+M)V

softmax は各行(各 Query)について列(Key)の方向に取ります.行 i の重みと出力は

sij=qi⋅kjdk+Mij,Aij=expsij∑j′expsij′,zi=∑jAijvj,Mij={0(j≤i)−∞(j>i)

です(causal mask がオフなら M = 0).softmax は各行の最大値を引いてから exp を取ります(値は同じで,桁あふれしません).exp(−∞) = 0 なので,mask した位置の重みは 0 になり,行の和は 1 のままです.

②の次トークンの確率は,位置 t の logits oi(i は語彙の番号)から

pi=exp(oi/τ)∑jexp(oj/τ),pi′=pi∑j∈残る語pj

で作ります.順序は (1) logits を τ で割る,(2) softmax,(3) top-k:確率の大きい順に k 個を残す,(4) top-p:(3) で割り直した確率を大きい順に足し,累積が p 以上になった語まで残す,(5) 残った語の確率を和が 1 になるよう割り直す,です.greedy は最大の logits の語を選びます.サンプリングでは一様乱数 u を 1 つ引き,大きい順に確率を足して初めて u を超えた語を選びます.

モデルの順伝播(pre-LN):ht = WE[xt] + WP[t],各層で h ← h + MHA(LN(h))(MHA は multi-head attention),h ← h + FFN(LN(h)),最後に LN をかけて WET を掛けると logits です.位置 t の logits が xt+1 の分布を与えます.列の対数確率は,モデルそのもの(τ = 1)の確率で

lnp(xa:b∣x<a)=∑t=ablnp(xt∣x<t),perplexity=exp(−1nlnp)

と計算します(n はトークンの数).causal mask があるので,列全体を 1 回順伝播すれば全位置の確率が同時に出ます.

生成した文の判定は,学習データを作った表と 8 つの文の型に照らして行います:正しい(型に合い,表の値と一致),誤り(表と矛盾),学習データに根拠のない文(型には合うが,表にその材料のその性質の値が無い組み合わせ.たとえば高分子の結晶構造.学習データに一度も出てこない文),型に合わない文.文が「.」まで終わっていないものは未完として判定しません.

データと乱数の条件

  • ①の行列はすべて手で入れた値です(学習していません).既定は X = [[1, 0], [0, 1], [1, 1]],WQ = WK = WV = 単位行列(dk = dv = dmodel = 2).入力は −5〜5,T = 3〜5,dmodel = 2〜4 に制限しています.単位はありません.
  • ②のモデルの重みは,この教材のために PyTorch(CPU・float32)で学習したものを有効数字 7 桁で書き出した値です.学習データは教育用の合成コーパス(材料 27 種の表と文の型 8 種から機械的に作った文.乱数 seed 20261112)です.実在の文章ではありません.
  • サンプリングの乱数は seed つきの生成器(mulberry32)です.既定の seed は 20261112.同じ seed・同じ設定・同じ文脈からやり直すと,同じ列が生成されます.seed の操作と「やり直す」は,生成した部分を消して乱数を最初から作り直します.
  • 上限:文脈の長さは 24 トークン(モデルの文脈長)まで.生成は <eos> が出るか 24 トークンに達したら止まります.τ は 0.05〜3,top-k は 0(使わない)〜67,top-p は 0.05〜1(1 は使わない).

簡略化している点

  • ①は 1 ヘッドで,dk = dv = dmodel(W は正方行列),バイアスなし,出力の射影 WO なしです.
  • ②のモデルは語彙 67 語・文脈長 24 の非常に小さなモデルで,トークンは単語単位(空白区切り)です.実際の GPT はサブワードのトークン(第26章 26.2),はるかに多い層・次元・語彙を使い,学習データも違います.
  • 判定は 8 つの文の型に完全に一致する文だけを対象にしています.表の事実は室温・常圧・純物質での教科書的なものだけで,条件によって変わる性質は表に入れていません.
  • bigram モデルは直前の 1 トークンだけを数え上げた比較用のモデルです(加算スムージング α = 0.1).Transformer でも GPT でもありません.

結果が不安定になる条件

  • ①で入力の値を大きくすると(たとえば −5〜5 の端の値),スコアが大きくなって softmax が飽和し,重みがほぼ 0 と 1 になります.最大値を引いて計算するので数値はあふれませんが,学習では勾配が非常に小さくなります(第24章 24.4).
  • τ を 0.05 のように小さくすると分布は greedy とほぼ同じになり,3 のように大きくすると一様に近づいて型に合わない文が増えます.
  • 確率が僅差の文脈(例:「窒化ガリウム の 結晶構造 は」の上位 2 語は 0.244 と 0.226)では,seed を変えると正しい文と誤った文が入れ替わります.
  • NaN・無限大が出た場合(通常は起きません)は計算を止めて理由を表示します.

本文の対応節

操作後に答える短い問い

  1. ①の既定値で,1 行目の重みが (0.4011, 0.1978, 0.4011) になる理由を,スコアと exp の値から説明してください.causal mask をかけると 1 行目はどうなりますか.
    答えの例

    1 行目のスコアは q1 = (1, 0) と各 Key の内積 (1, 0, 1) を √2 で割った (0.7071, 0, 0.7071).exp を取ると (2.028, 1, 2.028),和 5.056 で割って (0.4011, 0.1978, 0.4011).1 列目と 3 列目は Key と Query の内積が同じなので同じ重みです.causal mask をかけると 1 行目は自分(j = 1)しか見られないので,重みは (1, 0, 0),出力は v1 = (1, 0) です.

  2. WQ を 3 倍にすると,√dk で割らない場合に 3 行目の重みはどれだけ偏りますか.割るとどうなりますか.
    答えの例

    3 行目のスコアは (3, 3, 6).割らないと重みは (0.0453, 0.0453, 0.9094) で,ほぼ 3 列目だけになります.√2 で割ると (2.121, 2.121, 4.243) で,重みは (0.0967, 0.0967, 0.8066).スコアを縮めるほど重みはなだらかになり,softmax の飽和(勾配が小さくなる)を避けられます.

  3. ②の「水銀 は 常温 で」で,モデルが「固体」を確率 0.998 で選ぶのはなぜですか.確率が高いことと正しいことは同じですか.
    答えの例

    学習データでは「〈金属〉 は 常温 で 固体 である .」が多く,水銀の文(液体)は 1 文しかありません.次トークン予測の損失は学習データで次に来やすい語の尤度を上げるだけなので,頻度の低い例外は多数派の値に引き寄せられます.文全体の ln p も,正しい「液体」の文 −17.68 より誤った「固体」の文 −9.57 の方が大きく,確率が高いことは正しいことを意味しません.

  4. 「金属 の 例 に は」で τ = 0.5 と τ = 2 の上位 3 語の確率はいくつですか.top-p = 0.9 で何語が残りますか.
    答えの例

    τ = 1 で 鉄 0.321,銅 0.288,アルミニウム 0.267.τ = 0.5 で 0.397,0.319,0.275(確率の比が 2 乗になり,大きい方に集まる),τ = 2 で 0.172,0.163,0.157(比が平方根になり,なだらかになる).top-p = 0.9(τ = 1)では 鉄・銅・アルミニウム・マグネシウムの 4 語が残り(累積 0.910),各確率を 0.910 で割り直します.

機械学習 — 確率から GPT まで(目次)へ戻る | 本文:第24章 24.3 節,第26章 26.6 節 | 数式はブラウザ標準の MathML で組んでいます(外部ライブラリ不使用).