①では,手で設定した小さな行列で Q,K,V → スコア → mask → softmax の重み → 出力,を数値で追い,√dk で割る意味と causal mask の効き方を確かめます.②では,この教材のために学習した小さな Transformer をブラウザの中で動かし,次のトークンの確率,temperature・top-k・top-p による分布の変化,生成した文が正しいかどうかを確かめます.確率が高い文がいつも正しいとは限らないことも見てください.
softmax の重み A(各行 = 各 Query.Key の方向に和が 1)
A = softmax(QKT/√dk + M).出力は Z = AV です.
重みは手で設定した値です.学習したモデルではありません.行列の値は下の欄で変えられます(−5〜5).
この教材のために学習した小規模なモデル(パラメーター 28,384 個.GPT ではありません).学習データは教育用の合成コーパスです.計算はすべてこのブラウザの中で行っています.
文脈と次のトークンの分布
注意:重みは情報を集める割合であり,モデルの判断理由とは限りません(第24章 24.10).
| 型 | decoder のみの Transformer(pre-LN) |
|---|---|
| 語彙 Vvoc(単語単位) | 67 |
| dmodel / nhead / dk | 32 / 2 / 16 |
| nlayer / 文脈長 Tmax | 2 / 24 |
| FFN の中間の次元 | 128(GELU) |
| 位置の情報 | 学習する位置埋め込み WP |
| 出力 | 重み共有 WU = WET |
| パラメーター数 | 28,384 |
| うち 1 層の Attention / FFN | 4,224 / 8,352 |
学習データ:教育用の合成コーパス.材料 27 種の表(分類・電気・熱・結晶構造・磁石・常温の状態.大学初年の教科書的な事実だけ)と文の型 8 種から機械的に作った短い文で,実在の文章は使っていません.材料ごとに文の数を変えています(多い 6 種:各 1000 文,中 8 種:各 100 文,少ない 13 種:各 8 文).訓練 6211 文(56476 トークン),検証 693 文.
学習の条件:次トークン予測の交差エントロピー.AdamW,学習率 3×10⁻³(warmup のあと cosine),ミニバッチ 32 行 × 24 トークン,1500 ステップ(訓練データの約 20 周),seed 1.CPU・float32 で 14 s.
| 検証の損失(nat/トークン)/ perplexity | 0.501 / 1.65 |
|---|---|
| bigram モデルの perplexity(比較) | 2.52 |
| 「〈材料〉 は …」での上位 1 位の正答率:多い / 中 / 少ない | 33/33 / 44/44 / 62/67 |
| 材料を指定した τ = 1 の生成での誤りの割合:多い / 中 / 少ない | 0.8 % / 1.3 % / 9.0 % |
誤りの割合などは,この小さなモデルとこの合成コーパスでの実測値です.実際の GPT の誤りの割合ではありません.
キーボードでは Tab でボタン・数値欄・スライダーへ移り,Enter(または Space)で押し,矢印キーで数値やスライダーを動かせます.タブは ←→ で切り替えられます.
系列を行に並べます(X ∈ ℝT×dmodel の第 t 行が位置 t のベクトル.線形変換は右から掛ける).
softmax は各行(各 Query)について列(Key)の方向に取ります.行 i の重みと出力は
です(causal mask がオフなら M = 0).softmax は各行の最大値を引いてから exp を取ります(値は同じで,桁あふれしません).exp(−∞) = 0 なので,mask した位置の重みは 0 になり,行の和は 1 のままです.
②の次トークンの確率は,位置 t の logits oi(i は語彙の番号)から
で作ります.順序は (1) logits を τ で割る,(2) softmax,(3) top-k:確率の大きい順に k 個を残す,(4) top-p:(3) で割り直した確率を大きい順に足し,累積が p 以上になった語まで残す,(5) 残った語の確率を和が 1 になるよう割り直す,です.greedy は最大の logits の語を選びます.サンプリングでは一様乱数 u を 1 つ引き,大きい順に確率を足して初めて u を超えた語を選びます.
モデルの順伝播(pre-LN):ht = WE[xt] + WP[t],各層で h ← h + MHA(LN(h))(MHA は multi-head attention),h ← h + FFN(LN(h)),最後に LN をかけて WET を掛けると logits です.位置 t の logits が xt+1 の分布を与えます.列の対数確率は,モデルそのもの(τ = 1)の確率で
と計算します(n はトークンの数).causal mask があるので,列全体を 1 回順伝播すれば全位置の確率が同時に出ます.
生成した文の判定は,学習データを作った表と 8 つの文の型に照らして行います:正しい(型に合い,表の値と一致),誤り(表と矛盾),学習データに根拠のない文(型には合うが,表にその材料のその性質の値が無い組み合わせ.たとえば高分子の結晶構造.学習データに一度も出てこない文),型に合わない文.文が「.」まで終わっていないものは未完として判定しません.
<eos> が出るか 24 トークンに達したら止まります.τ は 0.05〜3,top-k は 0(使わない)〜67,top-p は 0.05〜1(1 は使わない).1 行目のスコアは q1 = (1, 0) と各 Key の内積 (1, 0, 1) を √2 で割った (0.7071, 0, 0.7071).exp を取ると (2.028, 1, 2.028),和 5.056 で割って (0.4011, 0.1978, 0.4011).1 列目と 3 列目は Key と Query の内積が同じなので同じ重みです.causal mask をかけると 1 行目は自分(j = 1)しか見られないので,重みは (1, 0, 0),出力は v1 = (1, 0) です.
3 行目のスコアは (3, 3, 6).割らないと重みは (0.0453, 0.0453, 0.9094) で,ほぼ 3 列目だけになります.√2 で割ると (2.121, 2.121, 4.243) で,重みは (0.0967, 0.0967, 0.8066).スコアを縮めるほど重みはなだらかになり,softmax の飽和(勾配が小さくなる)を避けられます.
学習データでは「〈金属〉 は 常温 で 固体 である .」が多く,水銀の文(液体)は 1 文しかありません.次トークン予測の損失は学習データで次に来やすい語の尤度を上げるだけなので,頻度の低い例外は多数派の値に引き寄せられます.文全体の ln p も,正しい「液体」の文 −17.68 より誤った「固体」の文 −9.57 の方が大きく,確率が高いことは正しいことを意味しません.
τ = 1 で 鉄 0.321,銅 0.288,アルミニウム 0.267.τ = 0.5 で 0.397,0.319,0.275(確率の比が 2 乗になり,大きい方に集まる),τ = 2 で 0.172,0.163,0.157(比が平方根になり,なだらかになる).top-p = 0.9(τ = 1)では 鉄・銅・アルミニウム・マグネシウムの 4 語が残り(累積 0.910),各確率を 0.910 で割り直します.
機械学習 — 確率から GPT まで(目次)へ戻る | 本文:第24章 24.3 節,第26章 26.6 節 | 数式はブラウザ標準の MathML で組んでいます(外部ライブラリ不使用).