機械学習— 確率から GPT まで —
本書は,機械学習の考え方を,確率の初歩から大規模言語モデル GPT の仕組みまで,一続きの道筋として学ぶための教材である. 回帰・分類・確率分布の推定・潜在表現・生成という機械学習の仕事について,代表的な手法ごとに何を仮定し,何を最適化し,何を予測しているのかを, 式の導出と手で追える数値例で確かめながら進む.
想定する読者は,材料工学を専門とする学部生,研究室で機械学習を使い始める学生,独学する研究者,そして数学を補いながら読み進めたい一般の読者である. 前提は高校から大学初年の微積分・線形代数・確率の初歩だけで,統計力学は前提にしない.足りない数学は姉妹編「大学数学」, 統計力学との関係は「大学基礎物理学」第VII部の該当節へのリンクで補える.
章立ては,確率と推定(第I部)から始め,学習を成り立たせる基礎(第II部),回帰・分類・カーネル法とガウス過程・ベイズ最適化(第III部), ニューラルネットワーク(第IV部),潜在変数とグラフィカルモデル(第V部),近似推論とサンプリング(第VI部)を経て, 系列データから Attention,Transformer,GPT へ至る(第VII部).最後に,材料科学・統計力学との接点と,材料探索の総合演習(第VIII部)を置いた. どの章にも,材料の具体的な問題を本文の式に対応づけて考える節と,誤解しやすい点と適用限界を述べる節がある.
中心となる参考書は C. M. Bishop の Pattern Recognition and Machine Learning(2006)であるが,本書はその翻訳・要約ではない. 説明の運び・図・例題・演習・数値はすべて独自に作り,各章で参照した原著論文や教科書は章末に挙げた.
- 入門ルート:機械学習から生成 AI までの仕組みを最短でつかむ読み方.各章の冒頭に「入門ルートで読む節」を示した(この目次にも章ごとに示す). その節だけを読めば,第1章から第26章(GPT)まで前提が途切れないように書いてある.背骨となる章は 1 → 2 → 3 → 4 → 5 → 6 → 7 → 8 → 9 → 13(13.1〜13.3.ベイズ最適化の考え方)→ 14 → 15 → 22 → 23 → 24 → 25 → 26 である.
- 詳しいルート:すべての節を読む.推定・推論・材料探索まで数式を追う.入門ルートに含まれない節には,見出しの右に「詳しいルート」の札を付けた.
- どちらのルートでも,章末の「まとめ・次章への接続」と演習問題は読んでほしい(詳しいルートの節を題材にした問いは,入門ルートでは後回しにしてよい).演習問題の解答は付録C にある.
- 多くの章に,ブラウザーの中で動くシミュレーターを埋め込んだ.本文の囲みに操作の手順・観察する点・対応する式番号・操作後の問いを書いてあるので,式と計算結果を見比べながら手を動かしてほしい.大きな画面で使いたいときは「別ウィンドウで大きく開く」から開ける.
- シミュレーターの乱数は seed を指定して再現できる.何を計算しているか,入力の範囲,簡略化している点は付録D にまとめた.
- 図・例題・シミュレーターで使うデータの多くは,生成式と乱数の seed を明記した教育用の合成データである(「焼成温度と相対密度」「架空の混晶のバンドギャップ」「添加量とイオン伝導度」など).実在の物質の測定値ではない.
- 記号と用語は付録B で引ける.行列の微分や特異値分解など,本文で使う数学の補足は付録A にある.
シミュレーター一覧
本文の囲み「シミュレーター」に埋め込んだ装置の一覧である.どれもブラウザーの中だけで計算し,外部と通信しない. 乱数は seed を指定して再現できる.計算の式・入力の範囲・簡略化・数値を確かめた方法は付録D にまとめる.
| 番号 | 装置 | 対応する章 |
|---|---|---|
| S01 | 確率分布 | 第3章 |
| S02 | ベイズ更新 | 第4章 |
| S03 | 回帰と過学習 | 第6章,第8章 |
| S04 | 分類とカーネル | 第9章,第10章,第11章 |
| S05 | ニューラルネットワーク | 第14章,第15章 |
| S06 | ガウス過程とベイズ最適化 | 第12章,第13章 |
| S07 | 潜在変数(k-means・EM 法・PCA) | 第17章,第18章 |
| S08 | 近似推論と MCMC | 第20章,第21章 |
| S09 | 系列モデル(隠れ Markov モデル・Kalman フィルター) | 第22章 |
| S10 | Attention と次トークン生成 | 第24章,第25章,第26章 |
中心となる参考書
- C. M. Bishop, Pattern Recognition and Machine Learning, Springer (2006).
- C. E. Rasmussen & C. K. I. Williams, Gaussian Processes for Machine Learning, MIT Press (2006).
本書はこれらの本の翻訳・要約ではない.説明の運び・図・例題・演習・数値はすべて独自に作った.各章で参照した文献は章末に挙げる.
東京理科大学 先進工学部 マテリアル創成工学科 望月研究室 発展教材 AD 04
← 教育コンテンツ(EDUCATION)に戻る