機械学習 — 目次 発展教材 AD 04 全28章+付録4つ

機械学習— 確率から GPT まで —

本書は,機械学習の考え方を,確率の初歩から大規模言語モデル GPT の仕組みまで,一続きの道筋として学ぶための教材である. 回帰・分類・確率分布の推定・潜在表現・生成という機械学習の仕事について,代表的な手法ごとに何を仮定し,何を最適化し,何を予測しているのかを, 式の導出と手で追える数値例で確かめながら進む.

想定する読者は,材料工学を専門とする学部生,研究室で機械学習を使い始める学生,独学する研究者,そして数学を補いながら読み進めたい一般の読者である. 前提は高校から大学初年の微積分・線形代数・確率の初歩だけで,統計力学は前提にしない.足りない数学は姉妹編「大学数学」, 統計力学との関係は「大学基礎物理学」第VII部の該当節へのリンクで補える.

章立ては,確率と推定(第I部)から始め,学習を成り立たせる基礎(第II部),回帰・分類・カーネル法とガウス過程・ベイズ最適化(第III部), ニューラルネットワーク(第IV部),潜在変数とグラフィカルモデル(第V部),近似推論とサンプリング(第VI部)を経て, 系列データから Attention,Transformer,GPT へ至る(第VII部).最後に,材料科学・統計力学との接点と,材料探索の総合演習(第VIII部)を置いた. どの章にも,材料の具体的な問題を本文の式に対応づけて考える節と,誤解しやすい点と適用限界を述べる節がある.

中心となる参考書は C. M. Bishop の Pattern Recognition and Machine Learning(2006)であるが,本書はその翻訳・要約ではない. 説明の運び・図・例題・演習・数値はすべて独自に作り,各章で参照した原著論文や教科書は章末に挙げた.

二つの読み方
  • 入門ルート:機械学習から生成 AI までの仕組みを最短でつかむ読み方.各章の冒頭に「入門ルートで読む節」を示した(この目次にも章ごとに示す). その節だけを読めば,第1章から第26章(GPT)まで前提が途切れないように書いてある.背骨となる章は 1 → 2 → 3 → 4 → 5 → 6 → 7 → 8 → 9 → 13(13.1〜13.3.ベイズ最適化の考え方)→ 14 → 15 → 22 → 23 → 24 → 25 → 26 である.
  • 詳しいルート:すべての節を読む.推定・推論・材料探索まで数式を追う.入門ルートに含まれない節には,見出しの右に「詳しいルート」の札を付けた.
  • どちらのルートでも,章末の「まとめ・次章への接続」と演習問題は読んでほしい(詳しいルートの節を題材にした問いは,入門ルートでは後回しにしてよい).演習問題の解答は付録C にある.
シミュレーターと合成データ
  • 多くの章に,ブラウザーの中で動くシミュレーターを埋め込んだ.本文の囲みに操作の手順・観察する点・対応する式番号・操作後の問いを書いてあるので,式と計算結果を見比べながら手を動かしてほしい.大きな画面で使いたいときは「別ウィンドウで大きく開く」から開ける.
  • シミュレーターの乱数は seed を指定して再現できる.何を計算しているか,入力の範囲,簡略化している点は付録D にまとめた.
  • 図・例題・シミュレーターで使うデータの多くは,生成式と乱数の seed を明記した教育用の合成データである(「焼成温度と相対密度」「架空の混晶のバンドギャップ」「添加量とイオン伝導度」など).実在の物質の測定値ではない.
  • 記号と用語は付録B で引ける.行列の微分や特異値分解など,本文で使う数学の補足は付録A にある.

シミュレーター一覧

本文の囲み「シミュレーター」に埋め込んだ装置の一覧である.どれもブラウザーの中だけで計算し,外部と通信しない. 乱数は seed を指定して再現できる.計算の式・入力の範囲・簡略化・数値を確かめた方法は付録D にまとめる.

表 本書のシミュレーター
番号装置対応する章
S01確率分布第3章
S02ベイズ更新第4章
S03回帰と過学習第6章,第8章
S04分類とカーネル第9章,第10章,第11章
S05ニューラルネットワーク第14章,第15章
S06ガウス過程とベイズ最適化第12章,第13章
S07潜在変数(k-means・EM 法・PCA)第17章,第18章
S08近似推論と MCMC第20章,第21章
S09系列モデル(隠れ Markov モデル・Kalman フィルター)第22章
S10Attention と次トークン生成第24章,第25章,第26章

中心となる参考書

本書はこれらの本の翻訳・要約ではない.説明の運び・図・例題・演習・数値はすべて独自に作った.各章で参照した文献は章末に挙げる.

東京理科大学 先進工学部 マテリアル創成工学科 望月研究室 発展教材 AD 04
← 教育コンテンツ(EDUCATION)に戻る