2024年度学院等開講科目情報理工学院数理・計算科学系数理・計算科学コース

統計的学習理論

開講元: 数理・計算科学コース
担当教員: 金森敬文
授業形態: 講義 (対面型)
メディア利用科目: -
曜日・時限 (講義室): 火7-8 (M-155(H1104)) / 金7-8 (M-155(H1104))
クラス: -
科目コード: MCS.T403
単位数: 200
開講時期: 2024年度
開講クォーター: 1Q
シラバス更新日: 2025年3月14日
使用言語: 英語

シラバス

授業の目的（ねらい）、概要

統計学と機械学習の理論に関する発展的話題を学ぶ．具体的には，カーネル法と呼ばれるノンパラメトリック学習の方法，学習誤差・予測誤差の統計的性質，ラデマッハ複雑度による予測誤差の評価法，ニューラルネットワークモデルの普遍近似定理などを理解する．

到達目標

【到達目標】統計学や機械学習は，データから有用な情報を引き出し，予測や意思決定に役立てる研究分野である．講義では，方法論を知識として得るだけでなく，それら手法の正当性など背景となる理論を学ぶ．広く様々な問題に各種手法を適用し，また自ら新しい手法を構築できるようになることが到達目標である．
【テーマ】講義では，統計学の発展的な手法を，様々な応用分野との関連を踏まえながら学ぶ．特に機械学習との関連を重視し，統計学・機械学習の双方で中心的な話題を紹介する．

キーワード

機械学習，統計学，カーネル法，スプライン法，予測誤差，ラデマッハ複雑度，統計的一致性，ニューラルネットワーク，普遍近似定理，確率勾配降下法

学生が身につける力

専門力
教養力
コミュニケーション力
展開力 (探究力又は設定力)
展開力 (実践力又は解決力)

授業の進め方

スライドを用いて講義を進める．授業中，受講生はクイズを解くためにT2SCHOLAにアクセスする必要があります．ノートパソコン、タブレット等をご持参ください．

授業計画・課題

	授業計画	課題
第1回	統計的学習の概観，回帰分析	機械学習の問題設定を例を通して概観する．回帰分析の問題設定を学ぶ．
第2回	回帰分析	カーネル回帰分析における統計的モデリングを学ぶ．
第3回	回帰分析，カーネル法	回帰分析の交差検証法を学ぶ．カーネル法による統計的推定を学ぶ．
第4回	カーネル法の理論：再生性，表現定理など	カーネル法による統計的方法で用いられる再生性，表現定理などを理解する．
第5回	カーネル法と再生核ヒルベルト空間	カーネル関数から定義される再生核ヒルベルト空間の性質を理解する．
第6回	スプライン平滑化とカーネル法	ノンパラメトリック法であるスプライン平滑化とカーネル法の関連を学ぶ．
第7回	スプライン平滑化とカーネル法	B-スプライン法，多次元スプライン回帰などを学ぶ
第8回	機械学習における確率不等式	機械学習の理論で用いられる確率不等式を理解する．
第9回	統計的学習理論の基礎	統計的学習理論の問題設定を理解する．
第10回	予測誤差とモデル選択	予測誤差とモデル選択．統計的学習における予測誤差とモデル選択の方法を学ぶ．
第11回	ラデマッハ複雑度	統計モデルの複雑度を測るラデマッハ複雑度について学ぶ．
第12回	一様大数の法則と学習アルゴリズムの統計的一致性	大数の法則の拡張である一様大数の法則を学び，学習アルゴリズムの統計的一致性を証明する．
第13回	ニューラルネットワークモデル，普遍近似定理	ニューラルネットワークモデルを理解し，普遍近似定理を学ぶ．
第14回	深層学習モデルとBスプライン	深層モデルと B-spline の関係を理解する．

準備学修(事前学修・復習)等についての指示

学習効果を上げるため，配布資料等の該当箇所を参照し，「毎授業」授業内容に関する予習と復習（課題含む）をそれぞれ概ね100分を目安に行うこと。

教科書

特になし

参考書、講義資料等

T2SCHOLAにて講義資料を配布する．
参考書：
Mehryar Mohri, Afshin Rostamizadeh, and Ameet Talwalkar, Foundations of Machine Learning, MIT Press, Second Edition, 2018.
Shai Shalev-Shwartz and Shai Ben-David, Understanding Machine Learning: From Theory to Algorithms, Cambridge University Press, 2014.

成績評価の方法及び基準

授業内での小テストとレポート提出にもとづいて評価する

履修の条件・注意事項

統計および確率論の基礎を知っていることが望ましい．