2024年度学院等開講科目情報理工学院数理・計算科学系

情報理論

開講元: 数理・計算科学系
担当教員: 髙邉賢史
授業形態: 講義 (対面型)
メディア利用科目: -
曜日・時限 (講義室): 火1-2 (S2-201(S224)) / 金1-2 (S2-201(S224))
クラス: -
科目コード: MCS.T333
単位数: 200
開講時期: 2024年度
開講クォーター: 3Q
シラバス更新日: 2025年3月14日
使用言語: 日本語

シラバス

授業の目的（ねらい）、概要

我々が日常的に触れる「情報」は常に実体があるものとは限りません．一方で，情報理論では情報を定量化することで数学的に情報を扱うことが可能です．さらに，情報理論はエントロピーや相互情報量を用いてデータの圧縮や伝送に関する数学的な達成限界を示すことができます．これにより情報理論は現代の情報処理・通信技術に多大な影響を与えてきました．
本講義では情報理論の基本的な３つのポイント (1) エントロピー等の基本概念，(2) データ圧縮に関わる情報源符号化， (3) データ伝送に関わる通信路符号化を習得し，現在の情報通信技術との関わりを理解することをねらいとします．

到達目標

以下の3つの概念を理解し，情報の数学的な取り扱いができるようになること：
(1) エントロピーや相互情報量といった情報の定量化
(2) データ圧縮に関わる情報源符号化
(3) データ伝送に関わる通信路符号化

キーワード

自己情報量，エントロピー，相互情報量，情報源符号化，通信路符号化

学生が身につける力

専門力
教養力
コミュニケーション力
展開力 (探究力又は設定力)
展開力 (実践力又は解決力)

授業の進め方

スライドに沿って各概念や定理，その証明を学びます．適宜例題を使った演習も行います．

授業計画・課題

	授業計画	課題
第1回	情報理論とは	情報理論の概要や通信システムのモデルについて学ぶ．
第2回	エントロピーとその性質	エントロピーと種々の関係式について理解する．
第3回	相互情報量	相互情報量とKLダイバージェンスについて学ぶ．
第4回	マルコフ連鎖とエントロピーレート	マルコフ連鎖とそれに関連するエントロピーレートについて学ぶ．
第5回	情報源符号化の方法	データ圧縮のための情報源符号化の基礎概念を学ぶ．
第6回	情報源符号化定理	データ圧縮の数学的達成限界である情報源符号化定理を理解する．
第7回	ハフマン符号	情報源符号化の例としてハフマン符号について学ぶ．
第8回	通信路と容量	データ伝送をモデル化した通信路とその容量について学ぶ．
第9回	通信路符号化定理	データ伝送の数学的達成限界である通信路符号化定理の概念を理解する．
第10回	典型系列と通信路符号化定理の証明	典型系列の概念に基づき通信路符号化定理の証明を理解する．
第11回	線形符号	誤り訂正符号の基礎である線形符号について学ぶ．
第12回	最尤復号法	線形復号法の復号法である最尤復号法について学ぶ．
第13回	連続量の情報理論	連続確率変数のための情報理論について学ぶ．
第14回	まとめと展望	これまでに学習したことをまとめ，さらに進んだ情報理論の概要を学ぶ．

準備学修(事前学修・復習)等についての指示

教科書や配布資料等の該当箇所を参照し，毎回授業内容に関する予習と復習（課題含む）をそれぞれ概ね100分を目安に行うこと。

教科書

授業内容のスライドを配布予定です．

参考書、講義資料等

井上純一著『ビギナーズガイド情報理論』プレアデス出版 ISBN: 978-4-903814-17-9
Thomas M. Cover, Joy A. Thomas 著／山本博資，古賀弘樹，有村光晴，岩本貢訳『情報理論基礎と広がり』共立出版 ISBN: 978-4-320-12300-7

成績評価の方法及び基準

情報量概念の考え方，計算法及び情報源符号化，通信路符号化などそれらの応用に関する理解度をレポートにもとづき評価する．

履修の条件・注意事項

確率基礎論，数理統計学を履修していること．または，同等の知識を有していること．