2025

科目分類1 / Subject Categories
学部等 / Faculty	工芸科学部 / School of Science and Technology	今年度開講 / Availability	有 / Available
学域等 / Field	設計工学域 / Academic Field of Engineering Design	年次 / Year	２年次 / 2nd Year
課程等 / Program	電子システム工学課程・課程専門科目 / Specialized Subjects for Undergraduate Program of Electronics	学期 / Semester	前学期 / First term
分類 / Category	- / -	曜日時限 / Day & Period	火4 / Tue 4th
科目分類2 / Subject Categories
学部等 / Faculty	工芸科学部 / School of Science and Technology	今年度開講 / Availability	有 / Available
学域等 / Field	設計工学域 / Academic Field of Engineering Design	年次 / Year	２年次 / 2nd Year
課程等 / Program	情報工学課程・課程専門科目 / Specialized Subjects for Undergraduate Program of Information Science	学期 / Semester	前学期 / First term
分類 / Category	- / -	曜日時限 / Day & Period	火4 / Tue 4th

科目情報 / Course Information
時間割番号 / Timetable Number	12112401
科目番号 / Course Number	12160057
単位数 / Credits	2
授業形態 / Course Type	講義 / Lecture
クラス / Class	- / -
授業科目名 / Course Title	情報理論 / Information Theory
担当教員名 Instructor(s)	梅原　大祐、山本　高至
	UMEHARA Daisuke、YAMAMOTO Koji
その他 / Other	インターンシップ実施科目 Internship	国際科学技術コース提供科目 IGP	PBL実施科目 Project Based Learning	実務経験のある教員による科目 Practical Teacher
	-	-	-	-
	DX活用科目 ICT Usage in Learning	-	-	-
	-	-	-	-
科目ナンバリング / Numbering Code	-

授業の目的・概要 Objectives and Outline of the Course
情報理論は、デジタル通信システムやデータ記録システムにおける情報の符号化を確率論や代数学などの数学的理論で論じる学問である。この授業では、情報理論の基本的な概念である種々の情報量を定義し、データ圧縮の限界を与える情報源符号化定理と通信速度の限界を与える通信路符号化定理を示す。
Information theory is the science of information coding for digital communication and data storage systems using mathematics such as probability theory and algebra. In this course, we define a variety of information amounts which are the basic concepts of information theory, and show the source coding theorem for data compression and the channel coding theorem for reliable digital communications.

学習の到達目標 Learning Objectives
1．確率論の基礎を用いて様々な情報量を表現できる。 2．情報源符号化定理の意味を説明できる。 3．ハフマン符号と算術符号の符号化と復号を説明できる。 4．通信路符号化定理の意味を説明できる。 5．簡単な誤り訂正符号の符号化と復号を説明できる。
1．Represent a variety of information amounts using the basics of probability theory. 2．Describe the meaning of the source coding theorem. 3．Describe the coding and decoding for Huffman and arithmetic codes. 4．Describe the meaning of the channel coding theorem. 5．Describe the coding and decoding for simple error-correcting codes.

授業計画項目 / Course Plan
No.	項目 Topics	内容 Content	オンライン授業 online class
1.	情報理論とその問題	(A) 情報理論の歴史、目的、応用 (B) 情報理論における問題の提起、問題の設定、問題の発展
	Information Theory and Its Issues	(A) History, purpose, and applications of Information Theory (B) Rising issues, setting issues, and developing issues in Information Theory
2.	情報源と通信路のモデル	(A) 情報源のモデル、無記憶定常情報源、定常情報源とエルゴード情報源、マルコフ情報源 (B) 通信路のモデル、無記憶定常通信路、誤りによる2元通信路の表現、バースト誤り通信路
	Source and Channel Models	(A) Models of information sources, stationary memoryless sources, stationary and ergodic sources, Markov sources (B) Models of communication channels, stationary memoryless channels, binary channel representation with errors, burst error channel
3.	情報源符号化定理	エントロピー、ハフマン符号、ブロック符号化、情報源符号化定理
	Source Coding Theorem	Entropy, Huffman codes, block coding, source coding theorem
4.	基本的情報源符号化法	ハフマンブロック符号化法、非等長情報源系列の符号化、ランレングス符号化法
	Basic Source Coding	Huffman block coding, coding of unequal-length source sequences, run-length coding
5.	算術符号	情報源系列の累積確率、基本的算術符号化法、乗算が不要な算術符号化法
	Arithmetic codes	Cumulative probability of the source sequence, basic arithmetic coding, multiplication-free arithmetic coding
6.	ユニバーサル符号化法	典型系列の数とエントロピー、数え上げ符号化法、適応符号化法、辞書法
	Universal Coding	Number of typical sequences and entropy, counting coding, adaptive coding, dictionary coding
7.	情報量とひずみ	エントロピー、相互情報量、相対エントロピー、ひずみが許される場合の情報源符号化
	Information and Distortion	Entropy, mutual information, relative entropy, source coding permitting distortion
8.	誤り検出符号と誤り訂正符号1	単一パリティ検査符号
	Error-detecting and Error-correcting Codes 1	Parity check code
9.	誤り検出符号と誤り訂正符号2	ハミング符号, 誤り訂正能力
	Error-detecting and Error-correcting Codes 2	Hamming code, error-correcting capability
10.	誤り検出符号と誤り訂正符号3	巡回符号, ガロア体
	Error-detecting and Error-correcting Codes 3	Cyclic code, Galois field
11.	誤り検出符号と誤り訂正符号4	拡大体
	Error-detecting and Error-correcting Codes 4	Extension field
12.	誤り検出符号と誤り訂正符号5	BCH符号
	Error-detecting and Error-correcting Codes 5	BCH code
13.	通信路符号化定理1	情報量, 相互情報量
	Channel Coding Theorem 1	Entropy, mutual information
14.	通信路符号化定理2	通信路容量, 通信路符号化定理
	Channel Coding Theorem 2	Channel capacity, channel coding theorem
15.	通信路符号化のまとめ	誤り訂正符号、通信路符号化定理の復習
	Summary of Channel Coding	Review of error-correcting codes and channel coding theorem, feedback

履修条件 Prerequisite(s)
基礎的な確率論と線形代数の知識があること、統計数理を同時に受講することが望ましい。
It is desirable that students have the fundamental knowledge of probability theory and linear algebra, and simultaneously enroll in Mathematical Statistics.

授業時間外学習（予習・復習等） Required study time, Preparation and review
各講義に対して、予習1時間と復習2時間の学習時間が必要である。 本学では1単位当たりの学修時間を45時間としています。毎回の授業にあわせて事前学修・事後学修を行ってください。
Each lecture requires 1 hour of preparation and 2 hours of review. Please note that KIT requires 45 hours of study from students to award one credit, including both in-class instructions as well as study outside classes. Students are required to prepare for each class and complete the review after each class.

教科書／参考書 Textbooks/Reference Books
教科書「情報理論（改訂2版）」（今井秀樹著, オーム社） 参考書「情報理論の考え方」（植松友彦著， 講談社） 参考書「情報理論 基礎と広がり」（T. M. Cover, J. A. Thomas 著， 共立出版）
Textbook: H. Imai, Information Theory, 2nd Ed., Ohmsha Ltd., 2019. (in Japanese) Reference book: T. Uyematsu, An Illustrated Guide to Viewpoint of Information Theory, Kodansha Ltd., 2012. (in Japanese) Reference book: T. M. Cover and J. A. Thomas, Elements of Information Theory, 2nd Edition, Wiley-Interscience, 2006.

成績評価の方法及び基準 Grading Policy
中間レポートの結果を40%、学期末試験の結果を60%として評価する。その合計点が100点中60点以上を合格とする。
The grade will be weighted by the mid-term report 40% and the final exam 60%. The passing score will be 60 or more points out of 100 points.

留意事項等 Point to consider
-
-