[評價] 104-1 王奕翔 消息理論
※ 本文是否可提供臺大同學轉作其他非營利用途？（須保留原作者 ID）
（是／否／其他條件）：是
哪一學年度修課：104-1
ψ 授課教師 (若為多人合授請寫開課教師，以方便收錄)
王奕翔
λ 開課系所與授課對象 (是否為必修或通識課 / 內容是否與某些背景相關)
電信所、電機系選修
δ 課程大概內容
詳情參照老師的課程網頁:
http://homepage.ntu.edu.tw/~ihwang/Teaching/Fa15/IT.html
先從如何定義一個機率分布的亂度開始，說明:
information reduces uncertainty
再切入通訊最核心的Source Coding、Channel Coding的證明:
Source Coding 的 minimum compression ratio = entropy of the source
Channel Coding 的 maximum transmission rate= capacity of the channel
接下來討論容許一定範圍的distortion之下，Source Coding將如何變化
(若能容許越大的distortion，則compression ratio可以變得越小)
最後將主題岔開至Statistics，
說明Large Deviation Theory的基本概念
(rare event的機率會隨sample數增加而exponentially decay)
還有Hypothesis testing
(error probability 會隨sample數增加而exponentially decay)
期末時介紹special topics，
一種真的能達到channel capacity的coding: polar code
另外為了證明這些理論，也會學一些數學工具，
例如stationary random process
typical set(high probability set for soruce coding)，
convex optimization--kkt condition(拉格朗日乘數的進化版)
method of types(證明large deviation theory的)
...還有很多XD
Ω 私心推薦指數(以五分計) ★★★★★
願意砸時間讀且有興趣: 爆表
願意砸時間讀但興趣不大: 四顆
不願意(or真的沒空)砸時間讀: 兩顆
總之這是一門需要砸時間的課XD
η 上課用書(影印講義或是指定教科書)
主要:
T. Cover and J. Thomas, Elements of Information Theory, 2nd Edition
次要:(Polar Coding)
S. M. Moser, Information Theory (Lecture Notes), 4th edition, ISI Lab
雖然老師還有列其他本書，但我真的有用到的就這兩本
μ 上課方式(投影片、團體討論、老師教學風格)
老師投影片+板書講課
σ 評分方式(給分甜嗎？是紮實分？)
作業35%、期中30%、期末35%，
紮實，不甜不苦，純靠努力&考試運氣~
ρ 考題型式、作業方式
作業的證明題居多，很難，有時候能在網路上找到解法，但就算找到也要
費時間才看得懂XD
考試會多一點比較不理論性的計算，例如帶特定一種機率分布去算算看，
或是出一些通訊應用的(沒修過通原就GG ler)
ω 其它(是否注重出席率？如果為外系選修，需先有什麼基礎較好嗎？老師個性？
加簽習慣？嚴禁遲到等…)
加簽好像是先簽大學部...吧(? 就是簽到接近教室容量這樣
不管出席
有修過機率就可以來修了，沒有通原應該沒關係，頂多對通訊比較沒fu而已。
Ψ 總結
本來就對Information Theory有點興趣，因為想知道entropy是什麼，
其實上到最後還是對Source Coding & Channel Coding沒啥感覺，
因為就只是當做學它們的證明而已，
而在證明的過程中會利用到的數學技巧，其實都還滿有趣的，
講Statistics時滿難的，但它的結果很漂亮很有感覺。
所以這門課就是用硬的方式灌輸各種跟機率有關的數學證明~
講起來雖然有點枯燥，但老師盡量把它用直覺性地闡述清楚，
若有不懂的，下課or office hour時問老師，老師都會講清楚，
常常在作業deadline前才跟老師求救XD
歐對了，老師今年用英文上課，講得跟中文一樣清楚，超猛der
老師是強者，對機率與統計有興趣的一定要來修喔!
--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 36.228.231.14
※ 文章網址: https://www.ptt.cc/bbs/NTUcourse/M.1457197236.A.BBB.html
推
03/06 11:14, , 1F
03/06 11:14, 1F
※ 編輯: sunhextfn (140.112.243.92), 03/06/2016 16:01:55
推
03/07 17:39, , 2F
03/07 17:39, 2F
推
03/10 23:58, , 3F
03/10 23:58, 3F
推
06/21 19:20, , 4F
06/21 19:20, 4F