[問題] mutual information的物理意義?

看板Statistics作者 (索尼克)時間17年前 (2008/12/09 11:16), 編輯推噓5(5推 0噓 11→)
留言16則, 4人參與, 7年前最新討論串1/1
各位好,小弟最近在看一個有關mutual information應用的文章,裡面定義mutual information為: P(x,y) I(X,Y)= - Σ P(x,y)log(-----------) ...(1) x,yEAx,Ay P(x)P(y) I(X,Y)=H(X)+H(Y)-H(X,Y) ...(2) I(X,Y)=H(X)-H(X|Y) ...(3) 無奈卻百思不得 mutual information 的物理意義(為什麼要這樣定義?) 由文章的內容看來只知道它能判斷某兩個資料(文章內用的是影像)的相關程度 (dependecy) 可以請知道的人麻煩給我一點方針或是指點嗎,謝謝. -- ※ 發信站: 批踢踢實業坊(ptt.cc) ◆ From: 134.208.3.194
推
12/09 11:31, , 1F
H的定義是?
12/09 11:31, 1F
推
12/09 11:35, , 2F
indep.時取log = 0 => information=0
12/09 11:35, 2F
→
12/09 11:47, , 3F
你好,是entropy. H(X)=-ΣP(x)logP(x)
12/09 11:47, 3F
→
12/09 11:48, , 4F
sigma下為 x E Ax ... 註:E 是屬於
12/09 11:48, 4F
推
12/09 12:10, , 5F
=== 請查 information theory的書................... ===
12/09 12:10, 5F
→
12/09 12:10, , 6F
=== 這不太算統計學的範疇, 雖然統計界有人拿來用.... ===
12/09 12:10, 6F
→
12/09 12:13, , 7F
=== 你可以以 Shannon entropy等關鍵字去查詢........ ===
12/09 12:13, 7F
→
12/09 12:14, , 8F
=== http://0rz.tw/9d2sV 這裡有從數學的角度的解釋 ===
12/09 12:14, 8F
→
12/09 12:25, , 9F
感謝樓上兩位的回答,最主要我是兜不太起來為什麼它可以用來
12/09 12:25, 9F
→
12/09 12:26, , 10F
表示兩組資料的相關度(or相依度)
12/09 12:26, 10F
推
12/09 14:27, , 11F
12/09 14:27, 11F
→
12/09 14:28, , 12F
=== 這有一本online的information theory的書, 看看吧 ===
12/09 14:28, 12F
→
12/09 14:44, , 13F
收下了,感謝j大
12/09 14:44, 13F
推
12/10 07:24, , 14F
真是便宜又大碗
12/10 07:24, 14F
→
11/09 14:36, , 15F
//0rz.tw/9d https://daxiv.com
11/09 14:36, 15F
→
01/02 14:47, 7年前 , 16F
//0rz.tw/9d http://yofuk.com
01/02 14:47, 16F
‣ 更多 sonico 的文章
文章代碼(AID): #19FUC4Bb (Statistics)