假設X是一個連續隨機變數, 有pdf f_x(x)
differential entropy of X 定義為 h(X) = -\int f_x(x) \log f_x(x) dx
如果Y = g(X) 且 g是一個 bijection,
簡單的change of variable, 可以得到
f_y(y) = f_x(x)/|J|, where J is the Jacobian of g
differential entropy of Y:
h(Y) = -\int f_y(y) \log f_y(y) dy
= -\int (f_x(x)/|J|) \log (f_x(x)/|J|) |J|dx
= h(X) + \int f_x(x) \log |J| dx
我的第一個問題是: 假設g不是bijection, 但是dim(X)=dim(Y),
Wikipedia的內容說 (wikipedia link http://tinyurl.com/hhjrv86 )
h(Y) <= h(X) + \int f_x(x) \log |J| dx
底下的reference看不到關於這個inequality的內容！
我想請問板上先進有沒有如何導出不等號的想法？
第二個問題是: 假設g不是bijection, 甚至dim(Y)≠dim(X),
有一般的方法可以推導h(Y)或是推導upper bound嗎？
謝謝
--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 76.95.35.87
※ 文章網址: https://www.ptt.cc/bbs/Math/M.1460846056.A.DF3.html
※ 編輯: emind (76.95.35.87), 04/17/2016 06:41:43