[分析] KL散度推導一問

看板Math作者 (QQ)時間5年前 (2019/01/19 02:47), 編輯推噓1(1推 0噓 13→)
留言14則, 3人參與, 5年前最新討論串1/1
想請問一下這個推導怎麼證明 https://imgur.com/rGLt19S
套了一些實變的轉換式都換不出來QQ 謝謝幫忙~ -- ※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 219.68.160.241 ※ 文章網址: https://www.ptt.cc/bbs/Math/M.1547837256.A.54D.html
→
01/19 03:51, 5年前 , 1F
dP想成 p(x)dx , dQ想成 q(x)dx
01/19 03:51, 1F
→
01/19 08:39, 5年前 , 2F
欸都...就是因為定義域對不起來阿
01/19 08:39, 2F
→
01/19 08:40, 5年前 , 3F
下者是樣本空間 上者是實數
01/19 08:40, 3F
→
01/19 08:48, 5年前 , 4F
P是measure p是probability density function
01/19 08:48, 4F
→
01/19 09:02, 5年前 , 5F
\int f(X)dP = \int f(x)dF_X(x), F_X是X的CDF
01/19 09:02, 5F
→
01/19 09:03, 5年前 , 6F
這引理有一個很有趣的名字 lotus XD
01/19 09:03, 6F
→
01/19 13:00, 5年前 , 7F
這個我知道 在期望值有換過一次
01/19 13:00, 7F
→
01/19 13:03, 5年前 , 8F
但是套在這走一步我就卡了 而且照這個把dP/dQ換成X
01/19 13:03, 8F
→
01/19 13:03, 5年前 , 9F
的話 會出現ln(x) 但它在0跟負的地方沒定義...況且
01/19 13:03, 9F
→
01/19 13:03, 5年前 , 10F
圖片上式也沒出現ln(x) 我才覺得怪怪的
01/19 13:03, 10F
推
01/22 09:04, 5年前 , 11F
dP/dQ是定義在原本的機率空間。做變數變換到實數上
01/22 09:04, 11F
→
01/22 09:05, 5年前 , 12F
，我們會得到 dP/dx=p(x), dP/dQ =dP/dx / dQ/dx =
01/22 09:05, 12F
→
01/22 09:05, 5年前 , 13F
p(x)/q(x)。注意後面的變數變換，測度P, Q是拉到實
01/22 09:05, 13F
→
01/22 09:05, 5年前 , 14F
數上做，所以這裡的R-N也是定義在實數上。
01/22 09:05, 14F
‣ 更多 znmkhxrw 的文章
文章代碼(AID): #1SGXz8LD (Math)