[分析] entropy的最大值

看板Math作者 (QQ)時間6年前 (2018/06/05 17:52), 6年前編輯推噓10(10推 0噓 5→)
留言15則, 7人參與, 6年前最新討論串1/1
想請問一下證下面這個敘述的方法，是要用lagrange multiplier硬爆 還是有基本的算幾or柯西or其他inequality的方法可以提供，謝謝！ Let x_i€[0,1] ,i = 1~n with x_1+...+x_n = 1 and f(x_1,...,x_n) := -[ x_1*ln(x_1) + x_2*ln(x_2) +...+ x_n*ln(x_n)] Then f(x_1,...,x_n) <= ln(n) and equality holds <=> x_i = 1/n 謝謝！ -- ※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 113.196.128.238 ※ 文章網址: https://www.ptt.cc/bbs/Math/M.1528192349.A.1CD.html
推
06/05 18:23, 6年前 , 1F
convexity
06/05 18:23, 1F
是指ts大的jensen ineuqality嗎??
推
06/05 18:29, 6年前 , 2F
這看起來是資訊熵?
06/05 18:29, 2F
對
推
06/05 19:33, 6年前 , 3F
Jensen's inequality
06/05 19:33, 3F
我試了jensen方向好像很怪.... 令f(x) = -ln(x) , convex function 且 x_i>=0, x_1+...+x_n = 0 藉由jensen's inequality可以得知 f(x_1*x_1 + x_2*x_2 +....+x_n*x_n) <= x_1*f(x_1) +... +x_n*f(x_n) 所以是 -ln(x_1^2+...x_n^2) <= x_1*(-ln(x_1)) + ... + x_n*(-ln(x_n)) 但是我要的是right hand side <= ln(n) 好奇怪@@?
推
06/06 01:27, 6年前 , 4F
需要稍微變通一下, 注意那個負號
06/06 01:27, 4F
推
06/06 04:55, 6年前 , 5F
考慮g(x)=-xlnx怎麼樣？weight都用1/n。
06/06 04:55, 5F
V大我改用這個g配那個weights也成功了，謝謝！
推
06/06 06:14, 6年前 , 6F
可用Lagrangian 或是 更進階的conjugate duality去
06/06 06:14, 6F
→
06/06 06:14, 6年前 , 7F
證明
06/06 06:14, 7F
推
06/06 06:18, 6年前 , 8F
另外 盡量利用向量表示 會簡單很多
06/06 06:18, 8F
L大我去查conjugate duality 應該是這個吧 Fenchel's duality theorem 雖然沒學過 但是這是不是你叫我用向量表示的原因XD? 原本自己在試的時候就用向量表示過(想湊柯西) 但是湊不出來就不用了QQ
→
06/06 13:01, 6年前 , 9F
log是concave，-logx=log(1/x)
06/06 13:01, 9F
推
06/06 13:06, 6年前 , 10F
sum(x_i*ln(1/x_i))<=ln(sum(x_i*1/x_i))=ln(n)
06/06 13:06, 10F
t大謝謝！原來上幾樓a大要我變通一下就是把x改成1/x....
→
06/06 13:32, 6年前 , 11F
你不願意用歸納法嗎？
06/06 13:32, 11F
沒有排斥阿XD 能證出來都OK
推
06/06 17:29, 6年前 , 12F
這種題目都是有規律的 LM的偏微步驟做一兩個就可以
06/06 17:29, 12F
→
06/06 17:29, 6年前 , 13F
寫出全部(xi跟lambda) 剩下就是解方程式(但一定可以
06/06 17:29, 13F
→
06/06 17:29, 6年前 , 14F
馬上看出你要的東西)
06/06 17:29, 14F
算是習慣吧 我都把LM當作最後手段 因為這題目很有規律 用LM感覺殺雞用牛刀的感覺XDD ※ 編輯: znmkhxrw (210.242.52.37), 06/06/2018 17:45:33
推
06/06 22:31, 6年前 , 15F
這題可以用琴生(如上述)和kkt條件
06/06 22:31, 15F
‣ 更多 znmkhxrw 的文章
文章代碼(AID): #1R5brT7D (Math)