Re: [問題] empirical bayes和bayes empirical bay …
我試著簡單的說.
我也只會簡單的說, 因為我不是專門做貝式的.
那如果有錯請指正我, 我很樂意討論.
我從最前面說.
所謂做 Bayesian,
就是覺得那些 parameters 有他們的隨機性
(是 random variables, 有 probabiliy distributions).
所以比如一個兩層的 hierachical model,
假設 y 是 data, theta 是我們有興趣的 parameter.
y|theta~ f
theta|tau~ g
我們知道 f 和 g 是什麼, 然後可以合併起來得到對 theta 的 inference.
所謂 empirical bayes,
就是它還是想考慮 parameters 的隨機性.
但是我們不知道它的隨機性到底是什麼.
也就是說, 我們不知道 g 是什麼.
這個時候, empirical bayes 的做法就是去 estimate g.
比如可以用 non-parametric 的方法去估計 empirical distribution of theta,
也就是 g 的 empirical estimate.
或是用 parametric 的方法, 假設 g=N(mu, sig2) 好了,
可以用 MLE 去估計 mu 和 sig2.
可是有些人就不高興啦.
因為 empirical bayes 他們覺得根本不是 bayesian 好嗎.
在估計 g 的那個階段, 阿不就又用的是從前的 frequentist approach?
因為這樣, 所以就出現了 bayes empirical bayes.
Bayes empirical bayes 這個名字的意義,
就是 "用 standard bayesian 的方法, 來處理 empirical bayes 的問題".
而他們的做法就是, 比如在上面的例子, parametric 的情況下,
我們不知道 mu 和 sig2.
那不要用 MLE, 我們再把 mu 和 sig2 給 prior distributions.
mu~h1
sig2~h2
所以這時候整個 hierachical model 變成了三層.
但是之所以變三層, 不是因為我們的 data 和我們有興趣的問題有關三層.
其實有興趣還是只有兩層,
而第三層之所以存在是為了解決我們不知道第二層的 priors 的問題.
最主要的觀念應該就是這樣囉.
如果還有疑問歡迎繼續討論.
※ 引述《iwiki (.. )》之銘言：
: 最近在看hierarchical Bayesian inference
: 其中有提到這兩種不算正統貝氏估計的差別，
: 文章中有提一些差別，我也參考了相當多篇的paper，但還不算很懂
: 我知道這不是三言兩語可以解釋清楚，我想問板上有做貝氏統計的前輩
: 是否曾看過有比較清楚介紹這兩個方法差別的文獻，或是可以用直觀一點的敘述
: 來解釋.......
: 還有.....蠻想知道會看這個版的人，大概都哪個年級的人......
: 應該有人看得懂我在問什麼吧..........
: 謝謝~~~~!!!!
※ 編輯: statbaby 來自: 68.109.19.47 (05/10 03:11)
推
05/10 13:42, , 1F
05/10 13:42, 1F