[問題] 有關MLE的bias
在Cox和Snell(1968: 251-252)的文章裡, 有一段討論MLE的bias,
我在一個地方卡住了, 所以來向大家求解.
(文章名字是 "A General Definition of Residuals" )
以下是文章的節錄, 我盡可能與作者使用相同的符號,
如果仍有模糊不清的地方, 再麻煩大家跟我說, 謝謝.
首先是一些符號定義,
Pj(Yj,β)是Yj的p.d.f., 以下簡寫為Pj
L(β) = Σlog(Pj)
B = β_hat
U_j = d ㏒(pj)/dβ .......文中式11,打不出微分符號,用d代替
V_j = (d^2)㏒(pj)/d(β^2) .......文中式11,
W_j = (d^3)㏒(pj)/d(β^3)
L'(β) = U = ΣU_j, 從j=1累加至j=n
L"(β) = V = ΣV_j, 從j=1累加至j=n
L"'(β) = W = ΣW_j, 從j=1累加至j=n
I = ΣE(-V_j), 從j=1累加至j=n
J = ΣE(U_j, V_j), 從j=1累加至j=n
K = E(W) = E[L'''(β)]
B-β = U/I ...............文中的式12
Var(B) = 1/I ...............文中的式12
因為,
L'(B) = 0
而且,
L'(B) ≒ L'(β) + (B-β)L"(β) + (1/2)[(B-β)^2]L"'(β)
所以,
L'(β) + (B-β)L"(β) + (1/2)[(B-β)^2]L"'(β) ≒ 0 .....文中式13
取期望值後,
E[L'(β)] + E[(B-β)L"(β)] + E{(1/2)[(B-β)^2]L"'(β)} ≒ 0
=> E(B-β)E[L"(β)]
+ Cov[(B-β), L"(β)]
+ (1/2)E[(B-β)^2]E[L"'(β)]
+ Cov{[(B-β)^2], L"'(β)} ≒ 0 .....文中式14
基於先前的各項定義, 以及,
E[L"(β)] = ΣE(V_j) = I
Cov[(B-β), L"(β)] = Cov[(U/I), L"(β)] ≒ (1/I)Cov(U,V)
= J/I .....文中式15
E[(B-β)^2] = E[(U/I)^2] ≒ [1/(I^2)]E(U^2)
= [1/(I^2)]{Var(U) + [E(U)]^2} = [1/(I^2)](I + 0)
= 1/I
因此式14可寫為,
E(B-β)(-I) + J/I + (1/2)(K/I) + Cov{[(B-β)^2], L"'(β)} ≒ 0
=> E(B-β) ≒ J/(I^2) + K/[2(I^2)] + Cov{[(B-β)^2], L"'(β)}
然而作者卻說,
E(B-β) ≒ J/(I^2) + K/[2(I^2)]
我想請問為什麼Cov{[(B-β)^2], L"'(β)}不見了?
是不是因為作者說的這段話:
"Finally, a calculation similar to (15) shows that
the final term in (14) is O(n^-1), whence (14) gives (Bartlett, 1952),
for the terms of order 1, E(B-β) = J/(I^2) + K/[2(I^2)] "
目前我的理解是因為Cov{[(B-β)^2], L"'(β)}是O(n^-1),
所以當n極大時, 這個Cov項極小, 進而以被忽略.
不知道這個理解正不正確?
如果是錯的, 麻煩大家解答一下, 非常感謝.
--
※ 發信站: 批踢踢實業坊(ptt.cc)
◆ From: 140.123.197.80
※ 編輯: KirinGuess 來自: 140.123.197.80 (02/02 22:55)