[分析][機統] 隨機過程與期望值

看板Math作者 (QQ)時間4年前 (2020/02/06 03:23), 4年前編輯推噓0(0035)
留言35則, 3人參與, 4年前最新討論串1/1
給一個離散實訊號x_n (就是x:Z(整數)→R(實數)) 在訊號處理的paper裡很常看到 E{x_n} 1 m 一直以來我都把他定義成 E{x_n}:= lim ──── * Σ x_k m→∞ 2m+1 k=-m 但是今天看到隨機過程後, 其實對E{x_n}已有定義, 貌似上述等式只是特例而已 詳細問題如下: ====================================================================== 令 (Ω, F, P) 為機率空間 {x_n(w): n€Z(整數)} 為隨機過程 即對於每個n, x_n: Ω→R 是一個隨機變數 對於每個w, x_.(w): Z →R 是一個realization 接著因為期望值是定義在隨機變數, 所以對於每個n我們有 E{x_n}:= ∫ x_n(w)dP(w) Ω 從這邊就可以先觀察到最一開始說的實訊號x_n只是固定某個event w所取出的x_n(w) 接著wiki說stationary random process是指隨機變數的distribution是time-invariant ( https://en.wikipedia.org/wiki/Stochastic_process#Stochastic_process ) 因此如果 {x_n(w): n€Z(整數)} is stationary 則 E{x_n} = E{x_m} for any n,m€Z (*) 接著問題來了, 下面這個連結說如果隨機過程是stationary的, 那麼對w做期望值(平均) 1 m 就等於對n做期望值(平均), 也呼應他寫的 E{x_n}= lim ──── * Σ x_k ---(**) m→∞ 2m+1 k=-m ( https://www.dsprelated.com/freebooks/sasp/Expected_Value.html ) 果然我最一開始定義的期望值只是特例, 那只是在一個更廣的定義下所推導出來的結果 但是問題來了!我證不出來, 問題如下: (**)的左式只剩n的變數, 而且(*)又說跟n無關, 所以(**)左邊只是一個常數 但(**)的右邊其實是w的變數, 代表所有w代進去都是一樣的值!? 這個猜測可能是對的, 因為文章裡面有寫"compute expected values by averaging over time within a single realization of the random process" 因此, 一切要合理的話, 下面定理要成立: <Theorem> if {x_n(w): n€Z(整數)} is stationary 1 m then E{x_n} = lim ──── * Σ x_k(w) ≡ constant, for all n,w m→∞ 2m+1 k=-m 這不可能吧.... 我嘗試一會兒發覺左右根本兩回事, stationary是講time-invariant 既然跟time沒有關係, 那對n做平均(E{x_n})根本多此一舉阿... 而且定理右式怎麼可能任選w都是一樣的, 這樣不就是event-invariant.... 請問問題點到底在哪... 謝謝幫忙! -- ※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 59.102.235.174 (臺灣) ※ 文章網址: https://www.ptt.cc/bbs/Math/M.1580930595.A.79D.html ※ 編輯: znmkhxrw (59.102.235.174 臺灣), 02/06/2020 03:23:55

02/06 07:00, 4年前 , 1F
隨機過程 {X(n), n in Z} 是 stationary, 並不表示
02/06 07:00, 1F

02/06 07:02, 4年前 , 2F
E[X(n)] 之共同值可用長期平均值
02/06 07:02, 2F

02/06 07:02, 4年前 , 3F
(X(N-m)+X(N-m+1)+...+X(N+m))/(2m+1)
02/06 07:02, 3F

02/06 07:04, 4年前 , 4F
的極限值得到. 極端的反例是 X(n) = X(m) for any
02/06 07:04, 4F

02/06 07:06, 4年前 , 5F
n, m. 能由長期平均值(的極限)得到共同期望值的惰形
02/06 07:06, 5F

02/06 07:07, 4年前 , 6F
是諸 X(n) 有獨立成分, 用大數法則可證得你要的結果
02/06 07:07, 6F

02/06 07:10, 4年前 , 7F
附言: 上述長期平均採奇數期, 任意中間點. 其實不一
02/06 07:10, 7F

02/06 07:11, 4年前 , 8F
定要取奇數期平均, 而是可取任意期平均.
02/06 07:11, 8F

02/06 20:36, 4年前 , 9F
一個是time average, 一個是ensemble average
02/06 20:36, 9F

02/06 20:38, 4年前 , 10F
兩者相等的情況叫做ergodic 在應用上通常都直接
02/06 20:38, 10F

02/06 20:39, 4年前 , 11F
假定所得的訊號來自ergodic process
02/06 20:39, 11F

02/06 20:40, 4年前 , 12F
non-ergodic的情況 太難了 目前還是有待研究的領域
02/06 20:40, 12F
謝謝y大r大, 我也找到完整敘述了, 即i.i.d的情況下time average = ensemble average ※ 編輯: znmkhxrw (59.102.235.174 臺灣), 02/06/2020 23:31:23

02/07 12:23, 4年前 , 13F
但ergodic不一定需要iid 最簡單的像穩態馬可夫鍊
02/07 12:23, 13F

02/07 15:05, 4年前 , 14F
i.i.d. 情況直接就是大數法則了; 此處等於考慮
02/07 15:05, 14F

02/07 15:06, 4年前 , 15F
dependent 情況的大數法則.
02/07 15:06, 15F

02/07 17:16, 4年前 , 16F
欸可是我看弱大數與強大數法則都要iid耶...而我要
02/07 17:16, 16F

02/07 17:17, 4年前 , 17F
的那個等式不就是強大數法則的statement嗎? 所以有
02/07 17:17, 17F

02/07 17:17, 4年前 , 18F
更弱的條件可以推得強大數法則?
02/07 17:17, 18F

02/07 19:29, 4年前 , 19F
對啊! 普通大數法則都假設 i.i.d.; 但現在考慮的是
02/07 19:29, 19F

02/07 19:31, 4年前 , 20F
隨機過程, X(n)之間一般是不獨立的, 甚至可能不同
02/07 19:31, 20F

02/07 19:33, 4年前 , 21F
分布. 如馬可夫鏈就不是同分布, 只是在某些條件下
02/07 19:33, 21F

02/07 19:36, 4年前 , 22F
趨於穩定, 長期平均等於在算穩定分配的期望值.
02/07 19:36, 22F

02/07 20:29, 4年前 , 23F
y大我意思是指(**)要成立是確實是需要iid的
02/07 20:29, 23F

02/07 20:29, 4年前 , 24F
只是這個假設很強, 很多時候都不是iid, 所以(**)也
02/07 20:29, 24F

02/07 20:29, 4年前 , 25F
不一定會成立
02/07 20:29, 25F

02/07 20:29, 4年前 , 26F
?
02/07 20:29, 26F

02/07 21:28, 4年前 , 27F
(**)是mean-ergodicity的定義 iid只是其特例
02/07 21:28, 27F

02/07 21:51, 4年前 , 28F
首先, (**) 有錯, 那個平均應改成
02/07 21:51, 28F

02/07 21:52, 4年前 , 29F
(X(N-m)+X(N-m+1)+...+X(N+m))/(2m+1)
02/07 21:52, 29F

02/07 21:54, 4年前 , 30F
或至少原(**)那個 2m+1 改成 2N+1.
02/07 21:54, 30F

02/07 21:55, 4年前 , 31F
其次, 我不是說類似(**)那個式子只在 i.i.d. 才成立
02/07 21:55, 31F

02/07 21:56, 4年前 , 32F
而是說它不是對任意隨機過程都成立. 前面網友也說了
02/07 21:56, 32F

02/07 21:58, 4年前 , 33F
那是 ergodic process 的條件或定義.
02/07 21:58, 33F

02/07 22:00, 4年前 , 34F
修正: 是 mean-ergodic process.
02/07 22:00, 34F

02/07 22:34, 4年前 , 35F
了解~那沒錯 感恩 然後(**)那邊筆誤 我改一下
02/07 22:34, 35F
※ 編輯: znmkhxrw (59.102.235.174 臺灣), 02/07/2020 22:34:27
文章代碼(AID): #1UEnOZUT (Math)