Re: [問題] 記憶體不足
※ 引述《lianhua (蓮華)》之銘言：
: [問題類型]:
: 程式諮詢
: [軟體熟悉度]:
: 使用者
: [問題敘述]:
: 因為我需要跑大量的貝氏模擬，大迴圈次數500次
: 大迴圈裡面的小迴圈20000次
: 每一次小迴圈都需要生成一個5XM (M大概100左右) 的矩陣
: 但是我的電腦大迴圈大概都跑個200次左右就會跳出
: 錯誤: 無法配置大小為 526.2 Mb 的向量
: 這種訊息 請問是我的電腦記憶體不足，還是語法太拙劣？
理論上演算法需要的記憶體，都是可以事先評估出來的。
我先假設你迴圈中生成的矩陣都要保留在記憶體。
一個numeric value需要 8 bytes 的記憶體空間，
這樣的話，一個小迴圈需要 500 * 8 bytes 的空間，大約 4 kb。
一個大迴圈要20000 次小迴圈，所以就是 80000 kb ，大約是 80 mb。
500次大迴圈需要 40000 mb, 大約是 40 Gb 的記憶體。
你的電腦有這麼多記憶體嘛？
或是你需要保留每次生成的矩陣嘛？有沒有確實清理掉？
另外R 在記憶體的使用上還有另外一個問題：
(請看下面的說明)
: [程式範例]:
: 程式很長，所以僅貼部分
: N = 500
: L0 = numeric()
: L1 = numeric()
: L2 = numeric()
: Alpha1 = numeric()
: Alpha2 = numeric()
: for(k in 1:N){
: set.seed(k)
: ．
: ．
: ．
: 這裡是我懷疑出錯的部分，因為如果我不是生成隨機矩陣的話
: 就不會有這個問題
: iter = 20000
: repeat{
: ### step 1 fill up Z ###
: g1 = function(x){
: ((l1+l0)*c1*(x^(c1-1)))/((l1+l0)*c1*(x^(c1-1))+l2*c2*(x^(c2-1)))
: }
: g2 = function(x){
: (l1*c1*(x^(c1-1)))/(l1*c1*(x^(c1-1))+(l2+l0)*c2*(x^(c2-1)))
: }
: Z1 = matrix(,ncol=2,nrow=length(t1))
: Z2 = matrix(,ncol=2,nrow=length(t2))
: for(i in 1:length(t1)){
: Z1[i,] = rmultinom(1,1,c(g1(t1[i]),(1-g1(t1[i]))))
: }
: for(i in 1:length(t2)){
: Z2[i,] = rmultinom(1,1,c(g2(t2[i]),(1-g2(t2[i]))))
: }
: }
使用 Z1[i,] = xxx
這種語法時，R 會複製記憶體，也就是你可能需要Z1兩倍的記憶體，
所以如果Z1很大的話，也是會出問題。
: 想請各位先進為我解答，感謝～
你可以把你的需求寫的更清楚，這樣我還可以針對你的問題提供建議喔。
--
歡迎到ptt R_Language版分享R 的相關知識
歡迎加入 Taiwan R User Group : http://www.facebook.com/Tw.R.User
聚會報名 http://www.meetup.com/Taiwan-R/
聚會影片 https://www.youtube.com/user/TWuseRGroup
--
※ 發信站: 批踢踢實業坊(ptt.cc)
◆ From: 61.224.201.62
※ 編輯: Wush978 來自: 61.224.201.62 (06/22 21:39)
推
06/22 23:20, , 1F
06/22 23:20, 1F
→
06/23 01:32, , 2F
06/23 01:32, 2F
推
06/23 07:34, , 3F
06/23 07:34, 3F
→
06/23 07:35, , 4F
06/23 07:35, 4F
推
06/23 07:38, , 5F
06/23 07:38, 5F
→
06/23 07:47, , 6F
06/23 07:47, 6F
→
06/23 07:48, , 7F
06/23 07:48, 7F
→
06/23 10:45, , 8F
06/23 10:45, 8F
→
06/23 10:45, , 9F
06/23 10:45, 9F
→
06/23 14:03, , 10F
06/23 14:03, 10F
→
06/23 14:03, , 11F
06/23 14:03, 11F
討論串 (同標題文章)