看板 [ Statistics ]
討論串[問題] SAS跑大量資料所需的時間
共 9 篇文章
內容預覽： 開啟 | 關閉 | 只限未讀
首頁
上一頁
1
2
下一頁
尾頁
#9
Re: [問題] SAS跑大量資料所需的時間
推噓0(0推 0噓 0→)留言0則，0人參與, 最新作者azimuth時間17年前 (2009/03/19 22:06), 編輯資訊
0
0
0
內容預覽:
恕刪 感謝指教~. 嗯 我的帳號本身就是數字 所以就以原本程式來看 應該是算ok了. 也許只是因為資料真的太大吧?!. 不過這個問題我後來解決了. 方法就是: 對readall49的acc_no做INDEX. 之後使用PROC SQL抓每個帳號觀察值的時間幾乎只要1秒. 另外歐吉桑提到的UNIVER
#8
Re: [問題] SAS跑大量資料所需的時間
推噓0(0推 0噓 0→)留言0則，0人參與, 最新作者liton (歐吉桑留學生)時間17年前 (2009/03/18 22:45), 編輯資訊
0
0
0
內容預覽:
抱歉 前篇快睡著了沒說清楚. 我前面兩篇有說到一個技巧. 搜尋數字會比搜尋文字快. 如果acc_no真的是數字 那這技巧又沒用. 但一般而言 帳號資料會是文字格式. 所以我的建議是先做個數字編碼的對照表. 例如:. acc_no key. "A122342231" 1. "B211324121" 2
(還有422個字)
#7
Re: [問題] SAS跑大量資料所需的時間
推噓1(1推 0噓 4→)留言5則，0人參與, 最新作者liton (歐吉桑留學生)時間17年前 (2009/03/18 01:30), 編輯資訊
0
0
0
內容預覽:
1.你浪費太多時間在acc_no ne no39上. 先用acc_no篩選資料看看. 然後再來處理那些數值運算. 2.需要sort嗎?. 塞order進去sql不就好了?. --. ※ 發信站: 批踢踢實業坊(ptt.cc). ◆ From: 118.167.189.144.
#6
Re: [問題] SAS跑大量資料所需的時間
推噓0(0推 0噓 0→)留言0則，0人參與, 最新作者azimuth時間17年前 (2009/03/18 00:56), 編輯資訊
0
0
0
內容預覽:
43. 小弟我也是在處理超大量資料. 之前都是抓出一些樣本來試作. 程序結果ok 耗費時間也短~. 可是...就在我要一次全部原始資料下去run時. 我才驚覺事情大條了@@. 這也是現在十分困擾我的地方. 原始資料: 6年交易紀錄76,113,236筆 (不用懷疑!). 光是用一個PROC SQL篩
(還有579個字)
#5
Re: [問題] SAS跑大量資料所需的時間
推噓0(0推 0噓 4→)留言4則，0人參與, 最新作者liton (歐吉桑留學生)時間17年前 (2009/03/17 22:49), 編輯資訊
0
0
0
內容預覽:
試著監控你放work這個lib的實體目錄 看看檔案的增長狀況. 之前的經驗是程式寫錯 造成資料無限制膨脹然後爆掉. 或是 work的lib設到C碟去了 C碟哪夠這樣操. IO本來就很慢的. 我做個兩百M的extraction都夠我抽根菸了. 在幾萬筆的小資料量下. 沒有經過sort的SQL指令的確會
(還有350個字)
首頁
上一頁
1
2
下一頁
尾頁