[程式] sas的讀檔效率

看板Statistics作者 (= ="frailty..gggg XD)時間14年前 (2009/10/01 21:03), 編輯推噓0(0推 0噓 13→)
留言13則, 4人參與, 5年前最新討論串1/1
------------------------------------------------------------------------ [軟體程式類別]: SAS [程式問題]: 如何提高讀檔效率 [軟體熟悉度]: 中(3個月到1年) [問題敘述]: 有筆處理過的大資料約有500mb，我用proc export將之輸出。原本習慣 dbms=csv的方式存檔，因為方便excel做後續處理。但是存檔之後利用 proc import時卻發現sas讀取該資料的速度滿慢的， 請問各位sas存取大資料時，應設選擇哪一種格式才能讓sas的 讀取的速度較快？ sas支援的dbms格式: http://www.tau.ac.il/cc/pages/docs/sas8/proc/z0316288.htm [程式範例]: ----------------------------------------------------------------------------- 謝謝^^" -- ※ 發信站: 批踢踢實業坊(ptt.cc) ◆ From: 140.112.86.136
→
10/02 00:13, , 1F
如果可以，EXCEL處理的東西可以用SAS來處理
10/02 00:13, 1F
→
10/02 00:14, , 2F
基本上我都是處理到最後才會輸出到xls檔
10/02 00:14, 2F
→
10/02 00:14, , 3F
否則，500mb的確是要讀一陣子
10/02 00:14, 3F
→
10/02 13:31, , 4F
500M資料大讀取本來就久 但我習慣會先轉dat 或 txt
10/02 13:31, 4F
→
10/02 13:32, , 5F
因為excel有一個很頭痛的格式"通用格式" 這個問題孰大孰小
10/02 13:32, 5F
→
10/02 13:32, , 6F
端看你有沒有遇過這個問題而定
10/02 13:32, 6F
→
10/02 13:33, , 7F
若想帶有變相格式 我都會用Excel轉 dbf 型態在讀 方便很多
10/02 13:33, 7F
→
10/02 16:44, , 8F
我有個疑問你用SAS轉出檔案至excel檔時 你有注意過觀察值
10/02 16:44, 8F
→
10/02 16:45, , 9F
你的資料量多大和轉到excel時的資料量一樣嗎
10/02 16:45, 9F
→
10/02 16:46, , 10F
excel XP版只能上限65535筆資料 2007版好像也只能到幾百萬
10/02 16:46, 10F
→
10/02 22:25, , 11F
我用csv為外存格式可以存到１千多萬筆 用sas進來也是這數字
10/02 22:25, 11F
→
10/02 22:28, , 12F
沒用過excel開過，所以不知excel裡能顯示的觀測值數為多少
10/02 22:28, 12F
→
01/02 14:58, 5年前 , 13F
500M資料大讀取本來 https://muxiv.com
01/02 14:58, 13F
‣ 更多 bcs 的文章
文章代碼(AID): #1AnAY4wU (Statistics)