[問題] 使用 R 或 Python 做 big data 電腦推薦

看板Statistics作者 (世界越快，心則亂)時間6年前 (2017/10/19 18:04), 6年前編輯推噓7(7推 0噓 33→)
留言40則, 12人參與, 6年前最新討論串1/1
雖然是硬體問題， 但在電腦相關的板和 mobile01 搜尋和發問， 都沒有好的解答，也許在統計板或許反而可以有解， 故來板上發問看看。 預定著手碩士論文的寫作， 沒意外會是用 Big Data 的資料處理法做金融方面的主題， 因為資料量將會很龐大，故須購置一台筆電（學校沒有配給我電腦）， 於是選擇電腦型號出現問題。 據老師表示，以期貨來說，一個月就有 70～80 萬筆資料， 所以我用來做論文的資料量或許會有幾百萬筆 （資料結構會是如何我還不清楚）， 私心想要輕薄型電腦，畢竟頻繁往來圖書館或研究室， 甚至跨校作業時便攜性很重要。 然而時下輕薄型電腦（姑且粗略定義為 14" 螢幕機體大小及 1.7kgs 以下）， 接配備 U 系列的ＣＰＵ， 配備 HQ 系列的ＣＰＵ大概是沒有小於 15.6" 螢幕機體大小且小於 2kgs 的， 想請教板上先進，使用Ｕ系列的ＣＰＵ做 Big Data 的分析是否堪用？ （愚見關鍵是在ＣＰＵ的樣子，所以作為先決要件； 　記憶體會在預算考量及機種支援下盡量最大化。） 謝謝！ -- ※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 140.127.120.81 ※ 文章網址: https://www.ptt.cc/bbs/Statistics/M.1508407483.A.615.html
→
10/19 18:09, 6年前 , 1F
ram 不夠會比 CPU 不夠更嚴重。先估你要多少 ram
10/19 18:09, 1F
→
10/19 18:10, 6年前 , 2F
cpu 主要看運算有多複雜，但老實說coding影響更大。
10/19 18:10, 2F
不巧的是當下記憶體報價高檔，所以在「跑得動」的情況下， 我會配至少１６ＧＢ的ＤＤＲ４記憶體。 ＣＰＵ如果Ｕ系列的運算足堪應付的話， 我會考慮捏一下上八代（真四核）的Ｕ。 ※ 編輯: JefferyTseng (140.127.120.81), 10/19/2017 18:14:45
→
10/19 20:25, 6年前 , 3F
先估計你需要的RAM個數。直接跟老師要個一萬筆資料，讀到
10/19 20:25, 3F
→
10/19 20:26, 6年前 , 4F
R/python之中利用API (R 用 object.size, python 我不知)
10/19 20:26, 4F
→
10/19 20:26, 6年前 , 5F
查記憶體用量。然後乘以1000就是千萬筆資料需要的記憶體
10/19 20:26, 5F
→
10/19 20:26, 6年前 , 6F
然後再乘以2，就差不多是你要穩穩整理資料需要的記憶體
10/19 20:26, 6F
→
10/19 20:27, 6年前 , 7F
如果你的記憶體低於我上面講的方法算出來的數字，整理資
10/19 20:27, 7F
→
10/19 20:28, 6年前 , 8F
料會比較辛苦一點。
10/19 20:28, 8F
→
10/19 20:29, 6年前 , 9F
另外資料分析我比較推桌機，比筆電便宜，長時間跑也可以
10/19 20:29, 9F
→
10/19 20:29, 6年前 , 10F
放著
10/19 20:29, 10F
推
10/20 08:01, 6年前 , 11F
U基本上就掰了
10/20 08:01, 11F
推
10/20 09:00, 6年前 , 12F
幾百萬筆資料用一般 ultra book 就好，樣本沒有很大
10/20 09:00, 12F
→
10/20 19:10, 6年前 , 13F
期貨資料也就只是OHLC四個數字,一天不超過10萬個tick,所以
10/20 19:10, 13F
→
10/20 19:12, 6年前 , 14F
相當於一天資料量頂多2M,我看用P4+8g ram就夠了吧
10/20 19:12, 14F
→
10/22 10:32, 6年前 , 15F
big data為何不在server裡分析? local的電腦就當成一
10/22 10:32, 15F
→
10/22 10:32, 6年前 , 16F
個access server的介面。能動就好了。
10/22 10:32, 16F
抱歉我對資訊的部分不是很懂， 請問該如何在 server 內分析呢？ 這樣我選購 U 系列的 CPU 機種（Ultrabook）就可以了嗎？ 謝謝。 ※ 編輯: JefferyTseng (42.77.201.87), 10/23/2017 22:24:18
→
10/24 03:16, 6年前 , 17F
首先要有一台server，通常是幾十萬的工作站。
10/24 03:16, 17F
→
10/24 03:18, 6年前 , 18F
你可以先按Wush的建議測試，不然只是空談了。
10/24 03:18, 18F
→
10/24 03:25, 6年前 , 19F
如果不知道怎麼估需求，急的話就買你想買的吧。反正如果
10/24 03:25, 19F
→
10/24 03:26, 6年前 , 20F
不夠用的時候自然就會去找台高效桌機了。
10/24 03:26, 20F
推
10/24 12:28, 6年前 , 21F
Big data 筆電隨便ultra book就可以了，然後google cloud
10/24 12:28, 21F
→
10/24 12:28, 6年前 , 22F
computing或組一台桌機。
10/24 12:28, 22F
推
10/24 12:30, 6年前 , 23F
要筆電硬跑big data 很難，你創個10k*10k大小的矩陣，算一
10/24 12:30, 23F
→
10/24 12:30, 6年前 , 24F
下inverse看要多久。
10/24 12:30, 24F
推
10/24 16:07, 6年前 , 25F
認真要固定跑當然用server跑就好 筆電買順眼的就好
10/24 16:07, 25F
→
10/24 16:08, 6年前 , 26F
就算你筆電可以跑 難道你就整天瞪著你的筆電等他跑不做其
10/24 16:08, 26F
→
10/24 16:09, 6年前 , 27F
他事嗎?
10/24 16:09, 27F
→
10/24 16:09, 6年前 , 28F
其實我覺得這種配備應該要求實驗室配給你
10/24 16:09, 28F
推
10/25 01:47, 6年前 , 29F
好慘
10/25 01:47, 29F
→
10/25 01:47, 6年前 , 30F
要馬兒好 又要馬兒不吃草的感覺
10/25 01:47, 30F
感謝大家的建議，因為可能做完一次論文， 就不會再用到需要效能的電腦， 所以 1.如果筆電，甚至桌電達不到這樣的需求，其實想省下這筆錢， 　昨天研究了 Google Cloud Computing，但能找到的中文資料不多，還在摸索。 2.如果高效能的筆電可以符合需求，就買台 Intel 七代 HQ CPU 搭 　16GB RAM 以上的 Notebook，出掉手邊的 Intel 3 代 I5 CPU 的 Notebook 　（暫定 Acer A715-71G-54UE，CPU：I5-7300HQ）。 3.如果 Ultrabook 能辦到，就賣掉現有的平板電腦（Surface pro 3，I5，4GB RAM）， 　以及 Intel 3 代 I5 CPU 的 Notebook。 　購入搭七代或八代 I5 CPU 的 ASUS UX410、UX430、S410、S510、T304 　或 Acer Swift 5、Swift 3，可擴充的機型記憶體就擴充至 16GB 或 20GB。 4.如果桌電可以滿足需求，不得已就也只能組一台，但是不能在老家、租屋處、 　學校間帶來帶去真是亂不方便的。 另外網路上有人建議組 GPU。（現在才知道還有這種用法，但不知道怎麼組就是了。） ※ 編輯: JefferyTseng (140.127.120.81), 10/26/2017 15:22:15
→
10/26 18:48, 6年前 , 31F
GPU就免了吧...
10/26 18:48, 31F
推
10/27 16:22, 6年前 , 32F
可以去PC_Shopping板問問，如果在硬體限制的情況下，
10/27 16:22, 32F
→
10/27 16:22, 6年前 , 33F
是否要試試用Stata處理資料？ 我處理一百多萬筆的資料
10/27 16:22, 33F
→
10/27 16:23, 6年前 , 34F
約20個變數以上，用AsusTA205的小筆電都跑得動，不
10/27 16:23, 34F
→
10/27 16:23, 6年前 , 35F
過比較慢就是了XD 可以同時讀一些paper 看你要怎麼跑
10/27 16:23, 35F
→
10/27 16:24, 6年前 , 36F
資料，方法跟變數先選個大概就可以決定硬體了
10/27 16:24, 36F
請問大大說的是這台（Asus X205TA）嗎？ https://www.asus.com/us/Laptops/ASUS_EeeBook_X205TA/specifications/ ※ 編輯: JefferyTseng (140.127.120.81), 10/28/2017 14:36:30
→
10/28 15:18, 6年前 , 37F
認真說 筆電U系列蠻弱的 CPU 常常操到掛掉
10/28 15:18, 37F
→
10/28 15:20, 6年前 , 38F
筆電不用到 I7 RAM還比較重要
10/28 15:20, 38F
→
10/28 15:22, 6年前 , 39F
要是真的沒辦法 就分批處理 DATA 吧
10/28 15:22, 39F
→
10/28 15:22, 6年前 , 40F
會比較麻煩就是了
10/28 15:22, 40F
‣ 更多 JefferyTseng 的文章
文章代碼(AID): #1Pw7YxOL (Statistics)