[請益] 海量EXCEL資料運算比較吃重哪方面的硬體?

看板PC_Shopping作者 ( 竹子)時間4年前 (2020/05/01 22:18), 4年前編輯推噓41(44推 3噓 52→)
留言99則, 57人參與, 4年前最新討論串1/1
AS TITLE 問題重點在這句：計算海量EXCEL檔資料會比較吃重哪方面的硬體? (CPU ? 快取? 還是什麼? SSD是基本的我知道) 下文為詳述 因工作之故會處理極大量EXCEL檔，計算的累積數字都是幾千萬到幾億這樣綜合交叉比對 偏偏前陣子家人送我一台低階文書機(老人家不懂)一整個ERRRRRRR..... 開檔案等很久的問題已用SSD解決掉 但幾個分頁之間光是串基本的公式就會開始無限迴圈等到抓狂 最近就連公司的桌機也越跑越慢 (現在處理的資料僅累積1至4月而已，難以想像年底要怎麼面對1~12月累積的海量資料) 所以想請教專業人士，拜託了 -- ※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 36.225.216.235 (臺灣) ※ 文章網址: https://www.ptt.cc/bbs/PC_Shopping/M.1588342683.A.0AD.html ※ 編輯: ZenEmpty (36.225.216.235 臺灣), 05/01/2020 22:18:34
→
05/01 22:19, 4年前 , 1F
CPU 而且是單核效能要高 多核沒用
05/01 22:19, 1F
所以我要找主打單核高效能CPU的電腦這樣 ?
→
05/01 22:21, 4年前 , 2F
改用資料庫
05/01 22:21, 2F
請問資料庫是指處理軟體的類型嗎? 非IT所以不太懂...
→
05/01 22:21, 4年前 , 3F
吃cpu 而且必須非常好
05/01 22:21, 3F
推
05/01 22:22, 4年前 , 4F
你說的根本不太可能LAG 一定是連動的計算太多
05/01 22:22, 4F
閣下的說法跟我公司前輩說法相同， 那EXCEL連動計算太多的負荷量需要哪方面的硬體來COVER?
推
05/01 22:25, 4年前 , 5F
excel問題也是個原因 東西越來越多
05/01 22:25, 5F
是excel本身的問題嗎? ※ 編輯: ZenEmpty (36.225.216.235 臺灣), 05/01/2020 22:28:18
→
05/01 22:27, 4年前 , 6F
改Access或SQLite....?
05/01 22:27, 6F
推
05/01 22:33, 4年前 , 7F
2014年後版本的Excel都確定支援多核
05/01 22:33, 7F
→
05/01 22:34, 4年前 , 8F
6核跟4核的差距最大 8核也比6核快不少
05/01 22:34, 8F
→
05/01 22:35, 4年前 , 9F
至少買個6核的CPU 多線程比較沒有差別 買個6C6T實在
05/01 22:35, 9F
→
05/01 22:36, 4年前 , 10F
excel 多核?? 真的啊..公司那個正版看來有用處了
05/01 22:36, 10F
→
05/01 22:37, 4年前 , 11F
RAM 8G 就很夠了
05/01 22:37, 11F
→
05/01 22:41, 4年前 , 12F
對了 我說的是 windows64位元 Mac應該沒支援多核
05/01 22:41, 12F
推
05/01 22:51, 4年前 , 13F
海量資料就不該交給Excel.....
05/01 22:51, 13F
→
05/01 22:52, 4年前 , 14F
如果能對處理做最佳化, 說不定只要1/10效能就跑得動
05/01 22:52, 14F
推
05/01 22:52, 4年前 , 15F
軟體問題吧...數億資料給excel跑?
05/01 22:52, 15F
→
05/01 22:52, 4年前 , 16F
CPU好一點 RAM16G起跳沒關係 只是EXCEL有點沒救
05/01 22:52, 16F
推
05/01 22:53, 4年前 , 17F
海量資料要開始就不該交給excel啊！
05/01 22:53, 17F
→
05/01 22:53, 4年前 , 18F
簡單來說 Excel不是設計來這樣用的...
05/01 22:53, 18F
→
05/01 22:53, 4年前 , 19F
就像你拿超跑載貨 不見得比較快
05/01 22:53, 19F
→
05/01 22:56, 4年前 , 20F
同意 你是不是用錯工具..
05/01 22:56, 20F
感謝各位高手解惑，我漸漸開始有概念了 之前自己做基本功課後認為需要i5 9400以上+RAM的評估看來八九不離十 上面的硬體問題看來有解決方向了 但專業分工的問題，除非把這種工作交給會資料庫技能的人，不然解決不了對吧 (苦笑) ※ 編輯: ZenEmpty (36.225.216.235 臺灣), 05/01/2020 23:05:48
→
05/01 22:59, 4年前 , 21F
RAM對Excel而言只是存放部分計算結果的
05/01 22:59, 21F
→
05/01 22:59, 4年前 , 22F
真正慢(卡)的是運算部分 CPU是最大影響因素
05/01 22:59, 22F
推
05/01 23:01, 4年前 , 23F
海量資料改用access比直接換硬體還有用啦
05/01 23:01, 23F
推
05/01 23:08, 4年前 , 24F
請愛用access或sql...
05/01 23:08, 24F
→
05/01 23:09, 4年前 , 25F
你這換硬體只是治標 最後必然要換SQL的
05/01 23:09, 25F
→
05/01 23:10, 4年前 , 26F
用資料庫
05/01 23:10, 26F
推
05/01 23:26, 4年前 , 27F
你函數串太多層了，初步可以寫巨集把連動的資料切割
05/01 23:26, 27F
→
05/01 23:26, 4年前 , 28F
開，進一步就用資料庫或SQLㄅ
05/01 23:26, 28F
→
05/01 23:35, 4年前 , 29F
關閉自動重算，最後F9。但要小心服用！
05/01 23:35, 29F
→
05/01 23:43, 4年前 , 30F
這方面用A13搞不好比i9還強
05/01 23:43, 30F
推
05/02 00:22, 4年前 , 31F
Excel一個分頁有百萬筆資料的限制 公式再套進去運
05/02 00:22, 31F
→
05/02 00:22, 4年前 , 32F
算 電腦就不用動了
05/02 00:22, 32F
推
05/02 00:45, 4年前 , 33F
檔案轉資料庫 見過包商妹子開個excel要15分鐘超無言
05/02 00:45, 33F
→
05/02 00:46, 4年前 , 34F
他就只會那樣用然後檔案累資三年 當時快300M 超奇葩
05/02 00:46, 34F
還有 25 則推文
→
05/02 10:02, 4年前 , 60F
如果你決定要轉移到SQLServer資料庫那還是花錢找專
05/02 10:02, 60F
→
05/02 10:04, 4年前 , 61F
業幫你規劃,沒規劃的資料庫schema比excel還差
05/02 10:04, 61F
推
05/02 10:06, 4年前 , 62F
千萬筆以下的資料量以目前的資料庫來說都不難
05/02 10:06, 62F
→
05/02 10:07, 4年前 , 63F
超過千萬筆的會讓你難過倒叫不要不要
05/02 10:07, 63F
→
05/02 10:10, 4年前 , 64F
我用i7-7700HQ+16GBram+雙SSD跑8千萬筆資料的查詢
05/02 10:10, 64F
推
05/02 10:10, 4年前 , 65F
pandas唯一解
05/02 10:10, 65F
→
05/02 10:11, 4年前 , 66F
比較Oracle跟SQLServer的查詢效能,說真的差不大
05/02 10:11, 66F
推
05/02 10:12, 4年前 , 67F
換掉只會excel的人就解決了 (疑
05/02 10:12, 67F
推
05/02 10:15, 4年前 , 68F
SQL語法，看書就會了，沒這麼難好嗎
05/02 10:15, 68F
→
05/02 10:18, 4年前 , 69F
資料量百萬筆以下,你就算下了會TableScan的SQL是沒
05/02 10:18, 69F
→
05/02 10:19, 4年前 , 70F
差,超過千萬筆的你下一次就準備被吊起來打了
05/02 10:19, 70F
推
05/02 10:22, 4年前 , 71F
公司電腦i5-9500f+16G RAM+500G sata SSD開到第二
05/02 10:22, 71F
→
05/02 10:22, 4年前 , 72F
個Excel之後都卡卡
05/02 10:22, 72F
→
05/02 10:27, 4年前 , 73F
其實我一直以為原文是說幾億的"數字" 不是資料筆數
05/02 10:27, 73F
→
05/02 10:28, 4年前 , 74F
如果是資料量的話 你公司最好找個專職的DBA...
05/02 10:28, 74F
→
05/02 10:31, 4年前 , 75F
不過大家都心裡有數 所以...
05/02 10:31, 75F
→
05/02 10:36, 4年前 , 76F
用神A的1.8NA引擎拖2兩個20尺貨櫃應該是拖不動吧
05/02 10:36, 76F
推
05/02 10:44, 4年前 , 77F
先定義海量 但如果這樣就跑不動你一定得用sql or
05/02 10:44, 77F
→
05/02 10:45, 4年前 , 78F
python pandas 幫你處理資料
05/02 10:45, 78F
推
05/02 10:56, 4年前 , 79F
sql
05/02 10:56, 79F
→
05/02 10:56, 4年前 , 80F
sql 看書 加水管影片就能會了
05/02 10:56, 80F
推
05/02 12:18, 4年前 , 81F
I7-9700一樣卡 難道要用到I9嗎？
05/02 12:18, 81F
推
05/02 13:14, 4年前 , 82F
Access：Am I a joke ...
05/02 13:14, 82F
推
05/02 13:54, 4年前 , 83F
海量？大量？用詞怪怪的
05/02 13:54, 83F
推
05/02 13:59, 4年前 , 84F
這種需求用資料庫處理拉....就算上億筆也是輕鬆處理
05/02 13:59, 84F
推
05/02 19:00, 4年前 , 85F
直接換Dataframe操作啦
05/02 19:00, 85F
→
05/02 19:00, 4年前 , 86F
還用Excel這個莫名bug這麼多的軟體喔？
05/02 19:00, 86F
推
05/02 20:29, 4年前 , 87F
處理學生成績 幾十萬筆就覺得excel…
05/02 20:29, 87F
→
05/02 20:30, 4年前 , 88F
pandas吧
05/02 20:30, 88F
→
05/02 20:38, 4年前 , 89F
資料量上億筆用excel管理...這在現在算世界奇觀吧
05/02 20:38, 89F
推
05/03 01:51, 4年前 , 90F
勸你快換資料庫
05/03 01:51, 90F
推
05/03 02:17, 4年前 , 91F
建議還是維持原作業方式。會用Excel處理海量資料的
05/03 02:17, 91F
→
05/03 02:17, 4年前 , 92F
多不是資訊單位，改用Access或SQL只會弄得更累，以
05/03 02:17, 92F
→
05/03 02:17, 4年前 , 93F
後這類業務將都是你處理
05/03 02:17, 93F
推
05/03 09:00, 4年前 , 94F
大數據還用excel 根本菜逼八
05/03 09:00, 94F
→
05/03 09:01, 4年前 , 95F
都什麼時代了.......
05/03 09:01, 95F
→
05/03 09:51, 4年前 , 96F
為什麼沒人推R語言？
05/03 09:51, 96F
推
05/03 10:00, 4年前 , 97F
推R 語言 + RODBC套件連資料庫
05/03 10:00, 97F
噓
05/04 01:28, 4年前 , 98F
海量是西岸用語？
05/04 01:28, 98F
推
05/05 10:05, 4年前 , 99F
百萬級資料還沒死機啊
05/05 10:05, 99F
‣ 更多 ZenEmpty 的文章
文章代碼(AID): #1Uh2-R2j (PC_Shopping)