[請益] excel轉資料庫（大量計算）

看板Soft_Job作者 (aliang)時間2年前 (2021/06/22 16:27), 編輯推噓18(18推 0噓 19→)
留言37則, 25人參與, 2年前最新討論串1/1
各位大大您們好， 我正在做實價登錄的分析，因為實價登錄的資料有點亂，所以我寫了一堆算式去算，但是 一個檔案都太大（至少150-180MB），所以每次更新都要跑一整個晚上，重點是還不知道 是否有跑完（三不五時會發現計算錯誤）。。。。 想改到資料庫或其他的架構，是不是真的會比較快？但是重點是有辦法處理大量的計算。 。。。 真的不知道該用什麼。。。 我不是唸相關科系的，實在不知道該從哪裡下手。。。。 想聽聽大家專業意見，不管是ACCESS或是python或是有其他大家覺得更好的方式 ，有一 個方向我再去好好鑽研。。。 麻煩大家幫我指點明燈～～～ 跪恩！ -- ※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 39.9.201.197 (臺灣) ※ 文章網址: https://www.ptt.cc/bbs/Soft_Job/M.1624350474.A.258.html
→
06/22 16:30, 2年前 , 1F
換電腦
06/22 16:30, 1F
推
06/22 16:34, 2年前 , 2F
演算法寫得不好吧...連G都沒出現的資料不能稱為大
06/22 16:34, 2F
→
06/22 16:37, 2年前 , 3F
excel?? 那個不是很慢
06/22 16:37, 3F
推
06/22 16:37, 2年前 , 4F
用r data table 寫的非常快
06/22 16:37, 4F
推
06/22 16:51, 2年前 , 5F
excel函數一大就算到死了 改用R或python都舒服很多
06/22 16:51, 5F
推
06/22 17:04, 2年前 , 6F
mysql mongo都可以我之前也是excel超痛苦
06/22 17:04, 6F
→
06/22 17:05, 2年前 , 7F
看你的檔案類型啊 是一天一個檔案還是一個檔案會慢慢變
06/22 17:05, 7F
→
06/22 17:06, 2年前 , 8F
大 後者的話直接建議塞進db 前者大概就是換語言讀寫
06/22 17:06, 8F
推
06/22 17:16, 2年前 , 9F
06/22 17:16, 9F
推
06/22 19:43, 2年前 , 10F
python去讀 再去下你要看的函數
06/22 19:43, 10F
→
06/22 20:04, 2年前 , 11F
把function換成vba來跑會快不少
06/22 20:04, 11F
→
06/22 20:10, 2年前 , 12F
之前資料量大用excel都盡量不寫函數，不然下拉時容
06/22 20:10, 12F
→
06/22 20:10, 2年前 , 13F
量跟耗的效能都會等比成長
06/22 20:10, 13F
→
06/22 21:04, 2年前 , 14F
不動產業的RD??
06/22 21:04, 14F
→
06/22 21:57, 2年前 , 15F
才不到200M,用程式讀到記憶體算，就解決了。根本不用資料
06/22 21:57, 15F
→
06/22 21:57, 2年前 , 16F
庫。
06/22 21:57, 16F
→
06/22 23:24, 2年前 , 17F
要不要試試看Google colab
06/22 23:24, 17F
推
06/23 00:13, 2年前 , 18F
Apache Spark
06/23 00:13, 18F
推
06/23 00:32, 2年前 , 19F
Hadoop
06/23 00:32, 19F
推
06/23 01:41, 2年前 , 20F
julia
06/23 01:41, 20F
→
06/23 01:44, 2年前 , 21F
06/23 01:44, 21F
推
06/23 01:50, 2年前 , 22F
06/23 01:50, 22F
→
06/23 12:42, 2年前 , 23F
才 180 MB 根本不用什麼 spark 啦 XD
06/23 12:42, 23F
→
06/23 12:43, 2年前 , 24F
直接 python 全讀到 memory 然後算一算就結了
06/23 12:43, 24F
推
06/23 14:57, 2年前 , 25F
樓上講完了
06/23 14:57, 25F
推
06/23 19:22, 2年前 , 26F
06/23 19:22, 26F
推
06/24 00:19, 2年前 , 27F
用aws elk做資料搜尋
06/24 00:19, 27F
推
06/24 15:50, 2年前 , 28F
DB用哪一個？
06/24 15:50, 28F
→
06/24 18:30, 2年前 , 29F
哈哈哈哈，謝謝大家的幫忙，但大家的回覆我真的看不懂，
06/24 18:30, 29F
→
06/24 18:30, 2年前 , 30F
大家實在是太專業了。。。。我是在一家建商，老闆常叫
06/24 18:30, 30F
→
06/24 18:30, 2年前 , 31F
我做市調，所以自己弄了套excel+power BI，看來得來自
06/24 18:30, 31F
→
06/24 18:30, 2年前 , 32F
學python了。。。。
06/24 18:30, 32F
推
06/24 20:28, 2年前 , 33F
試試access 應該夠用了
06/24 20:28, 33F
推
06/24 20:50, 2年前 , 34F
VBA 就夠了
06/24 20:50, 34F
推
06/24 23:37, 2年前 , 35F
excel和power bi有沒有裝64位元的，記憶體有沒有加到3
06/24 23:37, 35F
→
06/24 23:37, 2年前 , 36F
2G？32位元的軟體跑不動很正常。
06/24 23:37, 36F
推
06/25 19:37, 2年前 , 37F
c#的話我記得有excel lib支援yield return
06/25 19:37, 37F
‣ 更多 scalawax 的文章
文章代碼(AID): #1WqPyA9O (Soft_Job)