[問題] import pandas 程式執行速度問題

看板Python作者時間1年前 (2022/04/30 13:11), 編輯推噓3(3013)
留言16則, 5人參與, 1年前最新討論串1/1
用pandas讀excel並pandas畫圖 1, 若把這兩個動作寫成一個 .py 。import pandas一次 2, 讀excel當主程式.py ;畫圖寫成一個module 。 分別import pandas一次 第2種作法執行速度會比第1種慢 對嗎? ---- Sent from BePTT on my iPhone 11 -- ※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 223.140.14.229 (臺灣) ※ 文章網址: https://www.ptt.cc/bbs/Python/M.1651295481.A.D21.html

04/30 15:50, 1年前 , 1F
非得要說的話,的確會多一個往 sys.modules 找被 import 過
04/30 15:50, 1F

04/30 15:51, 1年前 , 2F
的 module/package 是否存在,真正花時間的 loading 只會做
04/30 15:51, 2F

04/30 15:51, 1年前 , 3F
一次,然後再根據不同的 module 綁定 namespace
04/30 15:51, 3F

04/30 15:52, 1年前 , 4F
這種差異根本微乎其微,如果你真的在意這個速度差異,本來
04/30 15:52, 4F

04/30 15:53, 1年前 , 5F
就不應該選擇使用 Python 而是其他編譯型語言,以 pandas
04/30 15:53, 5F

04/30 15:54, 1年前 , 6F
來說也才兩秒左右。
04/30 15:54, 6F

04/30 15:55, 1年前 , 7F
我說的兩秒左右是單單 import pandas 而言,至於你所說的這
04/30 15:55, 7F

04/30 15:55, 1年前 , 8F
種在不同 module 引入同一個 package 的時間,是以微秒計的
04/30 15:55, 8F

04/30 15:57, 1年前 , 9F
,速度差別大概是 2.x sec 和 (2.x + 0.00000x) sec的差別
04/30 15:57, 9F

04/30 16:55, 1年前 , 10F
module import後產生__pycache__應該比單檔案快?
04/30 16:55, 10F

04/30 17:56, 1年前 , 11F
pandas的瓶頸應該是單執行緒才對
04/30 17:56, 11F

04/30 17:56, 1年前 , 12F
本身也不是多大包的東西
04/30 17:56, 12F

04/30 20:43, 1年前 , 13F
的確w不過data太大應該也會改用dask或spark
04/30 20:43, 13F

05/01 19:29, 1年前 , 14F
如果我只是把excel的資料直接畫圖 需要dado 或spark嗎?
05/01 19:29, 14F

05/01 20:24, 1年前 , 15F
不需要 = =
05/01 20:24, 15F

05/02 18:34, 1年前 , 16F
不需要擔心import的執行速度
05/02 18:34, 16F
文章代碼(AID): #1YRCJvqX (Python)