[請益] Python Selenium 多Chromedrive

看板PC_Shopping作者 (天氣晴。)時間2年前 (2021/08/09 16:27), 2年前編輯推噓3(3019)
留言22則, 8人參與, 2年前最新討論串1/1
各位前輩好 小弟目前老電腦是 I5-8400 / 4*8G RAM / 256SSD 在跑 Python Selenium Chromedriver 模擬用戶操作(非網頁遊戲),順便爬蟲。主要是CPU資源吃比較大一些 目前執行最多只能跑到12個chromedriver.exe (非分頁),再上去就掛了 如果希望可以穩穩的跑到30個,請問如果要有感升級的話,應該要往哪方面著手呢? 預算抓25K左右。 自己本身是有兩個想法 A. 組一台DESKMINI H470 搭配I5-11400 但應該不太堪用,發熱量也是個問題。 或者 B. 賭人品,對岸淘一台洋垃圾,E5雙CPU,搭配64G的RAM 上述兩者完全是不同面向,但在同樣的價位下,似乎可以做個比較? 麻煩請各位可以給一點建議,不吝指教,謝謝。 -- ※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 125.230.176.85 (臺灣) ※ 文章網址: https://www.ptt.cc/bbs/PC_Shopping/M.1628497650.A.C4F.html

08/09 16:48, 2年前 , 1F
別買洋垃圾了吧,11400也不夠用,
08/09 16:48, 1F

08/09 16:48, 2年前 , 2F
礦渣收個半套他不香嗎?
08/09 16:48, 2F

08/09 17:00, 2年前 , 3F
這不是直上threadripper嗎?
08/09 17:00, 3F
CPU直接爆預算XD

08/09 17:15, 2年前 , 4F
你確認瓶頸是在哪邊了嗎?
08/09 17:15, 4F
I5-8400 12開是保守穩定,15也可以,但考量到跑一次指令就要跑1.2天 這樣真的不行 而另台更老的E3-1231 V3也是穩穩15開 上面兩台除了CPU不同,其他配置也都接近SSD/32G RAM I5 6C6T / E3 4C8T 因此推斷說CPU是最大的關鍵。 題外話,兩台我都有額外裝RAMDISK切6G出來,15開RAM都沒有吃滿 大概8X~90。

08/09 17:39, 2年前 , 5F
需要長時間來跑這些項目嗎
08/09 17:39, 5F

08/09 17:44, 2年前 , 6F
是跑在selenium grid上嗎?
08/09 17:44, 6F

08/09 17:47, 2年前 , 7F
分享我的作法,使用selenium grid
08/09 17:47, 7F

08/09 17:48, 2年前 , 8F
node不夠用的時候,用二手主機加nod
08/09 17:48, 8F

08/09 17:49, 2年前 , 9F
e,不需要這麼多的時候,就關閉二手
08/09 17:49, 9F

08/09 17:49, 2年前 , 10F
增加的主機就好.
08/09 17:49, 10F

08/09 17:51, 2年前 , 11F
不過30個就掛掉讓我有點納悶.
08/09 17:51, 11F

08/09 17:51, 2年前 , 12F
打錯 12個就掛掉就有點怪怪的
08/09 17:51, 12F

08/09 18:32, 2年前 , 13F
確定是 cpu 的問題? 感覺 ram 才是
08/09 18:32, 13F

08/09 18:32, 2年前 , 14F
瓶頸
08/09 18:32, 14F

08/09 20:16, 2年前 , 15F
差不多吧 8400也才6c6t
08/09 20:16, 15F

08/09 20:17, 2年前 , 16F
可能在互搶核心了
08/09 20:17, 16F

08/09 20:30, 2年前 , 17F
gui不是必要的話,headless brows
08/09 20:30, 17F

08/09 20:30, 2年前 , 18F
er
08/09 20:30, 18F
※ 編輯: lsps612 (114.41.206.248 臺灣), 08/09/2021 21:21:17

08/10 12:51, 2年前 , 19F
你有跑headless嗎
08/10 12:51, 19F

08/10 12:52, 2年前 , 20F
我用10400 常駐5個 看不出loading
08/10 12:52, 20F

08/10 12:52, 2年前 , 21F
沒必要的話js要關閉 載圖也關閉
08/10 12:52, 21F

08/10 12:54, 2年前 , 22F
os的話...我是linux mint
08/10 12:54, 22F
文章代碼(AID): #1X4ERonF (PC_Shopping)