[問題] 瀑布式網頁爬蟲問題

看板Python作者 (六四坦克蹦蹦蹦)時間3年前 (2021/02/02 01:03), 編輯推噓5(5推 0噓 6→)
留言11則, 8人參與, 3年前最新討論串1/1
請問各位30cm Ecup鄉親們: 小弟最近在爬蟲使用selenium爬蟲時出現了一點障礙，就是 當瀑布式網頁下滑太多時，電腦的記憶體會炸開。目前的解決方法是在chrome options 添 加--disk-cache-dir來指定存放在外接硬碟。 可是電腦在跑的時候，雖然硬碟中有東西進來，但是同時電腦的ram也在飛速流失 拜託各位大老們指點我這個菜逼八 -- ※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 114.136.149.183 (臺灣) ※ 文章網址: https://www.ptt.cc/bbs/Python/M.1612198980.A.C3B.html
→
02/02 06:05, 3年前 , 1F
用JS刪掉抓完資料的element?
02/02 06:05, 1F
推
02/02 09:07, 3年前 , 2F
用requests +bs4 爬
02/02 09:07, 2F
推
02/02 13:26, 3年前 , 3F
a大 他可能要爬動態資料吧？
02/02 13:26, 3F
→
02/02 14:57, 3年前 , 4F
對的 我要爬動態資料
02/02 14:57, 4F
推
02/02 16:51, 3年前 , 5F
一樣用requests爬，盡量不要用s
02/02 16:51, 5F
推
02/02 17:31, 3年前 , 6F
用request吧
02/02 17:31, 6F
推
02/02 19:56, 3年前 , 7F
瀑布式大部分都是下拉時再發請求去拿資料
02/02 19:56, 7F
→
02/02 19:57, 3年前 , 8F
去看開發者工具 用requests 發出一樣的請求
02/02 19:57, 8F
→
02/03 04:15, 3年前 , 9F
用selenium爬蟲很慢的
02/03 04:15, 9F
→
02/03 22:49, 3年前 , 10F
你要懂網路，網路才會懂你，requests香噴噴，沒極端反爬
02/03 22:49, 10F
→
02/03 22:49, 3年前 , 11F
需求不要Selenium
02/03 22:49, 11F
‣ 更多 superpaden 的文章
文章代碼(AID): #1W63H4mx (Python)