[問題] 爬蟲突然掛掉

看板Python作者 (洨大魯蛇ㄍ)時間3年前 (2021/02/04 09:30), 3年前編輯推噓7(7推 0噓 19→)
留言26則, 8人參與, 3年前最新討論串1/1
工具: python 3.8 selenium webdriver.Chrome() 情況: 開多個 console 爬同個網站不同頁面 今天早上看發現有些掛掉 幾乎都是同個時間 但有些還是繼續爬 程式碼都依樣 頁面不同 錯誤地方都不太一樣 driver.refresh() 比較多 錯誤原因 NoSuchWindowException: no such window: window was already closed (Session info: chrome=87.0.4280.141) 嘗試輸入指令 driver Out[23]: <selenium.webdriver.chrome.webdriver.WebDriver (session="98fcf588b7cc41cca659c46b9e35424b")> driver.window_handles Out[26]: [] driver.page_source NoSuchWindowException: no such window: target window already closed from unknown error: web view not found (Session info: chrome=87.0.4280.141) 找不到頭緒怎麼解 打 driver 仍然有訊信 但是執行一些動作就錯誤 因為有些其他程式還在執行 沒有中斷 想問看有沒有寫法可以避免 -- ※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 36.230.244.130 (臺灣) ※ 文章網址: https://www.ptt.cc/bbs/Python/M.1612402209.A.68E.html
推
02/04 10:08, 3年前 , 1F
是不是因為fail就關閉browser啦？資訊有點少欸～
02/04 10:08, 1F
→
02/04 10:28, 3年前 , 2F
Chrome 跟頁面都在
02/04 10:28, 2F
→
02/04 10:28, 3年前 , 3F
頁面是空白
02/04 10:28, 3F
推
02/04 12:00, 3年前 , 4F
你是不是觸發網頁的反爬蟲機制，且你爬的是什麼網頁呢？
02/04 12:00, 4F
→
02/04 13:24, 3年前 , 5F
我猜是樓上講的吧 過一天再試試看
02/04 13:24, 5F
推
02/04 14:21, 3年前 , 6F
頁面都空白的話，應該不是selenium的問題吧
02/04 14:21, 6F
→
02/04 14:21, 3年前 , 7F
直覺也是4F講的那樣
02/04 14:21, 7F
→
02/04 14:26, 3年前 , 8F
找個免費的爬蟲軟體批量爬看看會不會被擋
02/04 14:26, 8F
→
02/04 14:46, 3年前 , 9F
反爬就不得而知 像 google 還有要你選圖
02/04 14:46, 9F
→
02/04 14:48, 3年前 , 10F
因為同個網站 前一個月沒有這種問題 這個月多放個幾個
02/04 14:48, 10F
→
02/04 14:48, 3年前 , 11F
帳號去爬 目前找到解法是多寫個sleep在動作
02/04 14:48, 11F
→
02/04 16:42, 3年前 , 12F
網站三不五時改個頁面就能搞死你了
02/04 16:42, 12F
→
02/04 21:04, 3年前 , 13F
你一次多隻爬同一個網頁,是不是IP被偵測到
02/04 21:04, 13F
推
02/04 21:53, 3年前 , 14F
有可能你爬的那個網頁內容就是不存在
02/04 21:53, 14F
→
02/04 21:53, 3年前 , 15F
你打開瀏覽器直接貼上那個網址就知道是不是這個原因
02/04 21:53, 15F
→
02/05 02:30, 3年前 , 16F
02/05 02:30, 16F
→
02/05 02:30, 3年前 , 17F
有人提到可能是網頁開了新視窗 然後關了原本的
02/05 02:30, 17F
→
02/05 02:30, 3年前 , 18F
導致handle指向一個已經關閉的視窗
02/05 02:30, 18F
→
02/05 02:30, 3年前 , 19F
解法有可能是這個
02/05 02:30, 19F
→
02/05 02:30, 3年前 , 20F
02/05 02:30, 20F
→
02/05 02:30, 3年前 , 21F
指向一個新的視窗 忽略以下exception
02/05 02:30, 21F
→
02/05 02:30, 3年前 , 22F
NoSuchWindowException, NoSuchElementException
02/05 02:30, 22F
今天沒有異狀 我情況是 一個console 對應一個driver 執行程式 沒有關閉網頁指令 有關閉行為 就是點裡面的連結 跑出彈跳視窗 用 find xpath 去把彈出來的視窗關閉 因為我理解是 某種原因 切斷 網頁跟程式的連結 因為網頁還在 但變成空白畫面 程式變成找不到那頁 比較像是網頁當掉 那就應該是 對方網站 OR CHROME 問題 內容我在研究一下 感謝
推
02/05 04:36, 3年前 , 23F
樓上說得也很有可能會發生的
02/05 04:36, 23F
※ 編輯: loser113 (36.230.244.130 臺灣), 02/05/2021 09:25:11 ※ 編輯: loser113 (36.230.244.130 臺灣), 02/05/2021 09:27:27
推
02/05 14:25, 3年前 , 24F
話說你空白網頁，有帶入url嗎？
02/05 14:25, 24F
→
02/05 14:46, 3年前 , 25F
有 就是要爬的那頁網址
02/05 14:46, 25F
推
02/05 16:53, 3年前 , 26F
會不會是browser memory leak就被砍掉了？我好像碰過
02/05 16:53, 26F
‣ 更多 loser113 的文章
文章代碼(AID): #1W6quXQE (Python)