[問題] 新手請益 爬蟲資料停止更新

看板Python作者 (彩色的肝)時間3年前 (2020/12/09 22:37), 3年前編輯推噓2(202)
留言4則, 3人參與, 3年前最新討論串1/1
各位前輩大家好 小弟爬蟲新手 因為真的很想去五月天的演唱會 所以寫了程式去爬 drama-ticket版 邏輯上大概是每隔一小段時間爬這個版的第一頁 如果文章標題有"售"跟"五月天" 就會傳line提醒我 只爬第一頁是因為沒有特殊狀況的話 一分鐘內的文章數應該不會超過一頁 程式碼如下 https://ideone.com/Z2psBR https://i.imgur.com/mFz6oL4.png
執行起來長這樣 https://i.imgur.com/SDsWbkL.png
寫完測試沒問題之後我有包成.exe方便使用 但我發現有時候他就莫名停下來不會在更新了 也不會一直更新等待時間 請問執行過程中有可能出現哪些問題導致這樣的情況發生呢? 小弟的理解是 就算網頁讀取錯誤 應該只會找不到標籤 然後繼續往下執行 想不到會在哪裡產生runtime error 謝謝 -- ※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 140.113.231.185 (臺灣) ※ 文章網址: https://www.ptt.cc/bbs/Python/M.1607524664.A.234.html

12/09 23:18, 3年前 , 1F
request的時候要先用try?
12/09 23:18, 1F
對欸沒想到用try來看可能是哪裡會error 感謝

12/10 00:54, 3年前 , 2F
網頁如果是有問題的,後續找標籤又index 可能IndexError
12/10 00:54, 2F

12/10 00:55, 3年前 , 3F
檢查status_code 做好log紀錄,方便後續找錯
12/10 00:55, 3F
感謝大大 學到了一課 以後會記得的 ※ 編輯: faithinu (140.113.231.185 臺灣), 12/10/2020 02:33:56

12/10 14:00, 3年前 , 4F
request 設個timeout
12/10 14:00, 4F
文章代碼(AID): #1VqE4u8q (Python)