[問題] 用 requests 爬網站無回應

看板Python作者時間8年前 (2017/04/25 20:05), 編輯推噓2(2013)
留言15則, 7人參與, 最新討論串1/1
最近寫了個小程式,想用來一次查詢一串資料,不然人工查詢很痛苦 當資料只有 10 筆的時候,可以正常輸出 10 筆查詢結果 但當資料有 10 萬筆的時候,輸出到 500 筆左右程式就會停住 請問這是單純查太大被防火牆擋了,還是 requests 函式庫的問題? (備註:程式停住時也沒有收到 404 的訊息,感覺像是一直在等對方伺服器回應 嘗試加了 sleep(1) 狀況也沒有改善) -- ※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 114.46.143.100 ※ 文章網址: https://www.ptt.cc/bbs/Python/M.1493121925.A.59D.html

04/25 20:30, , 1F
不夠資訊
04/25 20:30, 1F

04/25 20:31, , 2F
無從判斷(?)
04/25 20:31, 2F

04/25 20:45, , 3F
用 stream=True, 其他請樓下幫........
04/25 20:45, 3F

04/25 21:15, , 4F
抱歉資訊不全,因為程式就真的在發呆,啥回應都沒有
04/25 21:15, 4F

04/25 21:16, , 5F
明天試試加stream=True看看,雖然看文件的說明感覺不太像
04/25 21:16, 5F

04/26 10:39, , 6F
給個url跟gist看看吧?
04/26 10:39, 6F

04/26 11:53, , 7F
sleep看看?
04/26 11:53, 7F

04/26 11:54, , 8F
忽略上一行 原來已經sleep過了
04/26 11:54, 8F

04/26 13:30, , 9F
資訊太少 真的很難幫
04/26 13:30, 9F

04/27 21:17, , 10F
這個我之前也有遇過,完全沒有錯誤訊息
04/27 21:17, 10F

04/27 21:18, , 11F
也不知道為什麼就是停住了,嘗試換ip、換header都無
04/27 21:18, 11F

04/27 21:18, , 12F
04/27 21:18, 12F

04/27 21:19, , 13F
後來我把爬蟲程式寫成function,固定10分鐘重跑才解決
04/27 21:19, 13F

04/28 00:01, , 14F
鎖ip吧。我被鎖過3天的,對方算泥ip當日登入次數就好了
04/28 00:01, 14F

04/28 06:58, , 15F
看來只能仿照allan大的解法用重跑大法了
04/28 06:58, 15F
文章代碼(AID): #1O_pk5MT (Python)