[問題] 想請問更換ip的問題

看板Python作者 (TangTang)時間9年前 (2016/12/08 17:33), 編輯推噓4(404)
留言8則, 5人參與, 最新討論串1/1
最近在練習用python寫爬蟲 但是在大量爬取時出現ProxyError 主要就是因為超過Max retries exceeded 該網頁 所以我想在爬取時定時更換ip 但公司電腦又不能使用safeIP 不知道有沒有其他方法能在爬取資料時renew IP 懇請各位大大指教 或是給我關鍵字讓我自己估狗學習 謝謝 -- ※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 110.30.67.160 ※ 文章網址: https://www.ptt.cc/bbs/Python/M.1481189629.A.C7F.html

12/08 17:56, , 1F
用公司電腦就低調點慢慢爬, 不然被抓還可以告你偷電
12/08 17:56, 1F

12/08 18:08, , 2F
先收集proxy、socket5、可以穿x-forward-proxy
12/08 18:08, 2F

12/08 18:09, , 3F
不然你換再多ip應該也...
12/08 18:09, 3F

12/09 09:28, , 4F
也很想知道+1 ...
12/09 09:28, 4F

12/09 09:29, , 5F
想知道有無方法能更換proxy, 免費付費都好
12/09 09:29, 5F

12/09 09:29, , 6F
頻率數分鐘一次也可以 目前知道透過browser可以
12/09 09:29, 6F

12/09 14:54, , 7F
改 X-forward-for Header 不知道有沒有用 XD
12/09 14:54, 7F

12/15 02:09, , 8F
架tor, 不過效能會下降
12/15 02:09, 8F
文章代碼(AID): #1OIIZzn_ (Python)