[問題] 大家是怎麼在爬蟲設置代理的
在網路找了幾個project
發現大家對代理設置的方式都不太一樣
有人是用list放幾個proxy位址
有人是寫個爬蟲去爬免費代理的網站
把proxy位址儲放到本機資料庫
再從資料庫撈一個代理出來用
我之前的做法是去某個代理網站
隨機撈一個連線速度比較快 比較多人用的代理
在想要不要自已寫一個抓代理位址的爬蟲
不太想動用到資料庫 最好能直接找一個能用的proxy
想問有現成的lib能用嗎
--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 61.218.40.109
※ 文章網址: https://www.ptt.cc/bbs/Python/M.1505375572.A.38A.html
推
09/18 17:28, , 1F
09/18 17:28, 1F