[問題] 加了headers還是回應403

看板Python作者 (星空螢火蟲)時間2年前 (2021/08/03 13:33), 編輯推噓1(1推 0噓 5→)
留言6則, 2人參與, 2年前最新討論串1/1
今天在爬一個國外的網頁 https://aflcio.org/executive-paywatch/highest-paid-ceos?combine=&industry= All&state=All&sp500=1&page=1 我即便把整串headers都放上去 'accept' 'accept-encoding' 'accept-language' 'cache-control' 'cookie' 'if-modified-since' 'sec-ch-ua' 'sec-ch-ua-mobile': 'sec-fetch-dest' 'sec-fetch-mode' 'sec-fetch-site' 'sec-fetch-user' 'upgrade-insecure-requests' 'user-agent' 依舊回應403 想請問版上大神有無解方<(_ _)> -- ※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 140.112.112.171 (臺灣) ※ 文章網址: https://www.ptt.cc/bbs/Python/M.1627968795.A.BA1.html
推
08/03 16:35, 2年前 , 1F
搜了一下，這是cloudflare的防爬，放header也沒用
08/03 16:35, 1F
→
08/03 16:36, 2年前 , 2F
可能需要使用 cloudscraper
08/03 16:36, 2F
→
08/03 16:36, 2年前 , 3F
不過我沒有實做，看看就好 XD
08/03 16:36, 3F
→
08/03 20:51, 2年前 , 4F
08/03 20:51, 4F
→
08/03 20:51, 2年前 , 5F
arning-Python-day14/
08/03 20:51, 5F
→
08/03 20:51, 2年前 , 6F
用urlopen就可以了，奇怪
08/03 20:51, 6F
‣ 更多 B01201026 的文章
文章代碼(AID): #1X2DKRkX (Python)