[問題] 爬蟲 csrf 怎麼獲得？

看板Python作者 (oyeh)時間2年前 (2021/07/20 19:21), 編輯推噓3(3推 0噓 9→)
留言12則, 3人參與, 2年前最新討論串1/1
網頁為以下 https://www.barchart.com/stocks/quotes/AMD/put-call-ratios Cookies內的xsrf-token每天都會變 不知道有沒有辦法用python抓出來 試了以下方法都失敗 1. 從網頁內直接找是不是有藏token的數值，但沒有 2. 直接不帶cookies直接抓網頁，並拿回傳的cookies，還是失敗 暫時不考慮用python的網頁去抓（太多資料應該會抓不完） 不知道有沒有人處理過類似的問題 謝謝 -- ※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 36.234.120.165 (臺灣) ※ 文章網址: https://www.ptt.cc/bbs/Python/M.1626780117.A.B5C.html
推
07/20 20:35, 2年前 , 1F
在put-call-ratios response的set-cookie找看看
07/20 20:35, 1F
→
07/20 23:54, 2年前 , 2F
請問c大有沒有清楚一點的說明，菜雞不是很懂...
07/20 23:54, 2F
推
07/21 02:33, 2年前 , 3F
https://reqbin.com/c-uzaayddu 看headers的部分
07/21 02:33, 3F
→
07/21 02:34, 2年前 , 4F
是藏在response header不是在body
07/21 02:34, 4F
→
07/21 10:29, 2年前 , 5F
07/21 10:29, 5F
→
07/21 10:33, 2年前 , 6F
如果用get 去這網頁確實會得到後來request的csrf，不
07/21 10:33, 6F
→
07/21 10:33, 2年前 , 7F
過我把這網頁的curl轉換成python語法後，回應的header
07/21 10:33, 7F
→
07/21 10:33, 2年前 , 8F
s和圖片上的不一樣...，如果很複雜可以站內我，酬勞可
07/21 10:33, 8F
→
07/21 10:49, 2年前 , 9F
成功了，原來curl等於不同使用者，所以回應的header也
07/21 10:49, 9F
→
07/21 10:49, 2年前 , 10F
會不一樣，把回應的再拿去post拿到的資料是正確的，
07/21 10:49, 10F
→
07/21 10:49, 2年前 , 11F
謝謝c大
07/21 10:49, 11F
推
07/21 12:38, 2年前 , 12F
Form表單元素看一下通常會有
07/21 12:38, 12F
‣ 更多 a199111222 的文章
文章代碼(AID): #1Wzh7LjS (Python)