[問題] AJAX網路爬蟲

看板Python作者時間5年前 (2019/05/31 22:57), 編輯推噓3(3推 0噓 0→)
留言3則, 3人參與, 4年前最新討論串1/1
之前都是用scrapy搭配selenium爬蟲，不過遇到動態網頁就會慢很多 最近爬文得知可以用AJAX方式去把所需要資料讀出來，不過無法跟網路教學一樣讀出json格式 以下是我要資料流程 EX: import requests import json url = 'https://fb.oddsportal.com/feed/match/1-6-E5R55yD8-3-1-yj4d1.dat' response = requests.get(url) response.text 問題就如下打response.text時會出現以下，而不是像chrome工具顯示後面還有一大串json "globals.jsonpCallback('/feed/match/1-6-E5R55yD8-3-1-yj4d1.dat', {'e':'404'});" 請問這是為什麼呢？ 謝謝 -- ※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 101.13.83.176 ※ 文章網址: https://www.ptt.cc/bbs/Python/M.1559314658.A.6F5.html
推
06/01 01:19, 5年前 , 1F
試試看把header設定的跟google chrome一樣看看
06/01 01:19, 1F
推
06/01 20:03, 5年前 , 2F
header 要給參數
06/01 20:03, 2F
推
06/11 11:58, 4年前 , 3F
scrapy可以用splash處理AJAX
06/11 11:58, 3F
‣ 更多 stanleychao 的文章
文章代碼(AID): #1SyK3YRr (Python)