Re: [問題] 爬蟲RequestURL的取得

看板Python作者 (阿文)時間8年前 (2017/10/09 09:51), 8年前編輯推噓0(0推 0噓 7→)
留言7則, 3人參與, 8年前最新討論串2/2 (看更多)
※ 引述《unhumanWu (阿文)》之銘言： : 大家好，初學爬蟲 : 最近在蒐集以下網址店點相關資訊 : https://www.aptg.com.tw/store/ : 我是透過區域查詢(縣市及鄉鎮市區)的方式來搜尋店點 : 發現他每個鄉鎮市區都會回傳不同的Request URL : 各行政區的Request URL長相大概像下面這樣： : https://imgur.com/a/9qK7J : 想請教有沒有方法可以知道網站全部行政區的Request URL : 感恩！ 類似的狀況也發生在下面的網址 就是不同行政區回傳不同的Resquest URL 雖然可以手動查，但想知道也沒有其他方法 感恩～ https://www.tstartel.com/CWS/storeLocation.php -- ※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 220.136.66.131 ※ 文章網址: https://www.ptt.cc/bbs/Python/M.1507513905.A.9F4.html
→
10/09 10:06, 8年前 , 1F
F12 直接看他　js source code
10/09 10:06, 1F
→
10/09 10:10, 8年前 , 2F
他把原始碼都放在上面了，你 try 幾個應該就有了
10/09 10:10, 2F
→
10/09 14:46, 8年前 , 3F
%E4%B8%AD%E6%AD%A3%E5%8D%80 => 中正區 的 URL encoded
10/09 14:46, 3F
→
10/09 14:46, 8年前 , 4F
format, 以下都是一樣, 可以直接用 urllib.parse 轉換
10/09 14:46, 4F
→
10/09 14:47, 8年前 , 5F
%E5%8F%B0%E5%8C%97%E5%B8%82 => 台北市
10/09 14:47, 5F
結果我後來土法煉鋼把各個城市的encode抓出來 https://imgur.com/wEYBDhe
但如果項目太多就傷腦筋了 來研究一下urllib，感恩 ※ 編輯: unhumanWu (220.136.66.131), 10/09/2017 19:01:36
→
10/10 04:08, 8年前 , 6F
給你參考
10/10 04:08, 6F
→
10/10 07:39, 8年前 , 7F
python3 只要 urlib, python2 散布在 urlpares 和 urlib
10/10 07:39, 7F
推，原來是這個意思 ※ 編輯: unhumanWu (220.136.38.63), 10/10/2017 09:06:50 ※ 編輯: unhumanWu (220.136.38.63), 10/10/2017 09:17:18
‣ 更多 unhumanWu 的文章
文章代碼(AID): #1PsjOndq (Python)
‣ 更多 unhumanWu 的文章
文章代碼(AID): #1PsjOndq (Python)