Re: [問題] 彈出式網頁如何爬取

看板Python作者boboye (肝爹)時間4年前 (2020/05/08 15:47)推噓3(3推 0噓 16→)

留言19則, 4人參與討論串2/2 (看更多)

※ 引述《yahoo168 (努力就會有騷貨)》之銘言： : https://mops.twse.com.tw/mops/web/t108sb19_q1 : 輸入ticker（ex：1201）之後 : 有一個詳細資料可以打開，會跑出彈出式視窗，裡面有股利說明書 : 目前用selenium可以模擬開啟，但抓原始碼會回到原來的頁面 : 因為新開啟的這個頁面連網址都要沒有是個彈出式的空白頁 : 請問該怎麼定位呢QQ 我自己拿這篇文練習我在開發人員工具看不到推文S大的request 只看到ajax_t1108sb19 import requests from bs4 import BeautifulSoup request_url = "https://mops.twse.com.tw/mops/web/ajax_t108sb19" headers={'User-Agent': 'Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.2 (KHTML, like Gecko) Chrome/22.0.1216.0 Safari/537.2'} form_data = { 'encodeURIComponent': '1', 'run': 'Y', 'step': '1', 'TYPEK': 'sii', 'year': '107', 'co_id': '2812', 'month': 'all', 'isnew': 'true', 'firstin': 'true' } response = requests.post(request_url, data=form_data,headers=headers) soup = BeautifulSoup(response.text) soup.find_all('input') 到這篇就卡住點選後也直接跳出視窗，但開發人員工具XHR並沒有在顯示其他檔案 https://imgur.com/a/WQA4S3R 顯示如上，請問這邊要在如何觀察呢? 謝謝 ======================================================================= import requests from bs4 import BeautifulSoup request_url = "https://mops.twse.com.tw/mops/web/ajax_t108sb22" headers = { 'user-agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_12_3) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/56.0.2924.87 Safari/537.36' } form_data = { 'encodeURIComponent':'1', 'firstin': 'true', 'TYPEK':'sii', 'year': '107', 'co_id': '2812', 'month': 'all', 'isnew': 'true', 'TYPEK': 'sii', 'isnew': 'true', 'DATE1': '20190812', 'SEQ_NO': '1', 'COMP': '2812', 'SKIND': 'G', 'step': '2' } response = requests.post(request_url, data=form_data,headers=headers) 這樣就可以了~ -- ※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 60.251.15.8 (臺灣) ※ 文章網址: https://www.ptt.cc/bbs/Python/M.1588924062.A.EB9.html

→

boboye

05/08 15:53, 4年前 , 1^F

05/08 15:53, 1^F

推

TuCH

05/08 22:53, 4年前 , 2^F

05/08 22:53, 2^F

→

TuCH

05/08 22:54, 4年前 , 3^F

05/08 22:54, 3^F