[請益] 這個網頁怎麼爬？消失

看板Soft_Job作者時間6年前 (2017/08/02 18:15), 6年前編輯推噓7(7推 0噓 8→)
留言15則, 7人參與, 最新討論串1/1
下面這個頁面有一個FORM http://mops.twse.com.tw/mops/web/t120sb02_q10 表格中在 1.依債券代號查詢 填入 00000 及 99999 按下確定後會列出兩百多檔的資料，不過檢視網頁原始碼 卻都沒有那些資料。 我用GOOGLE的開發工具去看他是post，照著他的作法 用CURL去抓 都是抓到整個原始頁面，而沒有他吐出來的資料.. 有高手可以幫忙看一下嗎？只能報答您1000P幣 @@ 補充：Hevak大提示的用法就是最簡單的了。 版上神人好多，感謝。 1000P幣贈送。 -- ※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 49.217.101.205 ※ 文章網址: https://www.ptt.cc/bbs/Soft_Job/M.1501668908.A.B5A.html
推
08/02 18:24, , 1F
他ajax吐回來了一個html的樣子 抓那個就好
08/02 18:24, 1F
推
08/02 18:42, , 2F
把form data那邊照貼上去應該就好 我用python ok
08/02 18:42, 2F
推
08/02 20:13, , 3F
按下確定後 會request回 ~/mops/web/ajax_t120sb02
08/02 20:13, 3F
→
08/02 20:14, , 4F
server response 一份html到client
08/02 20:14, 4F
推
08/02 20:17, , 5F
回來的html 一次就給全部的資料了(都已經畫在html上)
08/02 20:17, 5F
→
08/02 20:17, , 6F
換頁只是把table做show hide而已
08/02 20:17, 6F
推
08/02 20:23, , 7F
08/02 20:23, 7F
→
08/02 20:24, , 8F
用chrome develop tool看 就很清楚了~
08/02 20:24, 8F
謝謝。
→
08/03 01:58, , 9F
留著不要刪後人可以參考
08/03 01:58, 9F
→
08/03 02:38, , 10F
我再試看看..CURL命令照post的參數打, 傳回的資料不對
08/03 02:38, 10F
→
08/03 03:08, , 11F
開發者工具對request右鍵有個copy as curl，那個copy出來的
08/03 03:08, 11F
→
08/03 03:08, , 12F
curl指令會比你自己打的完整
08/03 03:08, 12F
H大你真的是我的救命恩人。我之前都慢慢湊指令，而且連HEADER 都慢慢湊，但根本湊不完整。
→
08/03 03:08, , 13F
(chrome開發者工具的network那頁)
08/03 03:08, 13F
推
08/03 04:06, , 14F
08/03 04:06, 14F
推
08/03 10:01, , 15F
用GET就好了
08/03 10:01, 15F
※ 編輯: YAYA6655 (49.217.101.205), 08/03/2017 11:57:54
‣ 更多 YAYA6655 的文章
文章代碼(AID): #1PWQOijQ (Soft_Job)