[問題] wget完整網頁

看板Linux作者 (E T)時間12年前 (2014/02/13 23:27), 編輯推噓4(4推 0噓 11→)
留言15則, 5人參與, 最新討論串2/3 (看更多)
第一次發問請多多指教> < 我想利用Linux的wget去抓取網頁資料 但發現我想抓的網頁含有ajax的內容 想請問這樣還有方法可以抓取完整的網頁內容嗎 如果wget無法做到,其他可達成的任何方法都可以... 先謝謝大家回答!! -- ※ 發信站: 批踢踢實業坊(ptt.cc) ◆ From: 123.193.36.202 ※ 編輯: wilson8069 來自: 123.193.36.202 (02/13 23:29) ※ 編輯: wilson8069 來自: 123.193.36.202 (02/13 23:29)
→
02/13 23:36, , 1F
wget是抓檔案用的，而且還是要知道詳細網址
02/13 23:36, 1F
推
02/14 00:01, , 2F
用chrome的dev tool看一下load完整個網頁會有哪些request
02/14 00:01, 2F
→
02/14 00:02, , 3F
再去推敲ajax抓網頁其他部份的rule
02/14 00:02, 3F
推
02/14 00:11, , 4F
用 headless browser 跑完網頁再輸出
02/14 00:11, 4F
→
02/14 00:23, , 5F
02/14 00:23, 5F
→
02/14 00:25, , 6F
這邊附上網址~因為想抓取多個類似網頁的資料
02/14 00:25, 6F
→
02/14 00:25, , 7F
所以想利用指令或是程式的方式!
02/14 00:25, 7F
推
02/14 13:53, , 8F
(靜態)網頁內容的話我比較常用 curl
02/14 13:53, 8F
→
02/14 13:53, , 9F
不過原 po 的狀況應該研究一下 ajax 從哪抓東西
02/14 13:53, 9F
→
02/14 13:54, , 10F
然後直接去那抓資料，通常 ajax 的資料也比網頁
02/14 13:54, 10F
→
02/14 13:54, , 11F
好 parse
02/14 13:54, 11F
→
02/14 14:03, , 12F
嗯嗯,因為我用curl還是沒辦法抓完整的網頁@@
02/14 14:03, 12F
推
02/15 15:49, , 13F
看了一下 你需要資料是這個? http://tinyurl.com/k4mm9zd
02/15 15:49, 13F
→
02/16 11:39, , 14F
就是這個!請問這東西在哪? 謝謝!
02/16 11:39, 14F
→
02/16 14:43, , 15F
已經解決了!謝謝各位~詳見s版友的回文
02/16 14:43, 15F
‣ 更多 wilson8069 的文章
文章代碼(AID): #1I_EHtHL (Linux)
‣ 更多 wilson8069 的文章
文章代碼(AID): #1I_EHtHL (Linux)