[問題] 如何parse有infinite scroll的頁面?
最近用node在parse一些網頁，
可是不知道該如何處理有infinite scroll的頁面阿QQ
現在應該有兩個問題:
(1) 要trigger scroll，讓更多的資料顯示出來；那就是要send一個ajax request
給要parse的那個頁面吧，可是... 該怎麼做?
(2) infinite scroll後來被trigger出來的資料可以在f12的DOM tree裡面找到，
可是parser抓到的html是來自 右鍵 -> 檢視原始碼阿，
這樣就算我可以trigger scroll還是沒辦法抓到更多資料ˊˋ
有沒有方法可以抓到f12裡面的DOM tree ?
想請問各位大師有甚麼建議~~ 謝謝~~~
--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 123.195.193.115
※ 文章網址: http://www.ptt.cc/bbs/Ajax/M.1398869897.A.9BB.html
※ 編輯: alich (123.195.193.115), 04/30/2014 23:09:58
→
05/01 00:56, , 1F
05/01 00:56, 1F
→
05/01 00:56, , 2F
05/01 00:56, 2F
推
05/01 01:52, , 3F
05/01 01:52, 3F
→
05/01 07:19, , 4F
05/01 07:19, 4F
感謝各位回應~~
原本是用request + cheerio，
但這個組合似乎無法send request(?)，也只能抓到原始碼而已。
現在換成用webdriver了，上面兩個問題都可以解決，感謝各位~~
※ 編輯: alich (42.75.226.208), 05/01/2014 11:38:25