[問題] 爬動態資料問題

看板Web_Design作者 (凌晨是我)時間9年前 (2015/03/02 14:30), 編輯推噓2(2010)
留言12則, 6人參與, 最新討論串1/1
各位大大大家好, 爬網頁資料很常被用來做一些資料搜集或整理上, 以前不管是使用DOM的比對或者是Regex來處理都還好處理, 但自從很多網頁開始使用動態載入資料之後,原本的做法變得不可行。 不知道版有大大有沒有相關資訊可以用來解決這樣的問題? 是否要透過不一樣的技術來搜集資料。? -- ※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 140.122.184.47 ※ 文章網址: https://www.ptt.cc/bbs/Web_Design/M.1425277832.A.91F.html

03/02 15:52, , 1F
phantom js
03/02 15:52, 1F

03/02 15:53, , 2F
要不然就自己解出ajax的網站模擬request
03/02 15:53, 2F

03/02 15:54, , 3F
現在瀏覽器的開發者工具都有看request的功能
03/02 15:54, 3F

03/02 22:37, , 4F
phantom +1,不過早期都是用C#+WebBrowser硬幹
03/02 22:37, 4F

03/03 00:09, , 5F
03/03 00:09, 5F

03/03 11:33, , 6F
謝謝各位大大提供,我也都用C#抓比較多
03/03 11:33, 6F

03/04 09:36, , 7F
想問phantomjs可以操作linux換IP嗎~?
03/04 09:36, 7F

03/04 12:14, , 8F
你可以把他跟其他語言合用?像是nodejs就有phantom的
03/04 12:14, 8F

03/04 12:14, , 9F
bridge,phantom js本身也能單獨拿來當server用
03/04 12:14, 9F

03/04 12:15, , 10F
phantom js本身應該沒那些功能
03/04 12:15, 10F

03/04 14:02, , 11F
Ok,我再研究看看,感謝你~
03/04 14:02, 11F

03/20 23:03, , 12F
寫瀏覽器套件去抓
03/20 23:03, 12F
文章代碼(AID): #1Kz0E8aV (Web_Design)