Re: [問題] 實做上如何追蹤JS(ajax)敲後台的細節已刪文
※ 引述《marksam (炸橋)》之銘言:
: 小弟目前在研究用PHP cURL 抓一個網站的資料
: 已知這個網站有用到ajax 還有youtube API
: 想請教大家
: 在實做上 怎麼去追蹤 JS碼的細節(用眼睛看實在太累了)
: 有沒有什麼好工具呢? 怎麼使用? 萬一牽涉到API該怎麼辦?
: 在我的概念上 ajax是從前端JS下指令去後台的一個檔案要資料
: 那我就必須找到:
: 1.那個後台檔案是什麼X
: 2.從cURL直接去敲X
: 3.得到回傳的JSON
: 或是 直接從網站原始碼中挖到 JSON
: 在實做上要怎麼去從原始網站中得到這個 回傳JSON
: 請大家指正 給個方向好嗎? 還是我的觀念上有什麼漏洞呢?
: 感謝~~
如果那個網站本身有提供 API,那就用 API,這是最簡單的方式
如果沒有 API 可用的話,再寫爬蟲去爬
對於沒有用 JavaScript 動態生成網頁的站台
可能就用 HTTP action 取得網頁
像是用 GET 或 POST 或其他 HTTP action,可能適度配上參數
如果有用 JavaScript 產生頁面的站台
就用一些 web automation 的工具,模擬執行網頁的動作
我知道的有 PhantomJS 和 Selenium 兩種
可能要找一下在 PHP 下的可行方案,小弟比較沒在用 PHP
Good luck~
--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 203.71.94.1
※ 文章網址: https://www.ptt.cc/bbs/Ajax/M.1459485569.A.84B.html
推
04/03 23:53, , 1F
04/03 23:53, 1F
討論串 (同標題文章)
本文引述了以下文章的的內容:
完整討論串 (本文為第 2 之 2 篇):