[問題] 抓取Facebook滾輪下拉後資料

看板Python作者 (Stephen)時間8年前 (2016/06/08 13:04), 編輯推噓7(7推 0噓 7→)
留言14則, 9人參與, 最新討論串1/1
大家好! python新手發問 我想寫一個抓取facebook的html碼的program 目標是抓取一個粉絲專頁一週內的po文 但我送出request後，得到的html只有前8則po文 必須要把滾輪下拉，比較舊的po文才會顯示在網頁上 想請問有什麼辦法可以解決只抓到前8則po文這個問題? (不打算使用FB graph api) 謝謝大家!!!! -- ※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 49.214.166.48 ※ 文章網址: https://www.ptt.cc/bbs/Python/M.1465362269.A.8EB.html
推
06/08 13:12, , 1F
自己去研究fb的ajax request，然後想辦法模擬
06/08 13:12, 1F
→
06/08 13:13, , 2F
這可能比Graph api還麻煩
06/08 13:13, 2F
推
06/08 14:16, , 3F
你可以試試用selenium
06/08 14:16, 3F
推
06/08 20:27, , 4F
為何不試試 FB 提供的 api
06/08 20:27, 4F
推
06/08 21:14, , 5F
fb新增個app, 後續用 token 登入然後用標準api溝通去抓
06/08 21:14, 5F
→
06/08 21:14, , 6F
資料
06/08 21:14, 6F
→
06/08 21:15, , 7F
這個方式才會簡單，過來人的經驗，要不然搞死最近
06/08 21:15, 7F
→
06/08 22:48, , 8F
用selenium可以解決。
06/08 22:48, 8F
推
06/09 10:05, , 9F
推selenium
06/09 10:05, 9F
→
06/09 15:48, , 10F
selenium,或是抓mobile頁
06/09 15:48, 10F
→
06/09 23:36, , 11F
感謝回答！目前先用API解決問題，再慢慢研究selenium
06/09 23:36, 11F
推
06/10 11:02, , 12F
selenium, 找大數學堂吧，有基本教學
06/10 11:02, 12F
推
06/12 21:47, , 13F
我是土炮用js 狂scroll，然後再抓Dom，Python 大概也
06/12 21:47, 13F
→
06/12 21:47, , 14F
是這樣，不過放一個晚上記憶體就爆了
06/12 21:47, 14F
‣ 更多 bubble0312 的文章
文章代碼(AID): #1NLwTTZh (Python)