[問題] 爬蟲問題

看板Python作者 (nujabes)時間6年前 (2017/11/27 14:56), 編輯推噓4(4推 0噓 4→)
留言8則, 4人參與, 6年前最新討論串1/5 (看更多)
用beautifulsoup想爬steam 上對遊戲的關鍵字評論 網址如下 http://steamcommunity.com/games/dota2/announcements/detail/1449457773770927103 comment 一頁十筆，在爬的時候只能抓取得到第一頁的內容 第二頁的評論以後不知從何爬起，不是很了解資料放在哪 另外 這部分有推薦用書可以查嗎 感覺不知道網頁怎麼寫，要爬資料問題一堆 又毫無頭緒.... 謝謝 -- ※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 173.56.84.230 ※ 文章網址: https://www.ptt.cc/bbs/Python/M.1511765781.A.28B.html
推
11/27 15:03, 6年前 , 1F
從developer panel可以看ajax url怎麼下
11/27 15:03, 1F
→
11/27 15:04, 6年前 , 2F
他是包在json的comment_html欄位
11/27 15:04, 2F
→
11/27 15:06, 6年前 , 3F
又麻煩你了orz 一堆報告要爬蟲分析...
11/27 15:06, 3F
推
11/27 15:11, 6年前 , 4F
看起來沒有特別檢查 https://tinyurl.com/y8kbxrar
11/27 15:11, 4F
→
11/27 15:12, 6年前 , 5F
改start就可以撈別頁了
11/27 15:12, 5F
推
11/27 17:04, 6年前 , 6F
用F12看Netwrok頁籤 看翻頁時會執行的request
11/27 17:04, 6F
推
11/28 13:43, 6年前 , 7F
用selenium吧
11/28 13:43, 7F
→
11/28 13:48, 6年前 , 8F
因為覺得有些筆數很大 selenium會慢了些
11/28 13:48, 8F
‣ 更多 Mutibil 的文章
文章代碼(AID): #1Q6xSLAB (Python)
‣ 更多 Mutibil 的文章
文章代碼(AID): #1Q6xSLAB (Python)