[問題] bilibili 使用者資訊爬蟲

看板Python作者 (Kiisar)時間8年前 (2017/08/31 15:16), 編輯推噓0(0推 0噓 6→)
留言6則, 3人參與, 最新討論串1/1
目前是想爬取使用者的資訊 像是關注跟粉絲的人數 然後再爬取那些關注跟粉絲的資訊 https://space.bilibili.com/201293/#!/fans/follow 像是我要爬取這個網頁的話 怎麼樣爬都爬不出關注者列表 原本是用urllib2加header來爬 但後來發現網頁好像是用JS來跑的 改成以下的code http://codepad.org/oRVQkGF9 但還是一樣的結果 我想爬的內容在 <div id="space-body"></div>裡面 但爬出來都是空的 可以的話還請各位大神們能給點意見 -- ※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 111.251.217.33 ※ 文章網址: https://www.ptt.cc/bbs/Python/M.1504163780.A.483.html
→
08/31 16:05, , 1F
Selenium 遇到元素是空的第一件事情先加個 delay 壓壓驚
08/31 16:05, 1F
→
08/31 16:27, , 2F
bilibili 我之前有抓過播放列表的資訊 ajax 沒有防外連
08/31 16:27, 2F
→
08/31 16:27, , 3F
可以用 chrome 的 Developer Tools 開其中的 Network 看
08/31 16:27, 3F
→
08/31 16:28, , 4F
https://space.bilibili.com/ajax/* 開頭的都有可能
08/31 16:28, 4F
→
08/31 16:29, , 5F
資訊大多都是 json 格式 很好處理
08/31 16:29, 5F
→
08/31 16:36, , 6F
謝謝大大們 目前有看到東西了!
08/31 16:36, 6F
‣ 更多 rocker915 的文章
文章代碼(AID): #1PfxV4I3 (Python)