[問題] IG爬蟲會卡在LoginAndSignupPage

看板Python作者 (金魚花火)時間5年前 (2020/08/10 17:41), 編輯推噓2(2推 0噓 1→)
留言3則, 2人參與, 5年前最新討論串1/1
大家好，我最近在練習使用Python進行IG照片爬蟲。 我的做法是 1.先連上IG的帳號 2.分析每個貼文所在的URL 3.讀取貼文URL再進去找照片的URL 4.擷取照片的URL再下載 現在遇到的問題是，我在A電腦進行爬蟲是沒問題的，但在B電腦執行爬蟲時會卡在IG的Lo ginAndSignUpPage然後無法爬蟲。 我嘗試改了B電腦的cookie就可以連上IG的帳戶了，但要連上貼文URL時又會卡在LoginAnd SignUpPage上。 我觀察了一下發現A電腦即使開啟無痕視窗依然會保有IG的登入資訊，而B電腦開啟無痕視 窗後就失去了IG的登入資訊。 想請問該如何讓B電腦也能順利的完成爬蟲呢？ -- ※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 114.137.217.242 (臺灣) ※ 文章網址: https://www.ptt.cc/bbs/Python/M.1597052469.A.43C.html
推
08/12 14:36, 5年前 , 1F
cookie有保存在爬蟲的設定中嗎？還是只是一次性的，並沒
08/12 14:36, 1F
→
08/12 14:36, 5年前 , 2F
有帶到下一個頁面？
08/12 14:36, 2F
推
08/19 18:36, 5年前 , 3F
我之前寫沒遇過這種問題，我是用名字去抓全部的圖片
08/19 18:36, 3F
‣ 更多 MTlessugar 的文章
文章代碼(AID): #1VCHOrGy (Python)