[問題] Selenium爬資料時點不到下一頁

看板Python作者 (婚前憂鬱症)時間5年前 (2019/02/12 03:13), 編輯推噓4(405)
留言9則, 5人參與, 5年前最新討論串1/1
小弟爬蟲新手 之前看到網路有人分享爬世界盃的隊伍資料的程式碼 就抄下來練習... http://zq.win007.com/big/team/TeamSche/19.html 這是我練習的網頁,英超Arsenal的球隊賽程 我想練習把這52頁的賽程抓下來 我的程式碼如下: # -*- coding: UTF-8 -*- import selenium import bs4 import traceback import time import csv from selenium import webdriver from selenium.common.exceptions import NoSuchElementException from selenium.webdriver.common import keys driver=webdriver.Chrome() driver.get('http://zq.win007.com/big/team/TeamSche/19.html') target=driver.find_elements_by_xpath('//div[@id="div_Table2"]/table/tbody/tr') for index in range(60): ...程式碼省略... print(mergegame) driver.find_elements_by_link_Text('下一頁').click() driver.close() 我點選不到下一頁,執行60次的迴圈時, 會不斷重複抓第一頁的資訊 如果不能用link_text,有更好的解決方法嗎?? 第一次發文,不知道描述的問題跟提供的線索足不足夠 搜尋舊文找Selenium時也找不到相關線索 還請大家海涵... 感謝解答 -- ※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 1.169.161.243 ※ 文章網址: https://www.ptt.cc/bbs/Python/M.1549912388.A.5AB.html

02/12 08:04, 5年前 , 1F
find by css selector or by xpath呢?
02/12 08:04, 1F

02/12 08:35, 5年前 , 2F
你要看看是不是已經被當作機器人了,有可能被塞假資
02/12 08:35, 2F

02/12 08:35, 5年前 , 3F
料了OAO
02/12 08:35, 3F

02/12 14:47, 5年前 , 4F
設定一下useragent...因為我記得預設user agent裡面有
02/12 14:47, 4F

02/12 14:48, 5年前 , 5F
headless的字串..可能會被server發現
02/12 14:48, 5F

02/13 23:27, 5年前 , 6F
用用看xpath吧
02/13 23:27, 6F

02/14 02:14, 5年前 , 7F
你用的是find_elements,回傳的是一個list
02/14 02:14, 7F

02/14 02:15, 5年前 , 8F
driver.find_elements_by_link_text('下一頁')[0].click
02/14 02:15, 8F

02/14 02:18, 5年前 , 9F
如果你改用css或xpath還是用elements的話,會鬼打牆XD
02/14 02:18, 9F
文章代碼(AID): #1SOSb4Mh (Python)