[問題] scraping HTML tables

看板R_Language作者luenchang (luen)時間3年前 (2021/02/22 16:53)推噓1(1推 0噓 4→)

留言5則, 3人參與討論串1/1

請教一個和爬蟲相關的問題。我想爬的是這個網頁 https://quickfs.net/company/A2M:AU 裡的兩個tables, (1) Key Statistics及 (2) 拉下式選單下面的表。我是用copy xpath 的方式，我試了幾乎所有element的xpath, 但是沒有一個能夠讀到數據。不知道是我爬的網頁有防爬的設計，還是我的xpath找錯了? 以下是我的R code # URLs url.main <- "https://quickfs.net/company" url.ASX.A2M <- file.path(url.main,"A2M:AU") # Copy xpath of tables xpath.1 <- '//*[@id="ovr-table"]' xpath.2 <- '//*[@id="ovr-table"]/tbody' xpath.3 <- '//*[@id="ovr-table"]/tbody/tr[1]' # Get html table into a data.frame A2M <- url.ASX.A2M %>% xml2::read_html() %>% html_nodes(xpath=xpath.1) %>% html_table() A2M # list() -- ※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 110.174.219.126 (澳大利亞) ※ 文章網址: https://www.ptt.cc/bbs/R_Language/M.1613984007.A.4C6.html

推

locka

02/22 17:05, 3年前 , 1^F

02/22 17:05, 1^F

→

andrew43

02/22 17:26, 3年前 , 2^F

02/22 17:26, 2^F

→

andrew43

02/22 17:27, 3年前 , 3^F

02/22 17:27, 3^F