[問題] Pyhton 爬蟲frame看不到 試過Selenium

看板Python作者 (nuceBenson29)時間6年前 (2017/10/29 20:34), 6年前編輯推噓3(3推 0噓 14→)
留言17則, 6人參與, 6年前最新討論串1/1
大家好，第一次碰爬蟲 要到某學校幫學生抓取成績資料，但該學校的網站設計我透過 request，seleium都看不到frame的部份(輸入帳密，還有成績表格部份設計方式一樣) 會有隱私問題就不提供帳密(請見諒)，僅以相同設計方式的登入頁面解說 學校網址登入網址 https://khweb.ischool.com.tw/?dn=wfjh.kh.edu.tw#wfjh.kh.edu.tw 以下是code from selenium import webdriver driver = webdriver.Chrome() driver.get('https://khweb.ischool.com.tw/?dn=wfjh.kh.edu.tw#wfjh.kh.edu.tw') print(driver.page_source) 跑出來的結果沒有框架的原始碼，連frame什麼的都沒有 請問大神們 我是不是搞錯什麼? 或是提點我有什麼方向該去查的~ 謝謝 -- ※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 111.253.48.14 ※ 文章網址: https://www.ptt.cc/bbs/Python/M.1509280474.A.FE4.html
→
10/29 20:36, 6年前 , 1F
你有沒有帳密可以測試 有的話直接丟一次 看開發工具
10/29 20:36, 1F
→
10/29 20:36, 6年前 , 2F
看他把哪些資料 送到啥網頁
10/29 20:36, 2F
好我測試一下不是很熟可能要一段時間 ※ 編輯: ncueBenson (111.253.48.14), 10/29/2017 20:48:44
→
10/29 20:50, 6年前 , 3F
10/29 20:50, 3F
扣掉圖檔、css、font後有6x個檔、其中有xhr、js、htm ※ 編輯: ncueBenson (111.253.48.14), 10/29/2017 20:57:21
→
10/29 21:01, 6年前 , 4F
不是 不管他form怎處理 到最後一定有個網頁收資料
10/29 21:01, 4F
→
10/29 21:02, 6年前 , 5F
上面那張圖就是我按登入之後 他送的資料跟目標網頁
10/29 21:02, 5F
→
10/29 21:03, 6年前 , 6F
也就是說auth.ischool.com.tw/service/basicauth.php這個
10/29 21:03, 6F
→
10/29 21:03, 6年前 , 7F
就是他收登入資料的網址 送的資料圖上有
10/29 21:03, 7F
超怪的耶我登失敗登成功這個php都是一樣的內容 裡面有多一個getaccountinfo.php 但該php沒有密碼比較像是認證完從這個php 取得使用者資料 怪了從開發者介面看到的又不同 送了account(帳號) uuid(沒意外就是密碼轉成密文吧?) language(繁中) 名字 還有一些error 的檢查碼 ※ 編輯: ncueBenson (111.253.48.14), 10/29/2017 21:23:49
→
10/29 21:21, 6年前 , 8F
我沒有帳密沒辦法幫你測 反正登入這塊這步看起來是沒錯的
10/29 21:21, 8F
推
10/29 21:24, 6年前 , 9F
樓上的意思是 先去Response 看看到底是顯示在哪個頁面吧？
10/29 21:24, 9F
我大概再問一下，我現在是不是透過python想辦法傳資料到這個php 如果我得到正確的response我再透過一樣的方式去取的我想要的資料? ※ 編輯: ncueBenson (111.253.48.14), 10/29/2017 21:36:07 有了抓到帳號的正確request感謝 n大 感謝 c大 我明天再試我要拿的資料 謝謝 <3 ※ 編輯: ncueBenson (111.253.48.14), 10/29/2017 21:51:59
推
10/29 21:54, 6年前 , 10F
看起來是透過basicauth.php判斷帳密是否正確 再呼叫登入
10/29 21:54, 10F
→
10/29 21:54, 6年前 , 11F
動作 你再研究看看網頁下一步會做什麼
10/29 21:54, 11F
→
10/29 21:58, 6年前 , 12F
好的我明天下班後試試 我習慣十點就寢~~謝謝三位大大
10/29 21:58, 12F
推
10/30 12:11, 6年前 , 13F
seleium基本上應該無敵吧！很難遇到看不到的
10/30 12:11, 13F
→
10/30 13:43, 6年前 , 14F
switch_to.frame
10/30 13:43, 14F
可是我透過webdriver 看不到frame 還是我有什麼搞錯? ※ 編輯: ncueBenson (111.253.48.14), 10/30/2017 19:43:20
→
11/03 12:47, 6年前 , 15F
有透過frame登入了 可是driver抓到的資料好像是還沒
11/03 12:47, 15F
→
11/03 12:47, 6年前 , 16F
登入的網頁
11/03 12:47, 16F
→
11/05 15:06, 6年前 , 17F
裡面有個table table裡面的東西都看不到
11/05 15:06, 17F
‣ 更多 ncueBenson 的文章
文章代碼(AID): #1PzShQ_a (Python)