[問題] python取得html消失

看板Python作者時間9年前 (2016/12/11 21:01), 9年前編輯推噓0(0推 0噓 13→)
留言13則, 2人參與, 最新討論串1/1
各位大大我用urllib2抓取單個網頁的html發現要2秒，請問是否有方法可以更快的抓取呢 ？我整個程式就只有抓這個網頁還可以用多線程？？？還是有什麼lib可以更快 -- ※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 101.15.21.221 ※ 文章網址: https://www.ptt.cc/bbs/Python/M.1481461301.A.700.html
→
12/11 21:21, , 1F
抓哪個網頁？是 internet 上面網頁嗎
12/11 21:21, 1F
→
12/11 21:52, , 2F
另外你是多次請求嗎？還是只有一次請求而已
12/11 21:52, 2F
→
12/11 21:52, , 3F
若慢可能先確認一下是否是 dns 解析的問題
12/11 21:52, 3F
https://www.lightnovel.cn/forum-141-1.html 這個網站我是十分鐘請求一次，取得html的時間是chrome的兩到三倍 ※ 編輯: aa12twtwaa (101.15.21.221), 12/11/2016 22:25:45
→
12/11 22:30, , 4F
都在同一台電腦上測試的？
12/11 22:30, 4F
→
12/11 22:38, , 5F
程式碼測試，我這邊花費時間截圖:
12/11 22:38, 5F
→
12/11 22:38, , 6F
12/11 22:38, 6F
→
12/11 22:42, , 7F
然後我看一下 lightnovel.cn 的授權 nameserver
12/11 22:42, 7F
→
12/11 22:42, , 8F
分別是 f1g1ns{1,2}.dnspod.net 主機
12/11 22:42, 8F
→
12/11 22:42, , 9F
其中第一台有問題，連線 dns query 要等至少2秒才回應
12/11 22:42, 9F
→
12/11 22:43, , 10F
所以你的問題與 python code 沒關係，是對方的問題
12/11 22:43, 10F
→
12/11 22:44, , 11F
其實 f1g1ns1.dnspod.net 本身也多個 ip 紀錄
12/11 22:44, 11F
→
12/11 22:44, , 12F
所以有幾台回應特別慢就產生這個問題了
12/11 22:44, 12F
→
12/11 22:56, , 13F
原來如此，謝謝你
12/11 22:56, 13F
‣ 更多 aa12twtwaa 的文章
文章代碼(AID): #1OJKurS0 (Python)