[問題] WebRequest 作業逾時 問題
不好意思、我遇到了一個問題
我想要抓取公開資訊站上面的損益表
於是我用webrequest的方式去抓取1300多隻的資訊
我是用迴圈的方式針對每支去抓
但是碰到一個問題、就是每抓20-30隻左右時
就會出現「作業逾時」
我有嘗試過每抓一支時、就設定一個Thread.Sleep
我從1秒到10秒都嘗試過
但是就是不時抓個幾隻的時候、就會出現「作業逾時」
我有試著、當出現「作業逾時」的時候、重新跑一次webrequest
但是似乎沒用、不過這時候關掉程式在開一次、又再度可以抓取約20-30隻的資訊
這是什麼問題呢？
我有想過是不是抓取的頻率太頻繁、被當做是攻擊
不過關掉主程式再開一次、又可以在抓取個幾隻
我用這個方法、有抓取過yahoo的股票資訊
Thead.Sleep設定5秒就可以避開被當做惡意攻擊
有可以幫我解答的嘛>"<
我卡好久了...
謝謝>"<
=====(補充)=========
我剛剛上網又去爬了一下文
我發現是我的WebResponse沒有Close的關係
我後來修改了一下、似乎可以正常抓取了
請問我這樣子的方式是正確的嘛？
雖然程式working中...
但是也不知道是不是真的是這個問題
--
※ 發信站: 批踢踢實業坊(ptt.cc)
◆ From: 122.118.190.179
※ 編輯: sunz5010 來自: 122.118.190.179 (12/15 22:08)
→
12/16 01:16, , 1F
12/16 01:16, 1F
→
12/16 11:02, , 2F
12/16 11:02, 2F