[請益] 用程式去公開資訊觀測站抓資料,出現"查詢過於頻繁..."

看板Stock作者 ( )時間11年前 (2015/01/08 18:53), 編輯推噓13(13推 0噓 33→)
留言46則, 15人參與, 最新討論串1/1
我用vba去公開資訊觀測站抓東西，要抓每一家公司的資料。 程式跑了一下，抓了一些公司的資料後，網頁出現訊息 "查詢過於頻繁，請於稍後再查詢" 這個問題要怎麼解決好阿? 謝謝各位高手和股神 -- ※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 61.221.50.98 ※ 文章網址: http://www.ptt.cc/bbs/Stock/M.1420714435.A.472.html
推
01/08 18:57, , 1F
等一等就好了
01/08 18:57, 1F
推
01/08 18:57, , 2F
大哥你自己寫的嗎?@@" 好強哦!
01/08 18:57, 2F
→
01/08 18:58, , 3F
我也好想要這種檔案QQ 不知道要怎樣入門@@"
01/08 18:58, 3F
→
01/08 18:59, , 4F
要怎解決喔?1.設定抓檔間隔長一點 2.花錢買資料
01/08 18:59, 4F
→
01/08 18:59, , 5F
寫程式要怎麼等阿?要等就失掉寫程式的目的啦
01/08 18:59, 5F
→
01/08 18:59, , 6F
等一下或掛proxy看看
01/08 18:59, 6F
推
01/08 19:01, , 7F
你不降低查詢速度 就要有辦法跳IP
01/08 19:01, 7F
推
01/08 19:01, , 8F
MOPS 用proxy查資料有時候會異常
01/08 19:01, 8F
→
01/08 19:02, , 9F
伺服器擋暴力查詢本來就是基本功能
01/08 19:02, 9F
→
01/08 19:03, , 10F
一堆人就是愛用暴力程式抓免費的 增加人伺服器負擔
01/08 19:03, 10F
→
01/08 19:03, , 11F
快速程式抓資料等同對伺服器網路攻擊沒兩樣
01/08 19:03, 11F
→
01/08 19:04, , 12F
本來一秒查詢一筆 把他設定成30秒或1分鐘查詢一筆
01/08 19:04, 12F
→
01/08 19:05, , 13F
建議你設定深夜再抓大量比較好 不然只會越改越機車
01/08 19:05, 13F
→
01/08 19:06, , 14F
害我很想去跟公開資訊觀測站做part time，讓我盡情
01/08 19:06, 14F
→
01/08 19:06, , 15F
之前大家很愛問的買賣日報表就是這樣被大家玩爛的
01/08 19:06, 15F
→
01/08 19:06, , 16F
抓資料，然後把資料整理好放上網。
01/08 19:06, 16F
→
01/08 19:07, , 17F
要不然6點之後公佈的月營收，就沒在整合報表裡
01/08 19:07, 17F
→
01/08 19:08, , 18F
個人使用就先抓重要的幾檔自己看就好
01/08 19:08, 18F
→
01/08 19:09, , 19F
要抓完全部的你深夜在搞比較不會造成伺服器負擔
01/08 19:09, 19F
→
01/08 19:09, , 20F
版上好多高手，真的沒節制會被弄爛
01/08 19:09, 20F
→
01/08 19:09, , 21F
要非個人使用的 最簡單可以跟證交所買資料
01/08 19:09, 21F
推
01/08 19:11, , 22F
改那認證碼還太low
01/08 19:11, 22F
推
01/08 19:11, , 23F
不要逼著到時個人用資料都要買
01/08 19:11, 23F
→
01/08 19:13, , 24F
若到時候搞成 一分鐘內連續查個幾筆就會鎖半小時
01/08 19:13, 24F
→
01/08 19:13, , 25F
這樣就大家一起爽了
01/08 19:13, 25F
→
01/08 19:15, , 26F
謝謝版主提醒，我會必要時再去抓
01/08 19:15, 26F
→
01/08 19:29, , 27F
認證碼太low? 難道可以破解?
01/08 19:29, 27F
推
01/08 19:45, , 28F
當然可以 圖形辨識都在玩這個啊
01/08 19:45, 28F
→
01/08 19:46, , 29F
那圖還沒有搞到扭曲和旋轉 現成的model應該能解
01/08 19:46, 29F
推
01/08 19:59, , 30F
是他們開放的介面太爛了，不要怪USER去抓WEB。
01/08 19:59, 30F
→
01/08 19:59, , 31F
推文怎麼自己人打自己人阿 ~_~
01/08 19:59, 31F
推
01/08 20:30, , 32F
不過連GOOGLE都會擋大量查詢了~.~
01/08 20:30, 32F
→
01/08 20:37, , 33F
透過yahoo pipes抓也會被擋嗎?
01/08 20:37, 33F
推
01/08 21:17, , 34F
搞到認証碼 能破的就很少人了...
01/08 21:17, 34F
推
01/08 21:57, , 35F
希望出一個頁面一次提供每家的就不用一直擠了。
01/08 21:57, 35F
→
01/09 00:06, , 36F
當然會擋阿 都給你抓別人就不用看了
01/09 00:06, 36F
→
01/09 00:29, , 37F
資料流是有價的
01/09 00:29, 37F
→
01/09 01:23, , 38F
人在住院，先把相關條件主檔設計好，可減少不必要
01/09 01:23, 38F
→
01/09 01:27, , 39F
之查詢，把抓到的資訊free出來，讓資料再分流。
01/09 01:27, 39F
→
01/09 13:35, , 40F
hi 如果你還有回來看推文的話
01/09 13:35, 40F
→
01/09 13:36, , 41F
如果你願意的話 請站內信告訴我你抓的網址 還有
01/09 13:36, 41F
→
01/09 13:36, , 42F
想儲存的格式 因為我也有固定在抓資料 或許可以
01/09 13:36, 42F
→
01/09 13:36, , 43F
給你一點意見
01/09 13:36, 43F
推
01/10 11:50, , 44F
大大可提供抓的資料內容嗎??
01/10 11:50, 44F
推
01/10 12:03, , 45F
請問這個跟卷商提供的程式有何不同？
01/10 12:03, 45F
→
01/10 12:03, , 46F
記得卷商的資料很多, 有需要用程式特別去抓嗎QQ?
01/10 12:03, 46F
‣ 更多 yungszu 的文章
文章代碼(AID): #1Khc73Ho (Stock)