[討論] 股票爬蟲

看板Python作者 (Glory Glory ManU )時間6年前 (2017/12/05 22:32), 編輯推噓6(6011)
留言17則, 8人參與, 6年前最新討論串1/1
小弟初學python, 有寫一個某個股票網站的爬蟲, 希望跟各位前輩交流一下, 但是礙於這個網站會擋爬蟲, 所以我不敢把程式公開, 如果有人也有寫類似的爬蟲願意交流的嗎? 目前我的程式因為股票資訊太多, 如果要全部都爬會花超過13hr, 所以我閹割了一大部分, 保留我覺得比較重要的, 但是還是會花約3hr多 想看前輩是不是有比較好的方法願意交流 感謝 -- ※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 114.45.120.135 ※ 文章網址: https://www.ptt.cc/bbs/Python/M.1512484378.A.BF5.html

12/05 23:40, 6年前 , 1F
股票程式交易不都有API可以用,為什麼要爬
12/05 23:40, 1F

12/06 00:05, 6年前 , 2F
3小時好久… 覺得沒效率
12/06 00:05, 2F

12/06 00:05, 6年前 , 3F
應該有像樓上講的API可以用沒有錯
12/06 00:05, 3F

12/06 00:53, 6年前 , 4F
有現成的,有辦法把所需的數據給我自由運算的嗎?
12/06 00:53, 4F

12/06 03:37, 6年前 , 5F
stocktw
12/06 03:37, 5F

12/06 09:45, 6年前 , 6F
是樓上說的這網站嗎?改天來挑戰看看~~
12/06 09:45, 6F

12/06 21:19, 6年前 , 7F
github twstock
12/06 21:19, 7F

12/07 00:31, 6年前 , 8F
喔! 這個我看過,寫得很好,但是少了一些資訊,所以我只
12/07 00:31, 8F

12/07 00:31, 6年前 , 9F
好自己爬
12/07 00:31, 9F

12/07 12:39, 6年前 , 10F
很好奇為何爬3hr..我爬了8個頁面還加上運算後在google
12/07 12:39, 10F

12/07 12:40, 6年前 , 11F
sheet上紀錄,還做了樞紐與畫圖也不用3分鐘啊
12/07 12:40, 11F

12/07 12:41, 6年前 , 12F
btw, 我只紀錄了14個指標啦
12/07 12:41, 12F

12/07 18:51, 6年前 , 13F
因為那個網站把歷史數據全部放上去,讀取解析那海量數據
12/07 18:51, 13F

12/07 18:51, 6年前 , 14F
花很多時間
12/07 18:51, 14F

12/07 18:52, 6年前 , 15F
有興趣我可以把git給您參考,看有沒什麼建議?
12/07 18:52, 15F

12/07 20:19, 6年前 , 16F
可以學我把歷史資料爬完後,下來用SQL分析,快不少
12/07 20:19, 16F

12/08 18:53, 6年前 , 17F
我就是這樣做沒錯,但還是每天要更新
12/08 18:53, 17F
文章代碼(AID): #1Q9guQlr (Python)