[請益] 請問爬蟲+資料統計怎麼發展比較好?

看板Soft_Job作者 (ge)時間7年前 (2018/02/05 02:18), 7年前編輯推噓12(12推 0噓 16→)
留言28則, 17人參與, 7年前最新討論串1/1
我一直有一個夢 就是希望能把我收集的各個網站上的公開資料 擷取下來 (是公開資料) 譬如有50個網站的公開資料 我希望寫個程式 自動抓取這50個網站的特定公開資料 然後我想在寫一個程式 將這些擷取下來的資料進行我想要的統計計算 請問各位大哥大姐 如果想達到這樣子的能力 我應該要怎麼發展比較好呢? 我目前就只會工廠的ERP系統 如果想有以上敘述的能力 請問該如何發展呢? 感謝感謝! -- ※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 220.133.173.252 ※ 文章網址: https://www.ptt.cc/bbs/Soft_Job/M.1517768288.A.9AC.html ※ 編輯: goooeooo (220.133.173.252), 02/05/2018 02:19:27
→
02/05 05:11, 7年前 , 1F
這入門python就幹的到了吧
02/05 05:11, 1F
推
02/05 07:14, 7年前 , 2F
開始進行 做中學 最慢半年就可以了
02/05 07:14, 2F
→
02/05 08:53, 7年前 , 3F
我大概一周就可以爬PTT了...覺得兩個月就可以寫完五十
02/05 08:53, 3F
→
02/05 08:53, 7年前 , 4F
個網站
02/05 08:53, 4F
推
02/05 09:12, 7年前 , 5F
html, css基礎知識 + 任一語言 +爬文套件(soup系列) ，有
02/05 09:12, 5F
→
02/05 09:12, 7年前 , 6F
些防護較好的網站可能會需要動態ip
02/05 09:12, 6F
推
02/05 09:19, 7年前 , 7F
越多網站練的不是爬蟲，是自動化跟錯誤偵測機制
02/05 09:19, 7F
→
02/05 09:20, 7年前 , 8F
而且 ptt 超好爬的，很多網站結構更亂...
02/05 09:20, 8F
推
02/05 10:26, 7年前 , 9F
推樓上，而且ptt其實算最簡單的了
02/05 10:26, 9F
→
02/05 11:14, 7年前 , 10F
我覺得爬到最後練的是耐心跟規則的撰寫而已。
02/05 11:14, 10F
推
02/05 11:36, 7年前 , 11F
這次鐵人賽Howard的爬蟲系列可以參考一下
02/05 11:36, 11F
→
02/05 11:36, 7年前 , 12F
02/05 11:36, 12F
推
02/05 13:18, 7年前 , 13F
爬資料容易說故事難，要變成產品賣出去更難。只能多實作練
02/05 13:18, 13F
→
02/05 13:18, 7年前 , 14F
習&充實domain knowledge，然後認真修統計分析才能把故事
02/05 13:18, 14F
→
02/05 13:18, 7年前 , 15F
說得飛天鑽地。
02/05 13:18, 15F
推
02/05 15:16, 7年前 , 16F
溫馨的推文
02/05 15:16, 16F
推
02/05 15:25, 7年前 , 17F
跟我大學專題87%像
02/05 15:25, 17F
推
02/05 17:19, 7年前 , 18F
這資策會出來的就會了沒很難 python套件一堆
02/05 17:19, 18F
→
02/06 10:58, 7年前 , 19F
一堆說沒很難的 Google的search engine就是靠強大的爬蟲
02/06 10:58, 19F
→
02/06 10:59, 7年前 , 20F
為根基的 我以為爬蟲是易學難精 說沒很難只是沒碰到過難爬
02/06 10:59, 20F
→
02/06 10:59, 7年前 , 21F
的網站
02/06 10:59, 21F
推
02/06 22:35, 7年前 , 22F
爬特定網站本來就不難
02/06 22:35, 22F
先感謝大家的推文 請問 市場爬蟲的工作需求多嗎 以及會用我這不到一年資歷無爬蟲經驗的新人嗎? 我當初無經驗時 有找過 但沒有公司願意面試 但我只找了半個月 就去erp的公司上班了 ※ 編輯: goooeooo (220.133.173.252), 02/07/2018 02:08:47
推
02/07 16:55, 7年前 , 23F
之前有做過 圖書館爬蟲書有教
02/07 16:55, 23F
→
02/09 10:40, 7年前 , 24F
如果你要實作一個 Goolge search engine 的確滿難的
02/09 10:40, 24F
推
02/11 12:18, 7年前 , 25F
把你的目標具體後，簡化一點，分階段完成。 你可以現
02/11 12:18, 25F
→
02/11 12:18, 7年前 , 26F
在安裝好python，爬個一週天氣下來；分階段達成你想要
02/11 12:18, 26F
→
02/11 12:18, 7年前 , 27F
的目標。
02/11 12:18, 27F
→
02/11 12:24, 7年前 , 28F
都會ptt了，你可以在網路上找個python爬蟲課。
02/11 12:24, 28F
‣ 更多 goooeooo 的文章
文章代碼(AID): #1QTqvWci (Soft_Job)