[問題] 想請教學網路爬蟲前的預備知識有哪一些?

看板Python作者 (黃~)時間8年前 (2017/10/07 00:23), 編輯推噓7(7推 0噓 16→)
留言23則, 9人參與, 8年前最新討論串1/1
各位大大好，新手想在此請教一下，若想學習網路爬蟲，有哪些先備知識要先會呢? 也想知道，應該學多深 (像是我知道好像要先學HTML和CSS，不過不清楚應該學到哪個程度，javascript亦然) 謝謝各位大大~ -- ※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 111.83.22.152 ※ 文章網址: https://www.ptt.cc/bbs/Python/M.1507307029.A.F35.html
推
10/07 12:04, 8年前 , 1F
學會看youtube跟google查東西
10/07 12:04, 1F
→
10/07 13:10, 8年前 , 2F
首先網路連線要懂一點，tcp/ip, udp. 怎麼用socket.
10/07 13:10, 2F
→
10/07 13:13, 8年前 , 3F
tls/ssl. http protocol(get,post...)/headers/cookies
10/07 13:13, 3F
→
10/07 13:14, 8年前 , 4F
http status code. https(http over tls). 如果要取的
10/07 13:14, 4F
→
10/07 13:15, 8年前 , 5F
資料用javascript生成，你就需要web driver.
10/07 13:15, 5F
→
10/07 13:17, 8年前 , 6F
#webdriver. 再來看你取的資料是html,json,圖片，影像
10/07 13:17, 6F
→
10/07 13:18, 8年前 , 7F
或是音樂，再學相對應的知識。
10/07 13:18, 7F
→
10/07 18:09, 8年前 , 8F
謝謝neil大的解答，收穫良多~
10/07 18:09, 8F
→
10/07 18:09, 8年前 , 9F
好的，謝謝l大，你的意思是說其實這是一個很廣泛
10/07 18:09, 9F
→
10/07 18:10, 8年前 , 10F
的東西對吧，那我就先照你說的，學西一些網路連線
10/07 18:10, 10F
→
10/07 18:11, 8年前 , 11F
的概念，感謝~
10/07 18:11, 11F
推
10/07 18:35, 8年前 , 12F
稍微了解一下css跟xpath就可以爬簡單的網頁了
10/07 18:35, 12F
推
10/07 19:16, 8年前 , 13F
大數學堂
10/07 19:16, 13F
推
10/08 06:37, 8年前 , 14F
10/08 06:37, 14F
→
10/08 06:38, 8年前 , 15F
學爬蟲 推薦這串影片 講得蠻好的
10/08 06:38, 15F
→
10/08 16:07, 8年前 , 16F
大數學堂無敵 真的
10/08 16:07, 16F
→
10/08 16:08, 8年前 , 17F
應該不會看到比這邊還詳細的影片了
10/08 16:08, 17F
推
10/08 16:24, 8年前 , 18F
正規表達式也可以學一下 會方便很多
10/08 16:24, 18F
推
10/09 00:34, 8年前 , 19F
正規可以說是必備
10/09 00:34, 19F
→
10/09 13:17, 8年前 , 20F
恩恩，現在正在學正規表達式(re模組)
10/09 13:17, 20F
→
10/09 13:17, 8年前 , 21F
謝謝各位的指導XDD
10/09 13:17, 21F
推
10/20 20:27, 8年前 , 22F
先找一個你想爬的網站，然後用到什麼學什麼
10/20 20:27, 22F
→
11/14 16:14, 8年前 , 23F
想要爬CDC網站的圖片及文章
11/14 16:14, 23F
‣ 更多 jamesxxx1997 的文章
文章代碼(AID): #1PrwuLyr (Python)