Re: [請益] 大家爬蟲都爬什麼好玩？已刪文
這個主題真的蠻吸引人的XD
小弟我第一個程式就是在爬/串 銀行的個人網銀
會了些奇怪的爬蟲姿勢，跟解驗證碼的能力XD
每天能不寫有功能的程式，但幾乎都會寫爬蟲或更新
(搞得github空空的)
搶券(我這邊對不起正常人類，已經退坑更新太累)
用Python寫requests做測試，到後面為了跟其他人競爭
python後端做任務分發
golang寫類似wrk的工具跟抓任務執行
在包docker大量部署
這裡真的進步神速，為了趕在下一個檔期上線
也能認識到一些資料格式的設計
一年下來省了10幾萬有，那段時間價值觀整個怪怪的
等待整點的時候真的刺激，看log湧進來的感覺
商品補貨通知
不用多說了，這應該最簡單了，串Telegram給通知真的方便
我認為最好玩的
爬各類O片網站，會學到很多不是ReCAPTCHA的反機器人方式
還有解JS混淆等等，或是找到各種繞過的方式
這些網站走過一輪，在噁心的網站我相信都能解了
(最近還看過用websocket傳影片，HTTP/2.0都有的)
爬影片網址(確認對方允許不同IP下載)
分發給機器下載
自動上傳到Google drive
現在也存了3TB多(X
線上遊戲的網頁登入器，串接+驗證碼辨識
用requests，才能體會那有趣的感覺
Selenium會輸，所以沒在用XD
有時候爬一爬別人網站可以去反思對方API為什麼這樣設計，一個另類收穫
--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 27.242.7.133 (臺灣)
※ 文章網址: https://www.ptt.cc/bbs/Soft_Job/M.1597853306.A.F11.html
※ 編輯: SIMD (27.242.7.133 臺灣), 08/20/2020 00:09:26
推
08/20 00:18,
3年前
, 1F
08/20 00:18, 1F
討論串 (同標題文章)
