[心得] 學以致用的感覺真好
事情是這樣的,小弟從以前就有上某水產生物國度的習慣,
每次就是打開,然後對著載點按右鍵,讓JDownloader去爬,
但是光是處理一個月份(我都點特定月份當分類),滾完一個網頁就要半小時以上,
雖然看圖可以先過濾一次,避免抓到口味太重/太清淡的
然而最近的口味越來越廣,這個過程漸漸不需要了(什麼爛理由)
每次捕撈一次都要滾半天實在嫌麻煩,於是動念寫了一個小工具來爬網址
先看圖吧:
http://i.imgur.com/414W7SI.jpg
是用C# WPF介面寫成的,原則上Windows都能用
用法很簡單,在上面第一欄填入目標網址,
第三欄填入想要尋找的網站空間,
然後按下最下面的GO就會開始,
可以看到下面就把我要的網址撈出來
(圖內的連結都經過處理,請不要照填)
因為該空間有翻頁的功能,也非常幸運地不需要什麼麻煩的WebRequest,
直接改page後面的數字就可以了
...當然不是手動一次一次改啦,
可以把page後面那個數字改成 {0} ←就這三個字元
這是C#的string format關鍵字,
不懂沒關係,總之就是它會自動從1開始跑到抓不到網頁
收網成功後,就把那些漁獲再扔給JDownloader,
因為adf.ly需要一點時間才能把真網址爬出來,
這個應該超難的,幸好JD都會 (喂)
擺著給他爬幾分鐘就搞定了,再來應該各位都會
最後當然是載點
只有exe不解釋:
https://goo.gl/6P0z9U
懇請賜教github:
https://github.com/dohProject/DLPointParser
原則上網頁原始碼清清楚楚有url連結的應該都可以用這玩意去跑,
剛剛測試另一個用mega的漁場也可以正常運作
以上大概就是這樣,希望能幫得上跟我有一樣習慣的人,
順便幫我抓抓看有沒有bug (毆
--
The internet is really really great~
--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 118.166.84.208
※ 文章網址: https://www.ptt.cc/bbs/AC_In/M.1431971913.A.2B5.html
※ 編輯: dohProject (118.166.84.208), 05/19/2015 02:04:06
推
05/19 02:04, , 1F
05/19 02:04, 1F
推
05/19 02:30, , 2F
05/19 02:30, 2F
推
05/19 03:40, , 3F
05/19 03:40, 3F
推
05/19 10:58, , 4F
05/19 10:58, 4F
推
05/19 11:25, , 5F
05/19 11:25, 5F
推
05/19 11:41, , 6F
05/19 11:41, 6F
推
05/19 11:57, , 7F
05/19 11:57, 7F
推
05/19 12:43, , 8F
05/19 12:43, 8F
推
05/19 13:32, , 9F
05/19 13:32, 9F
→
05/19 13:37, , 10F
05/19 13:37, 10F
因為該站一向的信條就是低調,也不希望這玩意造成站長困擾,所以不好說什麼
不過那幾個字詞拿去版上/看看,爬一下應該猜得出來
※ 編輯: dohProject (140.113.157.57), 05/19/2015 13:48:16
推
05/19 14:02, , 11F
05/19 14:02, 11F
推
05/19 14:47, , 12F
05/19 14:47, 12F
→
05/19 15:00, , 13F
05/19 15:00, 13F
推
05/19 17:28, , 14F
05/19 17:28, 14F
推
05/19 19:17, , 15F
05/19 19:17, 15F
推
05/19 19:36, , 16F
05/19 19:36, 16F
推
05/19 21:09, , 17F
05/19 21:09, 17F
推
05/19 23:18, , 18F
05/19 23:18, 18F
其實也有計畫把爬址功能延伸到抓圖上,
不過我個人其實一直有疑慮,在那些論壇上一股腦貼出來的圖應該都不是原圖大小,
雖然沒差多少,但是被縮過感覺就是怪怪的
就我所知E熊貓都有縮,伊莉則不清楚,
以往我個人都是不抓這些的,一來懶得一張一張點二來縮圖問題,
甚至因此有些關鍵字索性不抓了...
改天(有空的話)再來拓展一下功能
※ 編輯: dohProject (36.228.236.67), 05/20/2015 00:30:07
推
05/20 00:59, , 19F
05/20 00:59, 19F
推
05/20 07:21, , 20F
05/20 07:21, 20F
推
05/20 11:43, , 21F
05/20 11:43, 21F
推
05/21 22:12, , 22F
05/21 22:12, 22F
推
05/21 22:22, , 23F
05/21 22:22, 23F