[問題] PTT爬蟲尋找作者文章

看板Python作者 (Rossy)時間8年前 (2017/07/18 15:36), 編輯推噓5(5推 0噓 10→)
留言15則, 6人參與, 最新討論串1/1
各位大大好 小弟我最近看網路範例改寫PTT爬蟲 想要能夠搜尋某作者發過的文章 目前用的方法是每一頁每一頁去找 找到有該作者的發文就記錄下來 可是這種方法實在是太慢了 一個版可能有好幾千頁 要全部搜尋完實在不太實際 想問問大家有沒有什麼方法呢？ 手機排版請見諒！ -- ※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 49.159.244.115 ※ 文章網址: https://www.ptt.cc/bbs/Python/M.1500392216.A.4E1.html
→
07/18 23:58, , 1F
ucptt之類的備份站就能搜了
07/18 23:58, 1F
推
07/19 00:53, , 2F
下搜尋指令呢？ a 作者？
07/19 00:53, 2F
→
07/19 00:56, , 3F
a作者就要用telnet了 寫起來麻煩很多
07/19 00:56, 3F
→
07/19 00:56, , 4F
可是我也只想得到這個
07/19 00:56, 4F
推
07/19 02:13, , 5F
太好搜也很麻煩... (某種角度來說
07/19 02:13, 5F
→
07/19 02:29, , 6F
ㄜ 你 google 上面看得到相同功能的都是這樣慢慢爬出來的
07/19 02:29, 6F
→
07/19 02:30, , 7F
不過頻率太高會被站方封鎖
07/19 02:30, 7F
→
07/19 02:33, , 8F
PttAntiBot 可以看到站方是有在做反制，只是好像沒很嚴
07/19 02:33, 8F
推
07/19 05:26, , 9F
我可以想想看加這個功能
07/19 05:26, 9F
→
07/19 11:52, , 10F
看起來要研究一下telnet了 C大我後來有看到您的貼文 我等
07/19 11:52, 10F
→
07/19 11:52, , 11F
等也去研究一下！
07/19 11:52, 11F
推
07/22 00:04, , 12F
Hi 我今天看了一下，應該是辦得到。
07/22 00:04, 12F
→
07/23 20:39, , 13F
C大您有什麼建議呢
07/23 20:39, 13F
推
06/06 23:37, , 14F
程式已經可以支援條件搜尋跟作者搜尋了喔
06/06 23:37, 14F
→
06/06 23:37, , 15F
06/06 23:37, 15F
‣ 更多 rossy 的文章
文章代碼(AID): #1PRYiOJX (Python)