看板 [ Web_Design ]
討論串[問題] 問個搜尋引擎機器人的問題還有HTTP 304 …
共 2 篇文章
內容預覽： 開啟 | 關閉 | 只限未讀
首頁
上一頁
1
下一頁
尾頁
#2
Re: [問題] 問個搜尋引擎機器人的問題還有HTTP 304 …
推噓1(1推 0噓 1→)留言2則，0人參與, 最新作者KC73 (肯先生)時間17年前 (2008/09/05 14:44), 編輯資訊
0
0
0
內容預覽:
要擋對岸的機器人, 有一個好方法是, 在會被對方檢索到的網頁裡面,. 隱藏一段 "台灣獨立"、"西藏獨立"、"法輪功"... 之類的文字,. 過幾個禮拜, 就沒有機器人敢來了。. 不過代價是, 整個中國也沒有人可以來了。. --. ※ 發信站: 批踢踢實業坊(ptt.cc). ◆ From: 118
#1
Re: [問題] 問個搜尋引擎機器人的問題還有HTTP 304 …
推噓0(0推 0噓 0→)留言0則，0人參與, 最新作者jsu (Je me souviens)時間17年前 (2008/09/05 04:05), 編輯資訊
0
0
0
內容預覽:
你這個問題其實不是只有對岸不禮貌. 我家的伺服器每分鐘都被這種機器人打得亂七八糟. 大約每分鐘都有超過兩千個 requests 是這種不合法的. 來源多半是美國當地的，也有新加坡的，跟少數大陸的. 更扯的是，我們追蹤回去，其中有一個 ip block 是政府的. 對於這種不尊重 robots.txt
(還有185個字)
首頁
上一頁
1
下一頁
尾頁