[問題] 虛擬主機頻寬被搜尋引擎吃光光

看板Web_Design作者 (D桃)時間16年前 (2008/07/27 00:21), 編輯推噓7(704)
留言11則, 9人參與, 最新討論串1/1
我只是為了商業用途,租了一個虛擬主機來架討論區 為了炒一下人氣,但實際使用者並不多,所以目前使用的是限定頻寬 但月底還沒到,今天第一次收到通知信說頻寬用光了orz 上去看一下統計資料,發現都是robot吃掉的,list如下 搜尋引擎網站的漫遊器 9 個漫遊器 檔案數 位元組 Unknown robot (identified by 'spider') 131105 4.54 G個位元組 Yahoo Slurp 2142 53.79 M個位元組 Googlebot 1480 38.29 M個位元組 MSNBot-media 624 20.41 M個位元組 Unknown robot (identified by 'robot') 79 1.80 M個位元組 Yahoo! Slurp China 20 248.91 K個位元組 Unknown robot (identified by 'crawl') 16 328.06 K個位元組 MSNBot 15 344.24 K個位元組 Unknown robot (identified by 'bot/' or 'bot-') 11 35.37 K個位元組 請問我要怎麼限定讓主要的搜尋引擎進來就好,外國或者非主流的就不用了 不適合在這po文請版主告知,謝謝 -- ※ 發信站: 批踢踢實業坊(ptt.cc) ◆ From: 218.35.11.150

07/27 00:30, , 1F
.htaccess
07/27 00:30, 1F

07/27 00:31, , 2F
如果是apache的話...
07/27 00:31, 2F

07/27 00:52, , 3F
不好意思,不太懂Albb大大講的
07/27 00:52, 3F

07/27 01:52, , 4F
robots.txt
07/27 01:52, 4F

07/27 08:38, , 5F
.htaccess + robots.txt
07/27 08:38, 5F

07/27 08:52, , 6F
第一個會不會是百度?....
07/27 08:52, 6F

07/27 11:33, , 7F
4.54???
07/27 11:33, 7F

07/27 13:01, , 8F
百度的機器人會寫Baidu, 用robots.txt檔無效,要用.htacc
07/27 13:01, 8F

07/27 20:27, , 9F
基本上匪國的機器煩死了,真想直接鎖匪國IP,可是很麻煩
07/27 20:27, 9F

07/28 02:41, , 10F
= =a 法輪大法好不知道對中國引擎有沒有阻擋功效
07/28 02:41, 10F

07/28 15:19, , 11F
文章代碼(AID): #18YqyLty (Web_Design)