[教學] 減慢 Yahoo bot 索引的速度
※ [本文轉錄自 Blog 看板]
作者: stOOrz6 (stOOrz) 看板: Blog
標題: [教學] 減慢 Yahoo bot 索引的速度
時間: Mon Mar 12 14:37:08 2007
原文: http://blog.stoorz.org/archives/2007/03/12/84/
繼上次看到 Yahoo 在五分鐘之內放出 12 隻 bot 來索引我的網頁之後，剛剛又看
到五分鐘之內有五十幾隻 Yahoo Bot 跑來想要索引我的 blog 文章。
基本上，被索引是正常的，這樣搜尋引擎才知道怎麼讓別人找到你的網頁，但是像
Yahoo 的 bot 這樣子短時間之內大量存取網頁，而且頻率又那麼高，幾乎隨時都
可以在後台看到 Yahoo 的 bot 在看我的 blog 文章。
索引頻率這麼高，對自己架站的部落客來說，一方面頻寬會被吃掉，另一方面如果
是買 hosting 之類的虛擬主機，每個月又有流量限制，光被 bot 索引就吃掉大部
分的流量了。
解決的辦法就是利用 robots.txt 來限制 Yahoo bot 的索引速度。只要在根目錄
下產生一個檔名叫做 robot.txt 的檔案，裡面的內容為
User-agent: *
Disallow:
User-agent: Slurp
Crawl-delay: 300
這樣就可以告訴 Yahoo 的 bot 間隔五分鐘才能來索引一次。 至於 Google 的
bot，只要有設定 sitemap 的話，就會依照 sitemap 的設定頻率來索引，所以比
較沒有問題。
原文: http://blog.stoorz.org/archives/2007/03/12/84/
--
stOOrz
http://blog.stoorz.org/
--
※ 發信站: 批踢踢實業坊(ptt.cc)
◆ From: 218.169.233.14
--
※ 發信站: 批踢踢實業坊(ptt.cc)
◆ From: 218.169.233.14
推
03/12 19:10, , 1F
03/12 19:10, 1F
討論串 (同標題文章)
以下文章回應了本文：
完整討論串 (本文為第 1 之 2 篇)：