[其他] robots.txt 空白、預設值哪個比較好?
目前我只知道 robots.txt的作用就是允許or禁止某一個搜尋引擎找到網站資料!
目前看了一些網站教學還是有點茫然~
茫然地點有：
1.不知道有哪些狀況會想把自己的網站對某個搜尋引擎給封閉?
2.以下是blogspot預設的robots.txt數值
User-agent: Mediapartners-Google
Disallow:
User-agent: *
Disallow: /search
Allow: /
Sitemap: http://自己網站/sitemap.xml
第一段看起來是允許Mediapartners-Google搜尋的意思，既然允許為何還要添加這一段?
3.同上，第二段的第一個agent的意思應該是(開放所有尋引擎)，但下面不允許、允許
都有放上 / ，怎麼看起來是一個不允許、一個又允許了呢?
以上是我的疑問，謝謝!
--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 1.162.56.207
※ 文章網址: https://www.ptt.cc/bbs/Blog/M.1468849684.A.F97.html
→
07/19 21:47, , 1F
07/19 21:47, 1F
→
07/19 21:47, , 2F
07/19 21:47, 2F
→
07/20 02:06, , 3F
07/20 02:06, 3F