[問題] 網站無法被google爬
從11/30起
google網站管理員就顯示
無法連上 robots.txt
但在我的根目錄底下並沒有robots.txt這個檔案(連過去是404
即使新建個robots.txt(755)也顯示一樣的錯誤
bing可以正常抓到
網域名是twbbs.org的子網域
主機商是freehostia
有人遇過同樣的問題嗎?
--
※ 發信站: 批踢踢實業坊(ptt.cc)
◆ From: 140.113.242.111
→
12/17 10:03, , 1F
12/17 10:03, 1F
→
12/17 12:23, , 2F
12/17 12:23, 2F
這一兩天用google模擬器爬的結果
無法連上robots.txt 和 無法連上網頁 交互出現
用bingbot去抓是顯示意外的錯誤，但sitemap可正常匯入
(google是URL timeout: robots.txt timeout
http://www.ehtisham.com/2012/11/24/google-com-pk-hacked-technical-details-dns/
會和這新聞有關嗎?
※ 編輯: ldkrsi 來自: 140.113.242.111 (12/17 22:12)