（三）對谷歌的處理
　　總體評價(jià)，谷歌對這種惡意泛解析的處理無能為力，谷歌站長管理員工具雖然有刪除死鏈的功能，但卻只能刪除主域名下的死鏈，如yourdomain.com/xxx.html，無法刪除三級、四級如x.h.yourdomain.com這種垃圾地址，除非你將x.h.yourdomain.com這個網(wǎng)站進(jìn)行驗(yàn)證，面對成千上萬的垃圾網(wǎng)址和google在國內(nèi)的市場份額，還是不要這么費(fèi)勁了。
　　然而，谷歌站長管理員工具提示我們可以使用robots來屏蔽不要的地址，我們只要讓谷歌蜘蛛訪問x.h.yourdomain.com/robots.txt 時返回disallow:/就行了。
具體代碼
if IsMatch(User_Agent,"Googlebot") and instr(User_Url,"robots.txt")>0 then’如果是google爬蟲索引robots那就告訴它
response.write("User-Agent: Googlebot" & vbnewline)
response.write("Disallow: /")
response.end
else
response.Status="404 Not Found"
end if
　　為了證明有效，我們在谷歌站長工具建立了二級域名h.mydomain.com(驗(yàn)證方法參考后面的第四點(diǎn)。)用h.mydomain.com/1/ 這個垃圾地址進(jìn)行Fetch，圖12

 
結(jié)果顯示Denied by robots.txt，說明設(shè)置成功。

本文地址:http://m.lizu2010.com/news/n08/201403/15177.html,如要轉(zhuǎn)載，請注明轉(zhuǎn)載自5A農(nóng)業(yè)人才網(wǎng)

上一頁  [1] [2] [3] 下一頁