【官方說法】全面解讀BaiduSpider與站點死鏈
2017-03-16 12:55:09   來源:   評論:0 點擊:

從最近幾周收到的提問看,大家對死鏈越來越關注,畢竟死鏈直接關系到網站的抓取收錄和流量轉化。于是我們整合了學院之前的內容,又專門對Baiduspider工程師進行了咨詢,給大家一個完

  從最近幾周收到的提問看,大家對死鏈越來越關注,畢竟死鏈直接關系到網站的抓取收錄和流量轉化。于是我們整合了學院之前的內容,又專門對Baiduspider工程師進行了咨詢,給大家一個完整的系列答復。

  問:robots屏蔽對阻止百度抓取死鏈是否有效

  答:當然有效,百度嚴格遵守robots協議,若發現百度依然抓取,先確認是否為Baiduspider,若確認,可以通過反饋中心進行投訴。

  參考鏈接:《如何識別為百度spider》

  問:已被百度抓取的死鏈,可以通過robots屏蔽的方式讓百度刪除嗎?

  答:不建議你這樣做,最快最有效的方法是通過百度站長平臺死鏈提交工具進行處理

  問:我已經通過死鏈工具進行提交了,可是通過日志發現百度還是在抓我們的死鏈

  答:您提交規則后,spider為了驗證鏈接是否真的死掉,需要抓一部分回來驗證。

  問:百度對死鏈的抓取,對正常文章抓取的影響會有多大。

  答:這個沒有統一的標準,如果你沒有設置robots也沒有向百度提交,死鏈量還特別巨大的時候,有可能會占用你網站大量抓取配額,導致正常內容無法抓取。如果僅僅是spider為了驗證死鏈規則抓一部分,那么對正常內容不會造成影響。

  問:百度對死鏈的要求是什么?怎么設置死鏈效果最好?

  答:目前百度支持協議死鏈、內容死鏈和跳轉死鏈,其中最效果最好的是協議死鏈。

  參考鏈接:《百度標準死鏈官方文檔》

  問:百度站長平臺是否有工具幫助我們發現網站內的未知死鏈?

  答:可以通過鏈接分析工具中的死鏈分析功能,還有抓取異常工具進行發現分析

  --百度站長學院

相關熱詞搜索:Baiduspider

上一篇:【網站安全】網站被掛木馬與777權限的奧妙
下一篇:最后一頁

分享到: 收藏
評論排行
? 以太坊经典暴涨 福建时时赔率 幸运飞艇012路怎么选 天津快乐十分在线直播 江苏时时玩法规则 山东时时11选5 查辽宁快乐十二开奖刘 七星彩奖表 四川快乐12app 2016江西时时开2015 118图库彩图118库