從最近幾周收到的提問看,大家對死鏈越來越關(guān)注,畢竟死鏈直接關(guān)系到網(wǎng)站的抓取收錄和流量轉(zhuǎn)化。于是我們整合了學(xué)院之前的內(nèi)容,又專門對Baiduspider工程師進(jìn)行了咨詢,給大家一個(gè)完整的系列答復(fù)。 問:robots屏蔽對阻止百度抓取死鏈?zhǔn)欠裼行?/font> 答:當(dāng)然有效,百度嚴(yán)格遵守robots協(xié)議,若發(fā)現(xiàn)百度依然抓取,先確認(rèn)是否為Baiduspider,若確認(rèn),可以通過反饋中心進(jìn)行投訴。 問:已被百度抓取的死鏈,可以通過robots屏蔽的方式讓百度刪除嗎? 答:不建議你這樣做,最快最有效的方法是通過百度站長平臺死鏈提交工具進(jìn)行處理 問:我已經(jīng)通過死鏈工具進(jìn)行提交了,可是通過日志發(fā)現(xiàn)百度還是在抓我們的死鏈 答:您提交規(guī)則后,spider為了驗(yàn)證鏈接是否真的死掉,需要抓一部分回來驗(yàn)證。 問:百度對死鏈的抓取,對正常文章抓取的影響會有多大。 答:這個(gè)沒有統(tǒng)一的標(biāo)準(zhǔn),如果你沒有設(shè)置robots也沒有向百度提交,死鏈量還特別巨大的時(shí)候,有可能會占用你網(wǎng)站大量抓取配額,導(dǎo)致正常內(nèi)容無法抓取。如果僅僅是spider為了驗(yàn)證死鏈規(guī)則抓一部分,那么對正常內(nèi)容不會造成影響。 問:百度對死鏈的要求是什么?怎么設(shè)置死鏈效果最好? 答:目前百度支持協(xié)議死鏈、內(nèi)容死鏈和跳轉(zhuǎn)死鏈,其中最效果最好的是協(xié)議死鏈。 問:百度站長平臺是否有工具幫助我們發(fā)現(xiàn)網(wǎng)站內(nèi)的未知死鏈? 答:可以通過鏈接分析工具中的死鏈分析功能,還有抓取異常工具進(jìn)行發(fā)現(xiàn)分析 |
免責(zé)聲明:本站部分文章和圖片均來自用戶投稿和網(wǎng)絡(luò)收集,旨在傳播知識,文章和圖片版權(quán)歸原作者及原出處所有,僅供學(xué)習(xí)與參考,請勿用于商業(yè)用途,如果損害了您的權(quán)利,請聯(lián)系我們及時(shí)修正或刪除。謝謝!
始終以前瞻性的眼光聚焦站長、創(chuàng)業(yè)、互聯(lián)網(wǎng)等領(lǐng)域,為您提供最新最全的互聯(lián)網(wǎng)資訊,幫助站長轉(zhuǎn)型升級,為互聯(lián)網(wǎng)創(chuàng)業(yè)者提供更加優(yōu)質(zhì)的創(chuàng)業(yè)信息和品牌營銷服務(wù),與站長一起進(jìn)步!讓互聯(lián)網(wǎng)創(chuàng)業(yè)者不再孤獨(dú)!
掃一掃,關(guān)注站長網(wǎng)微信