做網(wǎng)站也做了這么長時(shí)間，站長們能遇到的事情都遇到過了，最常見無非就是網(wǎng)站被降權(quán)，網(wǎng)站快照不更新網(wǎng)站主要關(guān)鍵字排名下降，，外鏈數(shù)量減少等等，這些問題往往就是由于網(wǎng)站初期準(zhǔn)備工作沒準(zhǔn)備好就上線的結(jié)果，導(dǎo)致后期更換網(wǎng)站板塊或者頻繁修改其它蜘蛛經(jīng)常爬行的文件所引起的，今天小編和大家探討一下修改robots文件后對(duì)網(wǎng)站的影響及一些搜索引擎的反應(yīng)。
第一次修改robots文件后百度百度谷歌反應(yīng)
快照更新了，發(fā)現(xiàn)了是4天一周期，每天流量很大，但是用戶都在我屏蔽的/user/文件里，蜘蛛無法抓取，最大的流量就是用戶中心，我就試著把robots文件修改下，讓蜘蛛可以訪問那個(gè)文件。 以前谷歌收錄12萬，記得很深刻的一次是修改robots.txt文件后，谷歌當(dāng)時(shí)是收錄已經(jīng)超過12萬，第二天沒事繼續(xù)以每天1000多收錄的速度抓取，再看百度這方面，也沒事。但不幸的事情還是發(fā)生了... 快照更新后再一次的site:域名發(fā)現(xiàn)，谷歌收錄6萬(原來是12萬多)，百度這方面也是變了，原來的3萬5千600到更新快照后的4萬9千整的收錄，當(dāng)時(shí)修改的是把robots文件寫入屏蔽團(tuán)購的頁面(那個(gè)是調(diào)用的)，當(dāng)時(shí)感覺不知道是什么原因?qū)е鹿雀枋珍洿鬁p，百度收錄大增的，但繼續(xù)測試，才發(fā)現(xiàn)致命的原因...
二次修改robots文件惹怒蜘蛛，谷歌直接K站
剛開始站不是建立很久總是喜歡修改這修改那的，把首頁都動(dòng)起來了，我的站的保安robots也是被我“裝飾”得極其豐富，事情發(fā)生在年底，把robots文件屏蔽了百度谷歌搜搜以外的蜘蛛(當(dāng)時(shí)搜狗流氓抓取得導(dǎo)致網(wǎng)站流量不夠)，修改后的第三天，從谷歌收錄本一路下跌的淘寶廣東站直到那天的6萬多到1200條收錄，看了心都當(dāng)時(shí)涼了一截了，至今谷歌都不大抓取網(wǎng)站了，收錄在1000上下徘徊。
小編還有一個(gè)秒收的博客站也是因?yàn)樾薷牧藃obots文件，谷歌直接K站，當(dāng)時(shí)那個(gè)站修改robots文件太過頻繁，導(dǎo)致適得其反的效果，百度也持續(xù)一周沒更新快照，蜘蛛對(duì)robots文件極度敏感，這是新站不能碰的優(yōu)化地雷區(qū)。
建站初期應(yīng)當(dāng)全面設(shè)置好robots文件，防止后期更改
后期對(duì)robots的修改是對(duì)各大搜索引擎的一種不友好的表現(xiàn)，特別是谷歌，隨著引擎的人性化，搜索引擎也是有“脾氣”的，當(dāng)在你的網(wǎng)站產(chǎn)生了一種習(xí)慣時(shí)，你網(wǎng)站的稍微改動(dòng)很有可能會(huì)引起搜索引擎的反感，就像修改了robots一樣，robots的修改不僅對(duì)內(nèi)容的收錄有影響，對(duì)網(wǎng)站的權(quán)重也有不可忽視的影響。修改robots會(huì)引起網(wǎng)站快照不更新，收錄減少，外鏈數(shù)目降低，網(wǎng)站主要關(guān)鍵字下降甚至前幾百名找不到關(guān)鍵字排名。
蜘蛛來你站首先就是看網(wǎng)站根目錄的robots文件，蜘蛛的時(shí)間也是很緊迫的，像谷歌這樣的全球搜索引擎公司每天要去成千上萬的站點(diǎn)抓取網(wǎng)頁內(nèi)容，頻繁地修改robots文件就是修改了你網(wǎng)站與蜘蛛之間的協(xié)議，為了網(wǎng)站安全，一般的蜘蛛都會(huì)遵守robots協(xié)議，根據(jù)你制定的規(guī)則來抓取允許的網(wǎng)頁文件及內(nèi)容。
經(jīng)過小編幾個(gè)月的實(shí)戰(zhàn)結(jié)果我建議：robots文件是在建站初期應(yīng)該制定好，不要在網(wǎng)站收錄很多或權(quán)重上來了的時(shí)候想修改就去修改，除非你不在乎從搜索引擎來的那些流量。
開店省錢網(wǎng)葉蔚卿原創(chuàng)文章 http://www.yeweiqing.com/ 本文版權(quán)歸葉蔚卿@開店省錢網(wǎng)所有，歡迎轉(zhuǎn)載，轉(zhuǎn)載請(qǐng)注明作者和出處。謝謝
推薦閱讀
A5的搜索seo欄目里，一天基本要審核出30篇左右的seo相關(guān)的文章。這些文章的實(shí)質(zhì)內(nèi)容，很多都是重復(fù)的。只不過是一個(gè)相同的內(nèi)容或者是被細(xì)分了，或者是被另外的人重新原創(chuàng)了，或者是被與其相關(guān)的內(nèi)容對(duì)比了。雖然重復(fù)>>>詳細(xì)閱讀
本文標(biāo)題：實(shí)戰(zhàn)分析：修改robots文件百度谷歌對(duì)網(wǎng)站的反應(yīng)
地址：http://m.sh-jijian.com/a/34/20120226/34519.html
網(wǎng)友點(diǎn)評(píng)
精彩導(dǎo)讀
科技快報(bào)
品牌展示