seo博客推廣：經(jīng)驗(yàn)分享：新網(wǎng)站請謹(jǐn)慎設(shè)置robots屏蔽

潮人地東莞seo博客小編下面跟大家分享關(guān)于seo博客推廣：經(jīng)驗(yàn)分享：新網(wǎng)站請謹(jǐn)慎設(shè)置robots屏蔽等問題，希望seo專員在做seo優(yōu)化的過程中有所幫助，內(nèi)容僅供參考。

眾所周知，做seo推廣seo是什么意思SEO優(yōu)化中robots機(jī)器人是用來抓取網(wǎng)站內(nèi)容的，而robots.txt文件則是放在我們網(wǎng)站根目錄下面的一個(gè)文本文件，用來規(guī)定什么蜘蛛（機(jī)器人）可以抓取什么文件，不可以抓取什么文件。我們通常用robots來告訴搜索引擎，這個(gè)目錄你可以進(jìn)，那個(gè)目錄你不可以進(jìn)；這個(gè)文件你可以訪問，那個(gè)文件你不能訪問。但是有些時(shí)候，robots文件，我們還是要謹(jǐn)慎使用的好。

事情還得從年初開始。年初我負(fù)責(zé)的一個(gè)網(wǎng)站因?yàn)榫W(wǎng)站剛建好，內(nèi)容還沒填充完整，大家的觀點(diǎn)不都是沒建好的網(wǎng)站不要給搜索引擎抓取嘛。我用robots.txt文件把網(wǎng)站根目錄屏蔽所有搜索引擎抓取，等到一個(gè)月之后，填充得已經(jīng)差不多了，我就開放蜘蛛抓取。我不僅有提交首頁網(wǎng)址給百度，提交網(wǎng)址診斷，而且還發(fā)了不少外鏈，但一天一天過去，在百度上面SITE網(wǎng)站就是一個(gè)收錄都沒有。我就納悶了，是不是我什么地方設(shè)置錯(cuò)誤了呢？結(jié)果在谷歌上面site了一下已經(jīng)有上百個(gè)收錄seo推廣拾金手指六六二九了，306，搜狗上面也有少則幾個(gè)多則十幾個(gè)收錄了。于是我不得不認(rèn)為是robots屏蔽，百度長時(shí)間未反應(yīng)過來導(dǎo)致的。

seo博客相關(guān)推薦閱讀：關(guān)鍵詞seo優(yōu)化軟件有哪幾款?網(wǎng)站關(guān)鍵詞庫優(yōu)化的影響因素是什么?

前兩個(gè)月，我又有一個(gè)新站重新建好開始填充內(nèi)容，也是把網(wǎng)站屏蔽著，結(jié)果到現(xiàn)在都兩個(gè)月過去了，可是還是不收錄，首頁還是提示“由于該網(wǎng)站的robots.txt文件存在限制指令，系統(tǒng)無法提供該頁面的內(nèi)容描述。”而谷哥收錄了93條，搜狗收錄了1條，360收錄了45條。這次我這次徹底對度娘的robots文件反應(yīng)速度是無語了。seo 推廣工具 代理池下圖上為:site:www.gzfengbao.com的結(jié)果

?

前兩天在群里與伙伴們討論，一位叫烏鴉的大神說自己之前也遇到過幾次這樣的情況。

在此蝸牛SEO慎重的提醒各位朋友，新建的網(wǎng)站，千萬不要先把網(wǎng)站文件上傳到空間后加個(gè)robots.txt，然后填充信息，填充好了才開放抓取。如果可以在本地把網(wǎng)站建好，填充好內(nèi)容再上傳最好，否則上傳到空間加robots禁止抓取，等開放抓取的時(shí)候，百度蜘蛛很可能又會(huì)幾個(gè)月時(shí)間都反應(yīng)不過來。幾個(gè)月后網(wǎng)站才被收錄，對網(wǎng)站優(yōu)化的周期影響無疑是巨大的。

?

本文由上海SEO蝸牛博客原創(chuàng)出品，請大家轉(zhuǎn)載時(shí)保留本段內(nèi)容。大家如有興趣，可以與蝸牛一起探討SEO技術(shù)，討論SEO發(fā)展前景，或者討論職業(yè)發(fā)展與人生夢想。蝸牛期待成為你忠實(shí)的朋友。

以上是潮人地東莞seo博客跟大家分享關(guān)于seo博客推廣：經(jīng)驗(yàn)分享：新網(wǎng)站請謹(jǐn)慎設(shè)置robots屏蔽等問題，希望能對大家有所幫助，若有不足之處，請諒解，我們大家可以一起討論關(guān)于網(wǎng)站seo優(yōu)化排名的技巧，一起學(xué)習(xí)，以上內(nèi)容僅供參考。