網站優化seo：禁止網站被爬蟲收錄的方法有那幾種呢-

潮人地東莞seo博客小編下面跟大家分享關于網站優化seo：禁止網站被爬蟲收錄的方法有那幾種呢-等問題，希望seo專員在做seo優化的過程中有所幫助，內容僅供參考。

如何設置讓網站禁止被爬蟲收錄

網站建設好了，當然是希望網頁被搜索引擎收錄的越多越好，但有時候我們也會碰到網站不需要被搜索引擎收錄的情況。要啟用一個新的域名做鏡像網站，主要用于PPC 的推廣，這個時候就要想辦法屏蔽搜索引擎蜘蛛抓取和索引我們鏡像網站的所有網頁。因為如果鏡像網站也被搜索引擎收錄的話，很有可能會影響官網在搜索引擎的權重。

seo博客相關推薦閱讀：seo入門：關鍵詞SEO優化如何做好網站關鍵詞的布局？

以下列舉了屏蔽主流搜索引擎爬蟲(蜘蛛)抓取/索引/收錄網頁的幾種思路。注意：是整站屏蔽，而且是盡可能的屏蔽掉所有主流搜索引擎的爬蟲(蜘蛛)。

1、通過 robotstxt 文件屏蔽

可以說 robotstxt 文件是最重要的一種渠道(能和搜索引擎建立直接對話)，給出以下建議：

Useragent Baiduspider

Disallow /

Useragent Googlebot

Disallow /

Useragent GooglebotMobile

Disallow /

Useragent GooglebotImage

Disallow/

Useragent MediapartnersGoogle

Disallow /

Useragent AdsbotGoogle

Disallow /

UseragentFeedfetcherGoogle

Disallow /

Useragent Yahoo Slurp

Disallow /

Useragent Yahoo Slurp China

Disallow /

Useragent YahooAdCrawler

Disallow /

Useragent YoudaoBot

Disallow /

Useragent Sosospider

Disallow /

Useragent Sogou spider

Disallow /

Useragent Sogou web spider

Disallow /

Useragent MSNBot

Disallow /

Useragent i濱海新區seo排名熱線電話aarchiver

Disallow /

Useragent Tomato B荊門seo排名優化費用ot

Disallow /

Useragent

Disallow /

2、通過 meta tag 屏蔽

在所有的網頁頭部文件添加，添加如下語句：

：可以抓取本頁，也可以順著本頁繼續索引別的鏈接

：禁止抓取本頁，但可以抓取跟蹤本頁的其它鏈接

：可以抓取本頁，禁止抓取和跟蹤本頁的其它鏈接

：禁止抓取本頁，禁止抓取和跟蹤本頁的其它鏈接

：禁止搜索引擎建立快照

3、通過服務器(如：Linux/nginx )配置文件設置

直接過濾 spider/robots 的IP 段。

以上是潮人地東莞seo博客跟大家分享關于網站優化seo：禁止網站被爬蟲收錄的方法有那幾種呢-等問題，網站排名seo詢問火30星希望能對大家有所幫助，若有不足之處，請諒解，我們大家可以一起討論關于網站seo優化排名的技巧，一起學習，以上內容僅供參考。