seo入門：巧用網(wǎng)站禁止收錄機制屏蔽蜘蛛抓取頁面

潮人地東莞seo博客小編下面跟大家seo入門教程網(wǎng)銷分享關于seo入門：巧用網(wǎng)站禁止收錄機制屏蔽蜘蛛抓取頁面等問題，希望seo專員在做seo優(yōu)化的過程中有所幫助，內(nèi)容僅供參考。

基于網(wǎng)站安全與盈利的因素，站長并不希望某些目錄或頁面被抓取和收錄，比如付費內(nèi)容、測試階段的頁面及復制內(nèi)容頁面等。

盡管在網(wǎng)站建設的過程中，使用 JavaScript、Flash 鏈接及nofollow屬性等都能讓搜索引擎蜘蛛望而卻步，而導致頁面不被收錄。

seo博客相關推薦閱讀：seo優(yōu)化博客：如何編寫網(wǎng)站SEO標題優(yōu)化（網(wǎng)站描述和關鍵字撰寫是最基本的SEO優(yōu)化）

但在某些情況下搜索引擎是能夠讀取他們的，基于網(wǎng)站排名考慮，我們建議慎用 JavaScrip哈爾濱seo入門批發(fā)t、Flash 鏈接及Nofollow屬性屏蔽收錄。

強調(diào)一下，建站使用 JavaScript、Flash 鏈接其實是在給網(wǎng)站制造蜘蛛陷阱，致使搜索引擎不能正確判斷與抓取頁面的主題與文字。

要確保網(wǎng)站某些目錄或頁面不被收錄，需要正確使用 robots 文件或Meta Robots 標簽來實現(xiàn)網(wǎng)站的禁止收錄機制。

1、robots 文件

搜索引擎蜘蛛訪問網(wǎng)站時，會先查看網(wǎng)站根目錄下有沒有一個命名為 robots.txt 的純文本文件，它的主要作用是制定搜索引擎抓取或者禁止網(wǎng)站的某些內(nèi)容。

user-agent：* 適用于所有蜘蛛

Disallow:/upload/

Disallow: .jpg$ 禁止抓取所有.jpg文件

Disallow: *.html 禁止抓取所有html文件

Disallow:/upload/index.html

Disallow 禁止抓取哪些文件或目錄，Allow 告訴搜索引擎應該抓取哪些頁面，由于不指定就是允許抓取，所以allow單獨寫沒有意義。

2、meta robots標簽

Meta robots 標簽是頁面 head 部分 meta 標簽的一種，用于指令搜索引擎禁止索引本頁內(nèi)容。

最簡單的 meta robots 標簽格式為：

效果是禁止所有搜索引擎索引本頁面，禁止跟蹤本頁面上的鏈接。

效果是禁止索引本頁面，但允許蜘蛛跟蹤頁面上的鏈接，也可以傳遞權重。

Google、必應、雅虎支持的標簽如下：

Noindex:不要索引本頁面

Nofollow:不要跟蹤本頁面上的鏈接

Nosnippet:不要在搜索結果中顯示摘要文字

Noarchive:不要顯示快照

Noodp:不要使用開放目錄中的標題和描述

百度支持：Nofollow和Noarchive

只有禁止索引時，使用meta robots才有意義。

使用了 noindex meat robots 標簽的頁面會被抓取，但不會被索引，頁面URL也不會出現(xiàn)在搜索結果中，這一點與 robots 文件不同。

以上是潮人地東莞seo博客跟大家分享關于seo入門：巧用網(wǎng)站禁止收錄機制屏蔽蜘蛛抓取頁面等問題，希望能對大家有所幫助，若有不足之處，請諒解，我們大家可以一起討論關于網(wǎng)seo從入門到精通區(qū)別站seo優(yōu)化排名的技巧，一起學習，以上內(nèi)容僅供參考。