潮人地東莞seo博客小編下面跟大家分享關于seo技術：蜘蛛爬取網站內容但是不收錄的原因（蜘蛛抓取網站有那幾種收錄機制）等問題，希望seo專員在做seo優化的過程中有所幫助，內容seo站外推廣方面灰詞排名僅供參考。
基于網站安全與盈利的因素，站長并不希望某些目錄或頁面被抓取和收錄，比如付費內容、測試階段的頁面及復制內容頁面等。
seo網站排名優化營銷價格SEO
盡管在網站建設的過程中，使用 JavaScript、Flash 鏈接及nofollow屬性等都能讓搜索引擎蜘蛛望而卻步，而導致頁面不被收錄。
seo博客相關推薦閱讀：seo入門：SEO做到怎樣程度算作春風得意？
但在某些情況下搜索引擎是能夠讀取他們的，基于網站排名考慮，我們建議慎用 JavaScript、Flash 鏈接及Nofollow屬性屏蔽收錄。
強調一下，建站使用 JavaScript、Flash 鏈接其實是在給網站制造蜘蛛陷阱，致使搜索引擎不能正確判斷與抓取頁面的主題與文字。
要確保網站某些目錄或頁面不被收錄，需要正確使用 robots 文件或Meta Robots 標簽來實現網站的禁止收錄機制。
1、robots 文件
搜索引擎蜘蛛訪問網seo排名優化報價多少錢一個月站時，會先查看網站根目錄下有沒有一個命名為 robots.txt 的純文本文件，它的主要作用是制定搜索引擎抓取或者禁止網站的某些內容。
user-agent：* 適用于所有蜘蛛
Disallow:/upload/
Disallow: .jpg$ 禁止抓取所有.jpg文件
Disallow: *.html 禁止抓取所有html文件
Disallow:/upload/index.html
Disallow 禁止抓取哪些文件或目錄，Allow 告訴搜索引擎應該抓取哪些頁面，由于不指定就是允許抓取，所以allow單獨寫沒有意義。
2、meta robots標簽
Meta robots 標簽是頁面 head 部分 meta 標簽的一種，用于指令搜索引擎禁止索引本頁內容。
最簡單的 meta robots 標簽格式為：
效果是禁止所有搜索引擎索引本頁面，禁止跟蹤本頁面上的鏈接。
效果是禁止索引本頁面，但允許蜘蛛跟蹤頁面上的鏈接，也可以傳遞權重。
Google、必應、雅虎支持的標簽如下：
Noindex:不要索引本頁面
Nofollow:不要跟蹤本頁面上的鏈接
Nosnippet:不要在搜索結果中顯示摘要文字
Noarchive:不要顯示快照
Noodp:不要使用開放目錄中的標題和描述
百度支持：Nofollow和Noarchive
只有禁止索引時，使用meta robots才有意義。
使用了 noindex meat robots 標簽的頁面會被抓取，但不會被索引，頁面URL也不會出現在搜索結果中，這一點與 robots 文件不同。
以上是潮人地東莞seo博客跟大家分享關于seo技術：蜘蛛爬取網站內容但是不收錄的原因（蜘蛛抓取網站有那幾種收錄機制）等問題，希望能對大家有所幫助，若有不足之處，請諒解，我們大家可以一起討論關于網站seo優化排名的技巧，一起學習，以上內容僅供參考。
