請確保 Google 意在抓取的所有資源(圖片、CSS 文件等)或網頁均可供 Google 訪問;也就是說,它們沒有被任何 robots.txt 規則屏蔽,并且可供匿名用戶訪問。無法訪問的網頁不會顯示在“索引涵蓋范圍”報告中,而網址檢查工具會將其顯示為未抓取。被屏蔽的資源僅會在網址檢查工具中顯示為具體網址級資源。如果某個網頁上的重要資源被屏蔽,這可能會導seo網站推廣崗位要求致 Google 無法正確抓取您的網頁。使用網址檢查工具可以呈現實際網頁,以驗證 Google 能否看到您所預期的網頁樣貌。
使用 robots.txt 規則可以阻止系統抓取內容,使用站點地圖可以幫助系統抓取內容。您可以禁止 Google 抓取網站上的重復內容,或禁止其抓取不太重要的資源(例如圖標或徽標之類的常用小圖片),以免使您的服務器收到過多請求。不要將 robots.txt 用作一種阻止 Google 將內容編入索引的機制;而應借助 noindex 或登錄要求實現此目的。詳細了解如何阻止 Google 訪問您的內容。
站點地圖
站點地圖是一種非常重要的方法,可以告知 Google 哪些網頁對您的網站很重要,同時還提供其他信息(例如更新頻率),并且對于抓取非文字內容(例如圖片或視頻)也很重要。雖然 Google 不會只抓取站點地圖中列出的網頁,但它會優先抓取這些網頁。對于內容隨時變化的網站或可能無法通過鏈接發現的網頁,這一點尤為重要。使用站點地圖有助于 Google 發現網站上可供抓取的網頁,并優先抓取這些網頁。點擊此處可詳細了解站點地圖。
國際化網站或多語言網站
如果您的網站包含多種語言,或者以特定語言區域的用戶為目標用戶,請注意以下幾點:
了解多區域和多語言網站,獲取關于如何管理針對不同語言或區域提供本地化內容的網站的高級建議。
使用 hreflang 告知 Google 網站上的網頁的不同語言版本。
如果網站會根據請求的語言區域調整其網頁內容,請了解這對 Google 抓取網站的方式有何影響。
如果網站使用通用頂級域名(.com、.org),而非基于語言區域的頂級域名(.ch、.in),您可以告知 Google 將搜索結果定位到哪些國家/地區。
遷移網頁或網站
如果您可能需要遷移單個網址乃至整個網站,請遵循以下指南:
遷移單個網址
如果您將網頁永久遷移至其他地址,請記得為您的網頁實現 301 重定向。如果由于某種原因而只是暫時遷移,則返回 302 以告知 Google 應該繼續抓取您的網頁。