歡迎您來到潮人地東莞seo博客,本站專業免費分享多元化的seo網站優化技術干貨以及解答seo各種常見問題的博客網站

熱門關鍵詞: seo優化 seo推廣 seo技術 seo博客 seo網站推廣怎么做 seo怎么做 新手做seo怎么做
當前位置:seo博客首頁 > seo技術分享 >

seo技術:各大搜索引擎蜘蛛IP段(以及如何判斷蜘蛛真假)

發布時間:2023-08-19 18:16:01 文章出處:潮人地東莞seo博客 作者:東莞seo博客 閱讀數量:

潮人地東莞seo博客小編下面跟大家分享關于seo技術:各大搜索引擎蜘蛛IP段(以及如何判斷蜘蛛真假)等問題,希望seo專員在做seo優化的過程中有所幫助,內容僅供參考。多渠道矩陣式推廣seo排名

搜索引擎蜘蛛會定期來抓取網站內容,以便收錄網頁,站長們是非常歡迎蜘蛛來爬的,但是卻有人經常偽造蜘蛛IP進行惡意采集內容,還有很多DDOS攻擊也會偽造成蜘蛛的User Agent來攻擊,我查看過一位站長朋友被DDOS攻擊的日志,里面大概20%的國外IP偽造成Googlebot來訪問,這樣會對我們的網站造成影響。我們必須要揪出這些假蜘蛛,拒絕他們訪問網頁,這時候我們只能通過IP來識別了,因為User-agent是可以偽造的,只有IP才能準確判斷。

下面是站長大本營最近收集的各大搜索引擎蜘蛛IP數據,數據沒辦法保證完全準確,因為搜索引擎官方是不公開IP段的,且IP都會變,我對比過多個數據和自己核驗,下面的數據還是挺可靠的,有遺漏的下面還會有解決方案。

百度蜘蛛IP段:

seo博客相關推薦閱讀:seo網絡推廣:seo要如何選擇關鍵詞?

61.135.0.0/16

123.125.0.0/16

seo技術:各大搜索引擎蜘蛛IP段(以及如何判斷蜘蛛真假)

111.206.0.0/16

180.76.0.0/20

180.149.128.0/19

220.181.0.0/16

36.110.128.0/17

124.164.0.0/14

116.179.0.0/16

180.97.0.0/18

Google中國蜘蛛IP段:

203.208.32.0/19

203.208.60.0/24

74.125.0.0/16

72.14.192.0/18

64.233.160.0/19

66.249.64.0/19

66.102.0.0/20

64.68.64.0/19

66.249.90.0/24

66.249.91.0/24

66.249.92.0/24

搜狗蜘蛛IP段:

118.184.176.0/22

123.180.0.0/14

123.125.0.0/16

61.135.0.0/16

123.126.64.0/18

111.202.0.0/16

36.110.128.0/19

220.181.0.0/16

106.120.128.0/17

49.7.0.0/18

218.30.96.0/19

106.38.0.0/16

111.13.0.0/16

58.250.0.0/16

183.36.96.0/19

49.7.64.0/18

必應蜘蛛IP段:

103.25.156.0/24

111.221.16.0/20

157.56.0.0/16

199.30.16.0/20

65.52.0.0/14

13.64.0.0/11

沃航seo自然排名

157.55.0.0/16

207.46.0.0/16

40.64.0.0/10

52.224.0.0/11

40.76.0.0/14

40.80.0.0/12

52.160.0.0/11

360搜索蜘蛛IP段:(這是官方提供的,非常準確)

180.153.0.0/16

180.163.128.0/17

42.224.0.0/12

頭條搜索蜘蛛IP段:

110.249.201.0/24

110.249.202.0/24

111.225.148.0/24

111.225.149.0/24

220.243.135.0/24

220.243.136.0/24

111.224.0.0/14

60.8.0.0/15

110.240.0.0/12

220.243.128.0/18

神馬搜索蜘蛛IP段:

42.156.128.0/17

42.120.128.0/17

106.11.144.0/20

以上IP段可能未來還會新增,而且新增的IP段我們也無法獲取到,這時候我們就需要另外一種方案來核實了,那就是DNS反查,我們可以通過反查來訪的蜘蛛IP,查到對應的域名地址即可核實。

通過DNS反查IP用的是一種代碼指令,不同的操作平臺使用的指令也是不同的,比如:linux、windows、Mac OS這三個操作平臺,使用的指令為host、nslookup、dig,查詢的格式為:host ip(ip=ip地址)、nslookupip(ip=ip地址)、digip(ip=ip地址)。例如:host 111.222.XXX.XXX 或 nslookup 111.222.XXX.XXX 或 dig host 111.2玉林網站seo優化排名22.XXX.XXX,如果是用PHP可以使用 gethostbyaddr("IP")來獲取,不同的蜘蛛IP對應的域名是不一樣的,我們只要核實是哪家的蜘蛛就OK了。

下面我把各大搜索引擎蜘蛛的域名分享下:

百度蜘蛛IP對應的域名(例子):

baiduspider-116-179-32-216.crawl.baidu.com

谷歌蜘蛛IP對應的域名(例子):

crawl-203-208-60-60.googlebot.com

必應蜘蛛IP對應的域名(例子):

msnbot-40-77-167-2.search.msn.com

搜狗蜘蛛IP對應的域名(例子):

sogouspider-123-126-113-79.crawl.sogou.com

頭條蜘蛛IP對應的域名(例子):

bytespider-111-225-149-71.crawl.bytedance.com

神馬蜘蛛IP對應的域名(例子):

shenmaspider-42-156-137-55.crawl.sm.cn

360搜索官方說是禁止反查的,所以我們只用官方給出的IP段判斷就OK了。

通過以上IP反查可以得到域名,判斷域名是否是這些域名結尾就可以核實,這樣我們在防御上就不會將搜索引擎蜘蛛誤殺了。

以上是潮人地東莞seo博客跟大家分享關于seo技術:各大搜索引擎蜘蛛IP段(以及如何判斷蜘蛛真假)等問題,希望能對大家有所幫助,若有不足之處,請諒解,我們大家可以一起討論關于網站seo優化排名的技巧,一起學習,以上內容僅供參考。

閱讀全文
本文標題"seo技術:各大搜索引擎蜘蛛IP段(以及如何判斷蜘蛛真假)":http://www.420113.com/jsfx_25335.html
本文版權歸潮人地seo博客所有,歡迎轉載,但未經作者同意必須在文章頁面給出原文連接,否則保留追究法律責任的權利。
標簽:
合作伙伴
主站蜘蛛池模板: 无码熟妇αⅴ人妻又粗又大| 亚洲AV无码专区国产乱码不卡| 激情射精爆插热吻无码视频| 免费无码又爽又刺激毛片| 特级无码a级毛片特黄| 久久人妻av无码中文专区| 在线无码午夜福利高潮视频 | 久久青青草原亚洲av无码app| 亚洲天然素人无码专区| 中文字幕无码免费久久9一区9| 玖玖资源站无码专区| 亚洲国产91精品无码专区 | 日韩人妻无码精品久久久不卡| 国产精品无码AV不卡| 亚洲AV无码国产精品色| 亚洲av无码一区二区三区不卡 | 中文字幕av无码不卡免费| 亚洲中文字幕无码亚洲成A人片| 熟妇人妻中文a∨无码| 无码人妻精品一区二区蜜桃百度| 精品爆乳一区二区三区无码av| 亚洲AV无码不卡在线观看下载 | 亚洲情XO亚洲色XO无码| 亚洲AV中文无码乱人伦| 免费a级毛片无码a∨性按摩| 无码人妻丰满熟妇啪啪网站| 日韩人妻无码精品久久免费一| 亚洲日韩欧洲无码av夜夜摸| 熟妇人妻中文a∨无码| 国产成人无码av| 岛国无码av不卡一区二区| 亚洲精品97久久中文字幕无码| 国语成本人片免费av无码| 国产精品无码免费播放 | 永久免费av无码网站大全| 四虎成人精品无码永久在线| 无码喷水一区二区浪潮AV| 国产成人无码免费视频97| 国产午夜无码视频免费网站| 无码av中文一二三区| 国产精品成人无码久久久|