首先,搜索引擎蜘蛛
搜索引擎蜘蛛也叫网络爬虫。目标:获取高质量的网络内容。以下是一些常见的搜索引擎蜘蛛分类:
1.1 Baiduspider(百度蜘蛛)
百度公司还有其他几个蜘蛛:Baiduspider-news(新闻),Baiduspider-mobile(wap),Baiduspider-image(图片),Baiduspider-video(视频)。Baiduspider和Baiduspider-图片经常被站长看到。
1.2 Google bot(Google spider)
我还找到了一个Googlebot-Mobile,名字应该是抓取wap内容的。
1.3 360 spider
是一只“努力爬行”的蜘蛛。
1.4搜狗蜘蛛
还包括以下:搜狗网蜘蛛,搜狗inst蜘蛛,搜狗蜘蛛2,搜狗博客,搜狗新闻蜘蛛,搜狗猎户座蜘蛛。看看百度的robots . txt http://www.baidu.com/robots.txt,最权威的百度,搜狗搜狗蜘蛛要花很多字节,占地很大。
其他蜘蛛还有很多,不过不要太多介绍。SEO优化主要针对这四个。有兴趣可以看看这篇文章,搜索引擎蜘蛛大全。如有需要,请拨打010-57466733联系我们,或者扫描下面的二维码,添加我们的项目经理微信,你会获得更多这方面的知识。
全国服务热线
15725120635