百度蜘蛛抓取

蜘蛛是搜索引擎获取页面内容的重要途径。 一个页面最重要的内容可以通过蜘蛛的爬行获取，可以收录到百度数据库系统中。 每次爬取后，都会与数据库中的原始信息进行比较。 确定页面的整体质量。

然后，每次蜘蛛来爬行，都会在网站日志文件中记录，包括爬行时间、爬取的页面和蜘蛛来源的IP地址。 上次我们提到百度蜘蛛（Baiduspider）的ip来源基本可以反映不同蜘蛛对站点不同页面的偏好程度，也从侧面反映了整个站点不同页面的权重值。 通过自身的一系列分析，可以更准确地评估整个站点的权重分布。 对于seo、文章内容价值、用户体验都起到了很好的参考价值。经常听到站长问，什么是百度蜘蛛？ 最近百度蜘蛛来的太频繁，服务器被追上了。 最近百度蜘蛛不来怎么办？ 还有很多网站想获取百度蜘蛛的IP范围，想把IP加入白名单，但是IP不是固定的，不能公开。

如何识别正确的百度蜘蛛？ 来来来，两步教你正确识别百度蜘蛛

先详细说一下百度蜘蛛：

下面的百度蜘蛛IP造访，准备抓取你东西，抓取网页的百度蜘蛛。
60.172.229.61
61.129.45.72
61.135.162.*

百度竞价蜘蛛
61.135.165.134
117.34.74.66
118.122.188.194
119.63.196.9
125.39.78.185

（百度联盟爬虫），说白了就是百度统计。
61.135.186.*

站长工具模仿的百度蜘蛛。
61.147.98.146
61.188.39.16
113.98.254.245
117.21.220.245
117.28.255.42

114站长工具箱（这个是你的网站不稳定时常来的）.
119.147.114.213
121.10.141.*

百度图片爬虫
123.15.**.**

这个蜘蛛经常来,别的来的少,表示网站可能要进入沙盒了或被者降权。
123.125.68.*

抓取内页收录的权重较低爬过此段的内页文章暂时被收录但不放出来(意思也就是说待定)，因不是原创或采集文章。（百度网页爬虫（百度图片爬虫）
123.125.71.*

搜外站长工具蜘蛛。
124.248.34.52

也属于百度蜘蛛IP 主要造成成分，是新上线站较多，还有使用过站长工具，或SEO综合检测造成的，没有多大用。 125.90.88.*

百度蜘蛛
159.226.50.*
180.76.5.*
180.76.5.87
220.181.158.107

伪装百度蜘蛛IP
180.149.130.*

这个ip段出现在新站及站点有不正常现象后.
183.91.40.144
203.208.60.*

这个ip段不间断巡逻各站，就是路过一下.
210.72.225.*

每天这个IP 段只增不减很有可能进沙盒或K站.
218.30.118.102
220.181.68.*
123.125.68.*
220.181.68.*

主要是抓取首页占80%，内页占30%，这此爬过的文章或首页，绝对24小时内放出来和隔夜快照的!一般成功抓取返回代码都是 200 0 0返回304 0 0代表网站没更新，蜘蛛来过，如果是 200 0 64别担心这不是K站，可能是网站是动态的，所以返回就是这个代码.
220.181.108.*

代表百度蜘蛛IP来访准备抓取你东西.
220.181.7.*
123.125.66.*

这个ip段作为度过新站考察期.
121.14.89.*

这个ip段出现在新站或站点有不正常现象后.
203.208..60.*

这个ip段不间断巡逻各站.
210.72.225.*

这个是百度抓取首页的专用IP如是220.181.108段的ip来的话基本来说网站会天天隔夜快照，绝对错不了的.
220.181.108.95

98%抓取首页可能还会抓取其他(不是指内页)属于权重IP段此段爬过的文章或首页基本24小时放出来.
220.181.108.92

抓取内页收录的 权重较低爬过此段的内页文章不会很快放出来,因不是原创或采集文章.
123.125.71.106

属于综合的。主要抓取首页和内页或者其它页面。属于权重IP段, 抓过的文章或首页基本24小时放出来.
220.181.108.91

重点抓取更新文章的内页达到90%,8%的抓取首页,2%其他权重ip段,抓过的文章或首页基本24小时放出来.
220.181.108.75

专用抓取首页ip 权重段,一般返回代码304 0 0代表未更新
220.181.108.86

抓取内页收录的，权重较低，爬过此段的内页文章不会很快放出来,因不是原创
123.125.71.95
123.125.71.97

专用抓取首页ip 权重段,一般返回代码304 0 0代表未更新
220.181.108.89
220.181.108.94
220.181.108.97
220.181.108.80
220.181.108.77

抓取内页收录的权重较低,爬过此段的内页文章不会很快放出来,因不是原创
123.181.108.77

专用抓取首页ip 权重段,一般返回代码304 0 0代表未更新

220.181.108.83

百度蜘蛛IP地址
123.125.68.*这个蜘蛛经常来,别的来的少,表示网站可能要进入沙盒了，或被者降权。
220.181.68.*每天这个IP段只增不减很有可能进沙盒或K站。
220.181.7.*、123.125.66.*代表百度蜘蛛IP造访，准备抓取你东西。
121.14.89.*这个ip段作为度过新站考察期。
203.208.60.*这个ip段出现在新站及站点有不正常现象后。
210.72.225.*这个ip段不间断巡逻各站。
125.90.88.*广东茂名市电信也属于百度蜘蛛IP主要造成成分，是新上线站较多，还有使用过站长工具，或SEO综合检测造成的。
220.181.108.95这个是百度抓取首页的专用IP，如是220.181.108段的话，基本来说你的网站会天天隔夜快照（悲剧的我竟然屏蔽了这个IP）
220.181.108.92同上98%抓取首页，可能还会抓取其他(不是指内页)220.181段属于权重IP段此段爬过的文章或首页基本24小时放出来。（嗯，还有这个也屏蔽了，晕死了！）
123.125.71.106抓取内页收录的，权重较低，爬过此段的内页文章不会很快放出来，因不是原创或采集文章。（这个也有，汗！）
220.181.108.91属于综合的，主要抓取首页和内页或其他，属于权重IP段，爬过的文章或首页基本24小时放出来
220.181.108.75重点抓取更新文章的内页达到90%8%抓取首页2%其他权重IP段爬过的文章或首页基本24小时放出来（这个，……！）
220.181.108.86专用抓取首页IP权重段一般返回代码是30400代表未更新。（还有这个……）
123.125.71.95抓取内页收录的权重较低爬过此段的内页文章不会很快放出来，因不是原创或采集文章。
123.125.71.97抓取内页收录的权重较低爬过此段的内页文章不会很快放出来，因不是原创或采集文章。
220.181.108.89专用抓取首页IP权重段一般返回代码是30400代表未更新。（好吧，220开头的好像都被我屏蔽了，下手真心有点儿太狠了！）
220.181.108.94专用抓取首页IP权重段一般返回代码是30400代表未更新。
220.181.108.97专用抓取首页IP权重段一般返回代码是30400代表未更新。
220.181.108.80专用抓取首页IP权重段一般返回代码是30400代表未更新。
220.181.108.77专用抓首页IP权重段一般返回代码是30400代表未更新。
123.125.71.117抓取内页收录的，权重较低，爬过此段的内页文章不会很快放出来，因不是原创或是采集文章。
注：以上IP尾数还有很多但段位一样的123.125.71.*段IP代表抓取内页收录的权重比较低，可能由于你采集文章或拼文章暂时被收录但不放出来.。

220.181.108.83专用抓取首页IP权重段一般返回代码是30400代表未更新。
220.181.108.*段IP主要是抓取首页占80%内页占30%这此爬过的文章或首页绝对24小时内放出来和隔夜快照的!
一般成功抓取返回代码都200，返回304代表网站没更新。