今日淘宝宣布部分解禁百度蜘蛛,到底什么是百度蜘蛛?百度蜘蛛又是干嘛的?我们平时用百度搜索,比如搜索巴西奥运会,能出现新浪,腾讯,网易等各大网站的新闻内容。但是你想过没有,网络信息是无穷无尽的,百度是如何在最短的时间内搜索到你想要的内容呢?有些博客或者微信群里面也有奥运会的信息,也是以网络形式存在,为什么百度搜索不到?
这就要介绍下百度蜘蛛了,百度蜘蛛又称网络爬虫,是一种能在网络上到处爬行的东西,当然百度蜘蛛不是漫无目的的爬行,是按照一定规则,自动抓取网络信息的程序,是一种信息搬运工。为什么有的内容搜索不到?
这就是因为百度蜘蛛没爬到,为什么爬不到呢?有三种情况,第一,百度蜘蛛确实没爬到。第二种就是网站把百度蜘蛛屏蔽了。第三种就是百度蜘蛛爬到了,但是内容不符合法律的相关规定,给自动屏蔽。对于大多数网站来说,恨不得百度蜘蛛天天挂在他家,甚至交点钱给百度,让搜索结果排名靠前,这就是百度的竞价推广。
淘宝之所以屏蔽百度蜘蛛,如果可以在百度直接搜索到淘宝的商品不是更方便吗?淘宝认为,当所有的商品都在淘宝网上搜索到的话,淘宝不仅是一个购物平台,也是巨大的流量入口,用户想在淘宝购买商品,只能先进淘宝首页,淘宝的自营广告和数据采集都可以顺理成章的展开。这次淘宝宣布部分解禁百度蜘蛛,解禁的部分大多数都是跟淘宝的文章资讯有关,而淘宝店铺目录依然还是处于屏蔽状态。毕竟在流量入口方面来说,淘宝和百度是属于竞争状态,淘宝怎么可能让百度蜘蛛在自己的地盘上爬来爬去呢。