蜘蛛： 蜘蛛(Spider)是搜索引擎的一个自动程序，它的作用是访问互联网上的HTML网页 ，建立索引数据库，使用户能在搜索引擎中搜索到网站的网页。

　　简单的说，它是网站与搜索引擎交流的工具，正式有了蜘蛛，搜索引擎才能知道你的站点，进而才产生了收录和排名。因为蜘蛛是一个自动程序，依靠各项设定的原则来行动，所以通过跟踪蜘蛛的动向和搜索引擎的反应，就可以有的放矢地对网站进行优化。

　　总是有人在一些论坛上发上一些关于百度收录又消失的问题，我想就此发一下个人的观点。一个网站的搜索引擎收录量的高低，确实可以反应出网站现存在的一些不利于SEO的因素，这些就是阻碍网站在搜索引擎上表现更好的因素。

 网站为什么收录少？网站收录少主要有如下两类情况：

    A、网站内容本来就少，所以不可能收录多 ：
    比如，网站上总共有100页内容，那么搜索引擎不可能收录10,000页。
    常见情况：用BBS系统建站，然后站长手工作坊式自己找内容、复制粘贴来建设内容

    B、网站虽有大量内容，但搜索引擎不喜欢所以收录少：
    常见情况：使用小偷程序或使用采集器批量采集内容，但搜索引擎很少收录，甚至造成整站被封。

    搜索引擎不喜欢传统采集的主要原因：

    传统批量获取的内容仅来自特定的一个或几个网站，所以内容与目标网站大幅度重复，这是搜索引擎不收录的最重要原因；
    传统采集来的内容质量不高，主要是无有效过滤手段，比如采集来的很多内容都被添加了不相干的关键词、或者关键词堆积密度过高，造成搜索引擎连带惩罚；
    传统采集的内容与原网站完全一样，但搜索引擎更喜欢原创内容；
    传统采集后添加到网站的内容，彼此之间很少关联，这造成搜索引擎爬行一个页面之后无法顺利的爬行其他页面，这也非常影响收录。
    人工复制，虽然能保证内容质量，但又太累，并且获取的总体内容太少，不行！
    传统采集，虽然能快速获得内容，但又要懂技术，并且搜索引擎不喜欢，还是不行！

　　首先 蜘蛛爬到你的主页 会随着你的链接不断的进行爬寻 在爬寻的过程中不断地将文章和百度首次收录算法进行对比 这个要求很低 只要是出现他们喜欢的“关键字”你的站将很快就会被收录，于是很多人的文章很快就被收录了，欢天喜地，但是第二天却又被百度删除，哭丧着脸跑到各个论坛不断的询问，这是为什么呢?相信这是SEO初学者的一个共同疑问。

　　答案是 蜘蛛虽然把你带回了家，但是他还要进行第二次数据对比，这就需要另外一只蜘蛛(这里强调下，研究搜索引擎的算法的时候我们一定要从实际出发，如果你是搜索引擎蜘蛛的研究者，你是否能够用一个蜘蛛就实现这个些功能呢，显眼为了分工明确 百度派出了很多的蜘蛛各司其职 原理如同我们的CUP 多线程)将其与数据库中的文章进行对比，如果文章内容重复读超出60%便会默认为同样的文章，这样就是SEO界所谓的“页面相似度过高”，容易导致失去百度信任进而有被降权的可能性.

　　总结，说了这么，主要就是阐述一下 很多人问过的 为何百度收录了我的文章，很快又消失了的原因。SEO界有一句大家认同的话“内容为王”，的确是这样老老实实做站 只要坚持内容原创 相信你的站距离成功不再遥远。