今天合肥网络公司和大家谈谈搜索引擎的核心，搜索引擎蜘蛛（crawler）。蜘蛛是搜索引擎获取网络资源的重要途径。通过网络蜘蛛，搜索引擎可以有机的获取当前互联网上最新的网页，为接下来分析关键词,排序等等提供素材。既然蜘蛛如此的重要，那么我们就应该针对蜘蛛给他提供一些适合他的“食物”但是在这里有个非常重要的概念就是蜘蛛是很有礼貌的，它不会不告而访。它会在自己的“user agent”声称“我是某某搜索引擎的蜘蛛”。这就为我们提用一个很好的机会，因为机器毕竟和人不一样，要达到人类最好的视觉效果可能会对搜索引擎对页面的分析不利，反之亦然。通过探测蜘蛛的方法，可以把一个完全只适合给机器看的页面交给蜘蛛但是一点也不影响到自己真正用户的用户体验。而且，随着时间的发展，蜘蛛开始变的越来越聪明，有些蜘蛛比如说google,已经可以理解页面本身中的javascript(但不是包括 〈SCRIPT src="XXX" type=text/javascript〉这样外部的javascript),这样如果你不想让蜘蛛去某个链接的话完全可以把它写进javascript中。至于说html里面的各个标签应该怎么写对搜索引擎有益，互联网上已经有很多文章阐述了，本文就不赘述了。
      蜘蛛还有一个重要但是很无奈的特点就是蜘蛛的资源是有限的。特别是对于一些规模较小的搜索引擎，他们会设计自己的一套算法来决定是否要让蜘蛛访问某个页面。如果这个页面不够“重要”（由各个引擎自己定义），而且资源也不够的情况下，这个页面就会被忽略。我们不妨来做个实验，去百度的网站输入site: cn.alexa.com，会显示有约694,000篇，再去sogou的网页尝试，你会看见找到 6 个网页。这也给各位希望做搜索引擎优化的诸位提个警钟，不要太在意这个时候在（小规模搜索引擎的）结果。如果资金允许的话，在这个时候在小规模引擎上买些关键字。

    合肥网站建设认为我们要想获得好的关键字排名一定要很好的对待搜索引擎蜘蛛。因为他是搜索引擎的核心。