蜘蛛是搜索引擎抓取网站的工具，蜘蛛对于网站爬行的越深入透彻，对于搜索引擎收录网站越有帮助，如果蜘蛛在你的网站爬行的内容越多、越透彻，收录自然也越多，同时搜索引擎对你的网站便越了解。

因此，如果我们想要得到一个好的收录，甚至好的网站优化效果，除了每天对于内容的高质量追求之外，还要做好蜘蛛的爬行引导工作。

那么，如果做好蜘蛛的爬行引导工作呢，这就需要从网站的内部结构入手。

1、导航的设置
导航是蜘蛛爬行的引导线，良好的导航设置能够引领蜘蛛一级一级的深入到网站的最根本。

2、死链接的问题
死链接就像是蜘蛛在爬行的时候撞到了墙，路被堵住了，蜘蛛就会换一条路去走，如果网站内部过多的死链接，老是让蜘蛛撞墙，后果可想而知。长此以往，不仅阻碍蜘蛛对于网站内容的深入抓取，而且蜘蛛撞墙撞多了以后恐怕也不会再来了吧。为了保险起见可以再增加一个404页面。

3、文章内链的合理布局
在文章中合理的设置关键词以及长尾关键词链接，让蜘蛛可以更深入的爬行到其他东西，并形成文章、栏目、首页之间的相互串联，让蜘蛛畅通无阻的在你的网站内部进行爬行。

4、网站的URL问题
URL务必要简单，不要搞太多的乱七八糟的字符，蜘蛛爬久了会晕的。不管搜索引擎技术的发展对于动态url抓取的程度如何，简单轻减得东西无疑更容易获得记忆。