网络营销搜索引擎蜘蛛分析.doc

网络营销搜索引擎蜘蛛分析.doc网络营销搜索引擎蜘蛛分析
网络营销搜索引擎蜘蛛分析来源：广告圈adwordsing
在网络营销中，搜索引擎算法是一个很复杂的过程，主要分为二个步骤，一是蜘蛛爬行 和抓取，二是索引，三是排名运算，现在网站推广编辑和大家分享第一个步骤的相关信 息，也就是蜘蛛的爬行和抓取。爬行和抓取是搜索引擎工作的第一步，完成数据收集任 务。
一、 蜘蛛
搜索引擎用来爬行和访问页面的程序被称为蜘蛛
(spider),也叫机器人(bot)。搜索引擎蜘蛛访问网站推广页面时类似于普通用户 使用浏览器。蜘蛛程序发出页面访问请求后，服务器返回HTML代码，蜘蛛程序把收到的 代码存入原始页面数据库。网络营销搜索引擎为了提高爬行和抓取的速度，都使用多个蜘 蛛分布爬行。
蜘蛛访问网站时，首先会访问网站推广根目录下的
robots, txt文件。如果robots, txt文件禁止搜索引擎抓取某些网页或者内容，再或者 网站，蜘蛛将遵循协议，不对其进行抓取。蜘蛛也是有自己的代理名称的，在站长日志中 可以看出蜘蛛爬行的痕迹，所以为什么这么多站长解答问题的时候会说先查看网站日志
(作为一个出色的网络营销SEO你必须具备不借助任何软件查看网站H志的能丿J,并且要 非常熟悉其代码的意思)。
二、 追踪链接
由于网络营销搜索引擎蜘蛛为了能够抓取网上尽量多的页面，它会追踪网页上的链接， 从一个页面爬到下一个页面，就好像是蜘蛛在蜘蛛网上爬行那样，这就是搜索引擎蜘蛛这 个名称的来因。
整个互联网网站推广都是相互链接组成的，也就是说，之处从任何一个页面出发最终会 爬完所有页面。当然网站和页面链接结构太过于复杂，所以蜘蛛只有采用一定的方法才能 够爬完所有页面。最简单的爬行策略有两种，一种是深度网络营销优先，另一种是广度优 先。
深度优先是指蜘蛛沿着发现的链接一直向前爬行，直到前面再也没有其他链接，然后返 回到第一个页面，沿着另一个网站推广链接再一直往前爬行。
广度优先是指蜘蛛在一个页面发现多个链接时，不是顺着一个链接一直向前，而是把页 面上所有链接都爬一遍，然后再进入第二层页面沿着第二层上发现的链接爬向第三层页 面。从理论上说，无论是深度优先还是广度优先，只要给蜘蛛足够的时间，都能爬完整 个互联网。在实际工作中，蜘蛛的带宽资源、时间都不是无限的。也不能爬完所有页面。 实际上最大的网络营销搜索引擎也只是爬行和收录了互联网的一小部分。
二、吸引蜘蛛
由此可见，虽然理论上说蜘蛛可以爬行和抓取所有页面，但实际不行。那么SEO人员想 要收录更多的网络营销页面就只有想办法引诱蜘蛛抓取。既然抓不了所有页面，那么我们 就要让它抓取重要页面。因为重要页面在索引中起到重要决定，直接影响网站推广排名的 因素。这会在接下来的博文中讲述。哪么那些页面算是比较重要的呢？重要页面有这么几 个特点。
网站和页面权重
质量高、年龄老的网站推广被给予很高的权重，这种网站上的页面蜘蛛爬行的深度比较 高，所以会有更多的内页被收录。
页面更新度
蜘蛛每次爬行都会把页面数据储存起来。如果第二次爬行时发现此页面与第一次收录的 内容完全一样，说明网络营销页面没有更新，蜘蛛也没必要经常再来爬行和抓取。如果页 面内容经常更新，蜘蛛就会频繁的爬行和抓取。那么页面上的新链接自然的会被蜘蛛更快 的追踪和抓取。这也就是为什么需要每