网站建设中搜索引擎 第1篇
这个应该很好理解的，将源代码中的文字提取出来。当然需要注意的是，这里面会包括meta信息以及一些替代文字，除了用户可见的文字信息外，还有代码中的文字信息(例如alt标签)。目前搜索引擎都是以文字为基础。蜘蛛抓取的HTML代码中除了用户在浏览器看到的文字外还有大量HTML格式标签、DIV+CSS标签、JavaScript程序等无法用于排名的内容。所以搜索引擎第一步就是要去除从HTML代码中抓取的标签、程序等，提取可以用于排名处理的页面文字内容。除了可见文字，搜索引擎也会提取一些特殊的包含文字信息的代码，如Meta标签中的文字、alt标签、FLASH文件代替的文字、链接的锚文本等等。
网站建设中搜索引擎 第2篇
A、搜索引擎会基于可视化信息识别噪音，因此马海祥建议SEO人员在建设网页时应尽量遵循通用的原则，将正文内容安排在页面中间区域，而不要弄一些非常个性化的页面，增加搜索引擎识别噪音的难度。B、搜索引擎会基于网页结构识别噪音，因此马海祥建议SEO人员在处理网页结构时建议引入JS代码，将页头、广告、版权声明等内容通过JS调用来实现。当然是一些你不想被抓取的版块，因为这些区块在站内很可能都是重复出现的，特别是广告、版权、评论这些。一旦被收录，很容易造成重复内容堆积，影响整站的内容质量评分。C、搜索引擎会基于网页模版识别噪音，因此SEO人员在建设网页时应尽量采用同一套模版，尤其是在改版的时候不要轻易动模版，以帮助搜索引擎识别噪音区块。
网站建设中搜索引擎 第3篇
对搜索引擎来说，并不是网页上的所有部分它都需要抓取，有一些部分对排名计算是没有意义的，比如导航条、版权文字说明、广告等等区块。考虑到搜索引擎需要处理的网页数量非常庞大，这部分无意义内容的绝对量也是非常大的，为了节省计算资源，提升排名计算的速度，搜索引擎在预处理时会将这些内容识别后剔除出去。这个过程就称为消噪。
现在搜索引擎应用的消噪技术可分为三类：基于网页结构的方法，基于模版的方法和基于可视化信息的方法。
A、基于可视化信息的方法：是指利用页面中元素的布局信息，从而能够利用布局信息对页面进行划分，保留页面中间区域，而其它区域则认为是噪音。B、基于网页结构的方法：即根据html标签对页面来分区，分出一些页头、导航、正文、广告等等的区块，只抓取正文等重要的部分。C、基本模版的方法：指的是从一组网页中提取出相同的模板，而后利用这些模版从网页中抽取有用的信息。
网站建设中搜索引擎 第4篇
数据搜集直白的讲，即数据的搜集阶段，将网页从浩如瀚海的互联网世界搜集到自己的数据库中进行存储。搜索引擎派出一个能够在网上发现新网页并抓文件的程序，这个程序通常称之为蜘蛛(Spider)。搜索引擎从已知的数据库出发，就像正常用户的浏览器一样访问这些网页并抓取文件。搜索引擎通过这些爬虫去爬互联网上的外链，从这个网站爬到另一个网站，去跟踪网页中的链接，访问更多的网页，这个过程就叫爬行。这些新的网址会被存入数据库等待抓取。所以跟踪网页链接是搜索引擎蜘蛛(Spider)发现新网址的最基本的方法。搜索引擎抓取的页面文件与用户浏览器得到的完全一样，抓取的文件存入数据库。
网站建设中搜索引擎 第5篇
正向索引简称为索引。经过前五步之后，接下来搜索引擎将提取文中关键词，按分词程序划分好的词，同时记录每个词在页面中出现的频率、出现的次数、格式(如加粗、倾斜、黑体、H标签、加颜色、锚文字等)、位置(如页面第一段文字或者最后一段等)。然后把这些词语记录为串关键词集合，那么这些词的相关信息如格式、权重等也会记录在案。实际在搜索引擎中每个关键词也被转换为ID形式记录，然后每个文件ID对应一串关键词ID。这种每个文件ID对应一个串关键词ID这样的数据结构被称之为正向索引。比如文章A对应1、2、3这三个关键词，文章B对应2、4、5这三个关键词。