一个搜索引擎，一般是用下面几个模块组成的：
具体是：抓取、过滤、收录、索引、排序。
一：抓取
1.抓取是怎么样抓取的呢？
通过链接进行抓取的，站内、站外的链接进行抓取，站外:外链、广告
通过从上到下、发现这个位置的链接，首页，
2.怎么让蜘蛛来抓取我们的网站
高质量、相关的网站发布外链
可以通过提交，通过百度站长..提交
百度的自动抓取，没有提交链接，百度纸质会自动来到你的网站
3.怎样知道百度蜘蛛有没有来到你的网站呢？
百度的站长..：索引量、抓取频次如下图所示：
也可以通过Iis日志，服务器日志：记录一个网站运行的东西，进行查看百度蜘蛛有没有访问你的网站。
4.不利于蜘蛛抓取的路径：
中文路径： www.xxxx.xxxx/xxxxx/123/我爱你
路径太长www.xxxxx.xxxxx/xxxxx/123/images/12465
http://xxxxx.xxxxx.com/disk/home#list/path=%2F%E6%AF%8F%E5%A4%A9%E8%AF%BE%E7%A8%8B%E5%8F%8A%E7%AC%94%E8%AE%B0
拒绝蜘蛛抓取:robots屏蔽
服务器问题：空间的问题，提示503，
路径最多不雅冲过5层，最好的网站路径不超过3层
抓取的一些信息放在临时数据库里，
二：过滤
1.为什么要过滤：
存在信息太多，需要过滤 垃圾 信息 需要过滤低质量的页面
2.影响过滤的因素：
识别文字、链接能识别，图片、视频不能识别，图片要加ait属性。视频要加文字说明
3.网站速度慢的：ping 测试
测速度的网站：站长工具
如下图所示：
4.国内100毫秒、国外200毫秒
5.速度 网站保证正常访问、网站权重：新站很正常，权重太低 网站页面权重流逝
怎样才算正常
网站能被访问、上线一个月别收录、建立索引，属于正常
6.页面的质量：
是跟我们网站收录有关系的，一个网站产品只有一个图片，就需要自己去做
网站的页面是空页面，打开都没有内容、内容只有一个、两个
每个栏目3-5,5-10篇文章
7.页面的相似度
页面相似度查询网址：http://tools.aizhan.com/sl/
如下图所示：
打开页面相似度网址，输入两个网站文章链接，如上图所示操作，即可看到页面相似度。
超过80%都会被过滤掉，能够控制在30%-40%就可以了。
三：收录系统模块
1当你上面的进行过滤，会给排名，将网站文章的网址复制到百度搜索框进行查询收录，site+域名，全站查询收录，站长..看到收录
收录和索引是同等的，
索引;http://zhanzhang.baidu.com/college/articleinfo?id=806
1，收录和索引分别指什么
收录：页面被Baiduspider发现、分析过
索引：Baiduspider经初步分析后认为有意义，做建库处理
2， 收录和索引的关系
包含关系，先收录才可以建索引，收录量大于索引量。百度站长..链接提交工具是通往收录的大门。
3， 收录和索引的意义
【收录意义1】收录是索引的前提，站点需要保持服务器稳定（参考抓取诊断工具、抓取异常工具）、robots正确（《robots写法和需求用法对应表》），为Baiduspider抓取铺平道路
【收录意义2】Baiduspider只能处理已分析过的页面，面对新旧页301和移动适配，可为已收录页面完成权值评分以及流量切换
【索引意义1】只有被建入索引库的网页才有获得流量的机会（网页虽然被建入索引库，但获得流量的机会并不同，无效索引很难获得流量）
【索引意义2】新闻源站点（新闻源目录）内的链接，必须先被网页库建索引，才有机会出现在新闻检索中
4， 如何查询收录量和索引量
真实索引量只能通过百度站长..索引量工具查询
5.有收录才有排名，收录是保证排名的前提
6.有收录并不一定有排名
网站有很多页面，并不能保证每个页面都收录，收录不一定会有排名
7.新站前面收录很慢，是什么问题？
信用度低、权重地、做好优化、内容更新，最起码每天更新一篇高质量的文章。当你的网站核心词、排名稳定、内容可以选择不做。
新站上线，百度蜘蛛很快进行抓取、收录，说明你的网站域名好，信用度低
8.为什么一个页面一个月都没有收录
因为百度蜘蛛把你的网站当成垃圾网站了，这个时候要去查看自己的网站的内容来源是采集、还是伪原创、怎么查找，把网站内容复制一小段，复制到搜索框，进行查看，如果首页前面十条都出现飘红，说明你的网站内容有问题了。
9.网站，会放在百度数据库，临时数据库
四：排序
1.会经过一系列的算法，进行排序，它把你网站的基础优化进行评分，内容也进行打分，这是打分体系，进行排序
要做好基础优化，用户投票
用户占了很大部分，当你的网站跳出率很高，用户体验，所以用户投票占据很大部分。
比如你搜索一个词的时候，排名，点击百度在进行计算，不是你点击就立刻进行计算的，是已经计算好了
