同福

【20210301】Python做个搜索引擎(4)网页蜘蛛之工作原理

介绍

介绍

前面几堂课我们已经掌握了通过Python编程操作MySQL数据库和ElasticSearch搜索引擎的技巧,今天开始就可以正式编写代码了。
搜索引擎分为两个部分,一个是网页蜘蛛,负责爬取网站的网页内容并且存入MySQL数据库当中,同时同步写入到ElasticSearch搜索引擎里面;另外一个是搜索界面,负责从ElasticSearch搜索引擎里面根据查询关键字找出匹配项,然后根据匹配项的主键去MySQL数据库里查询出原始数据,最后展示给用户。
这一课我们将开始进行网页蜘蛛程序的编写,这个网页蜘蛛程序是关键,也是很复杂的,对于新手来说会有一定难度。因此,福哥会将程序的分开多个部分,童鞋们可以一点一点地学习网页蜘蛛的编写。

https://tongfu.net/home/35/blog/512803.html