python爬虫(python为什么叫爬虫)

网络搜寻器也称为网络蜘蛛。它根据网址（URL）搜寻Web内容，而网址（URL）是我们在浏览器中输入的网站链接。例如：https：//www.baidu.com/，它是一个URL。

在解释爬虫的内容之前，我们需要学习编写爬虫的基本技能：复习元素（如果您已经掌握了它，则可以跳过此部分）。
网络爬虫程序的第一步是基于URL获取网页的HTML信息。在Python3中，您可以使用urllib.request和请求进行网络爬网。
urllib库是内置在python中的，不需要其他安装，只要安装了Python，就可以使用该库。
请求库是第三方库，我们需要自行安装。

请求库功能强大且易于使用，因此本文使用请求库来获取网页的HTML信息。请求库的github地址：https://github.com/requests/requests
（1）要求安装
在cmd中，使用以下命令安装请求：
pipinstallrequests
要么：
easy_installrequests

python为什么叫爬虫

作为一种编程语言，Python是完全免费的软件。它的简洁明了的语法以及对句子缩进的强制性使用空格使它深受程序员的喜爱。举个例子：要完成一项任务，总共用C语言编写了1000行代码，在Java中编写了100行代码，在Python中编写了仅20行代码。如果使用python完成编程任务，则编写的代码量会减少，代码简洁，简短并且可读性强。当团队发展时，阅读别人的代码会更快，开发效率会更高，工作效率也会更高。
这是一种非常适合开发Web搜寻器的编程语言。与其他静态编程语言相比，Python具有更简单的用于爬网Web文档的界面。与其他动态脚本语言相比，Python的urllib2软件包为Web文档提供了更完整的访问API。另外，python中有出色的第三方软件包，可以有效地实现网页爬网，并可以用非常短的代码完成网页的标签过滤功能。

pythoncrawler的结构如下：
1.URL管理器：管理要抓取的URL的集合和抓取的URL的集合，并将要抓取的URL发送给Web下载器；
2.网页下载器：抓取该URL对应的网页，将其存储为字符串，并发送给网页解析器；
3.网页解析器：解析出有价值的数据，进行存储，并同时将URL添加到URL管理器中。
python的工作流程如下：
（Python爬网程序使用URL管理器来确定是否有要爬网的URL。如果有要爬网的URL，则它将通过调度程序传递给下载器，下载URL内容，然后通过以下方式将其传输给解析器调度程序，解析URL内容，并将值数据与通过调度程序将新URL列表传递到应用程序并输出值信息的过程结合起来。）
Python是一种非常适合Web搜寻器开发的编程语言。它提供了诸如urllib，re，json，pyquery等模块。同时，还有许多形成框架，例如Scrapy框架，PySpider爬虫系统等，并且非常简单方便。是网络爬虫的首选编程语言！