作为数据科学家，收集数据的最有效方法之一是借助Web抓取。网页抓取是一种将数据从Web捕获到我们本地计算机中的技术，以对它执行某些数据分析或数据可视化操作，以从该数据中获得有用的见解，也称为Web收集或数据提取。在本文中，将借助于两个名为Requests和bs4（Beautiful Soup）的金色库来抓取网络上的信息。选择这两个库的原因是它们比其他可用库更强大和灵活。

先决条件

HTML标签和CSS选择器的基础知识是必需的。

从Web捕获数据始于向Web发送请求要从哪个网站捕获数据。该任务是在“请求”模块的帮助下完成的。

要向网站提出请求，首先我们需要在python中导入请求模块。它不是python中的预内置模块。我们需要在pip的帮助下安装该软件包。

>>>导入请求#模块成功导入。

#提出要求

>>>响应= request.get

#响应变量将包含该请求对象的响应。

要检查请求对象的状态，我们需要在请求模块中使用status_code属性。

>>> response.status_code

如果状态代码值的结果为200，则您从网站获得了成功的响应。否则，您将从网页中得到不好的响应。问题可能出在Web URL或服务器问题上。

　　请求类型

借助请求模块，主要有六种类型的请求是可能的。

1. get()请求

2. post()请求

3. put()请求

4. 删除请求

5. head()请求

6. options()请求

向网页发出任何形式的请求的语法是-

requests.methodName('url')

但是，最流行的向网页发出请求的方法仅使用get()和post()方法。

要发送任何类型的敏感数据以及诸如登录凭据等URL之类的URL，则post()请求是更可取的，因为HTTP get()请求不会为已发送到网页的请求提供任何安全性。

R = requests.post

回应结果

我们的请求的响应内容是通过text属性获得的。

>>> response.text

由此可以得出结论，我们将网页内容下载到了本地计算机上。为了使内容更加灵活和有用，我们需要借助Beautiful Soup库。该库可帮助我们从可用数据中获得有用的见解。

#导入漂亮的汤库

>>> import bs4

为了使原始HTML数据更加美观，我们需要在某些解析器的帮助下解析内容。经常使用的解析器是-

1. xml文件

2. HTML5lib

3. XML解析器

4. HTML.parser

但是最灵活和最受欢迎的是lxml解析器。它可以非常快速有效地解析数据。

>>> soup_obj = bs4.BeautifulSoup(response.text，'lxml')

#soup_obj将使我们获取所需的结果

#为了使我们之前的数据更容易理解，我们将在汤匙上使用prettify()

>>> soup_obj.prettify()

因此，最后，我们又向前迈了一步。数据提取从此处开始-

要提取网页的名称，我们需要使用选择器以及适当的HTML标签来获得结果

>>> soup_obj.select('title')[0] .getText()

要从该网页提取所有链接，您需要找到该页面中的所有锚标记并将结果存储到变量中。借助for循环迭代，它完全可以打印结果

>>> links = soup_obj.find_all('a')

#find_all()将有助于获取所选标签的所有详细信息。

>>>对于链接中的链接：

... print(link.get('href'))

...

#get()用于从标记中提取特定内容

这是一个从网页获取链接的简单示例。如果您想从网页中提取其他数据，请选择与您的内容相关的适当标签，并在汤对象的帮助下获取结果。最初，这感觉很困难，但是当您在使用它时，绝对可以在一分钟内爬出任何类型的网站。

　　免责声明

未经管理员许可，请勿执行网站网页抓取。可能导致非法活动。公司中的数据科学家通常会在自己的网页和业务上进行网络抓取，而他们并未在其他公司网站上执行任何非法操作。所以要小心如果有任何原因造成您损坏，如果发生违法活动概不负责。

我在本教程中使用的网页可以随意刮取，因此完全没有问题。使用此类网站来学习或提高您的技能。

通过上述介绍，如何使用Python进行Web爬网相信大家已经清楚了吧，想了解更多关于Python的信息，请继续关注中培伟业。