软件研发

Python for Data Science：如何通过Internet的前300个API来抓取网站数据的？

2020-07-16 16:28:47　|　来源：中培企业IT培训网

Python爬虫是很多编程人员都了解的。但是对于Python for Data Science：如何通过Internet的前300个API来抓取网站数据的知道的人就不多了。今天我们将通过API World前300个API 抓取网站以收集数据。这样做的主要目的是，进行网络抓取可以节省时间并避免手动收集数据，还可以使您以结构化形式保存所有数据。

要求

就像我经常提到的，网络抓取很容易，它分为两个简单的部分：

1.使用网络抓取工具发出HTTP请求以进行数据提取。

2.通过解析抓取的HTML数据来提取重要的JSON数据。

对于网络抓取，我们将使用某些python库和工具：

1.BeautifulSoup是一个Python库，用于从HTML和XML文件中提取数据。

2.通过请求，您可以非常轻松地发送HTTP请求。

3.Scrapingdog-这是一个网络抓取工具。

建立

我们的设置非常简单。只需创建一个文件夹并安装Beautiful Soup和请求即可。要创建文件夹并安装库，请在给定命令下方键入。我假设您已经安装了Python3.x。

mkdir scraperpip install beautifulsoup4pip install requests

现在，使用您喜欢的任何名称在该文件夹中创建一个文件。我正在使用scraping.py。

首先，您必须注册 scrapingdog API。它将为您提供1000个免费积分。然后，只需在文件中导入Beautiful Soup和请求即可像这样。

from bs4 import BeautifulSoupimport requests

　　准备刮

现在，我们必须阅读Scrapingdog的API文档才能使用它。为了使您更轻松，我们将使用此处提供的最基本的API 。要探索更多选项，您应该阅读此API 的完整文档。这将使您清楚了解此API的工作方式。现在，我们将为最顶级的API 抓取 API World。

从中收集数据 API的世界，你可以检查感兴趣的元素通过右键单击页面，并选择检查。这将显示HTML代码，我们可以在其中看到每个字段所包含的元素。

由于数据存储在表中，因此只需几行代码即可直接进行抓取。如果您想熟悉抓取网站，这是一个很好的例子，也是一个很好的起点，但是请记住，它并不总是那么简单！

所有300个结果都包含在元素的行中，并且所有这些都在一页上可见。情况并非总是如此，当结果跨越许多页面时，您可能需要更改网页上显示的结果数，或者循环遍历所有页面以收集所有信息。

因此，现在我们将从Scrapingdog API中提取HTML，然后使用Beautifulsoup生成JSON响应，其中将包含公司名称，API名称和类别。现在只需一行，我们就可以抓取API World。对于请求API，我将使用请求。

r=requests.get('https://api.scrapingdog.com/scrape?api_key=&url=https://apiworld.co/awards/api-300-top-industry-innovations/').text

这将为您提供该目标URL的HTML代码。现在，您必须使用BeautifulSoup解析HTML。

soup = BeautifulSoup(r,'html.parser')

首先，我们收集了所有“ tr”标签元素，因为它包含所有数据。您可以通过右键单击任何API行来找到它。这可以通过下面的python代码来完成。

allapis = soup.find_all("tr")

l={}

u=list()

然后，我们将开始循环，使用变量“ allapis”的长度到达每个API的所有行。启动循环后，我们将使用“ td”标签存储“公司名称”，“ API名称”和“技术类别”的文本。因此，我们在开始for循环后将这些标签存储在其他变量中。

for i in range(0,len(allapis)):

try:

api = allapis[i].find_all("td")

except:

api=None

现在，您会注意到“ td”标签中有一个序列。您会发现每个第一个“ td”标记为“公司名称”，第二个为“ API名称”，最后一个为“类别”。我们还将在我们的代码中使用此登录名。

for i in range(0,len(allapis)):

try:

api = allapis[i].find_all("td")

except:

api=None

try:

l["company"]=api[0].text.replace(" ","")

except:

l["company"]=None

try:

l["api"]=api[1].text.replace(" ","")

except:

l["api"]=None

try:

l["category"]=api[2].text.replace(" ","")

except:

l["category"]=None

u.append(l)

l={}

数据清理

我们使用了替换功能，因为它包含不需要的字符，例如脚注符号，这些字符将对删除有用。

我们将从列表中删除第一项，因为第一个“ tr”标签具有“ th”标签，而不是“ td”，这是我们目前不需要的。最后，当我们打印列表“ u”时，我们得到了这个。

{

"Top 300": [

{

"category": "APIInfrastructure",

"company": "Amio",

"api": "Amio"

{

"category": "APIInfrastructure",

"company": "Authlete,Inc.",

"api": "Authlete"

{

"category": "APIInfrastructure",

"company": "CiscoSystems",

"api": "CiscoDevNet"

{

"category": "APIInfrastructure",

"company": "Fastly",

"api": "terrium"

{

"category": "APIInfrastructure",

"company": "Postman",

"api": "APIDevelopmentEnvironment"

{

"category": "APIInfrastructure",

"company": "TanganyGmbH",

"api": "WalletasaService"

{

"category": "APIManagement",

"company": "DellBoomi",

"api": "BoomiAPIManagement"

{

"category": "APIManagement",

"company": "GraviteeSource",

"api": "Gravitee.ioAPIPlatform"

{

"category": "APIManagement",

"company": "IBM",

"api": "APIConnect"

{

"category": "APIManagement",

"company": "KongInc.",

"api": "Kong"

{

"category": "APIManagement",

"company": "LinkApi",

"api": "APIManagementandIPaaS"

{

"category": "APIManagement",

"company": "MuleSoft",

"api": "AnypointPlatform"

{

"category": "APIManagement",

"company": "RapidValueSolutions",

"api": "End-to-endAPIintegrationandmanagementservices"

{

"category": "APIManagement",

"company": "Rebrandly",

"api": "RebrandlyAPI[v1]"

{

"category": "APIManagement",

"company": "WSO2",

"api": "WSO2APIManager"

{

"category": "APIMiddleware",

"company": "AloiInc",

"api": "Aloi"

{

"category": "APIMiddleware",

"company": "APIGATE",

"api": "APIGATEMint"

{

"category": "APIMiddleware",

"company": "BeAPI",

"api": "APIChaining"

{

"category": "APIMiddleware",

"company": "Envia.com",

"api": "EnviaShippingSolutions"

{

"category": "APIMiddleware",

"company": "MailTechnologies,Inc",

"api": "DocuSendPostalAPI"

{

"category": "APIMiddleware",

"company": "PocketNetworkInc.",

"api": "PocketNetwork"

{

"category": "APIMiddleware",

"company": "RedHatSoftware,Inc.",

"api": "RedHatIntegration"

{

"category": "APIMiddleware",

"company": "ScaleDynamics",

"api": "WarpJSserver"

{

"category": "APIMiddleware",

"company": "Site-Shot",

"api": "RESTAPI"

{

"category": "APIMiddleware",

"company": "Teapot,LLC",

"api": "Xilution"

{

"category": "APIMiddleware",

"company": "TheLinuxFoundation",

"api": "EdgeXFoundry"

{

"category": "APIMiddleware",

"company": "Transposit",

"api": "Transposit"

{

"category": "APISecurity",

"company": "42Crunch",

"api": "42CrunchAPISecurityPlatform"

{

"category": "APISecurity",

"company": "Axiomatics",

"api": "AxiomaticsPolicyServer"

{

"category": "APISecurity",

"company": "CritcalBlue",

"api": "APPROOV"

{

"category": "APISecurity",

"company": "CryptoMove",

"api": "CryptoMoveAPIs"

{

"category": "APISecurity",

"company": "CurityAB",

"api": "CurityIdentityServer"

{

"category": "APISecurity",

"company": "ForumSystems",

"api": "ForumSentryAPISecurityGateway"

{

"category": "APISecurity",

"company": "FXLabs,inc",

"api": "APISec"

{

"category": "APISecurity",

"company": "IDFConnect,Inc.",

"api": "SSO/Rest"

{

"category": "APISecurity",

"company": "monapi.io",

"api": "IPAddressAnomalyAPI"

{

"category": "APISecurity",

"company": "OneLogin",

"api": "OneLogin"

{

"category": "APISecurity",

"company": "SoftwareAG",

"api": "Microgateway"

{

"category": "AutomotiveAPIs",

"company": "Allstate",

"api": "AllstateRoadsideServicesRescueAPI"

{

"category": "AutomotiveAPIs",

"company": "DaimlerAG",

"api": "Mercedes-BenzCarData"

{

"category": "AutomotiveAPIs",

"company": "InfiniteLoopDevelopmentLtd",

"api": "vehicleregistrationapi.com"

{

"category": "AutomotiveAPIs",

"company": "SmartcarInc.",

"api": "SmartcarAPI"

{

"category": "AutomotiveAPIs",

"company": "SmartMonkey.io",

"api": "Flake"

{