您現(xiàn)在的位置：首頁 > IT資訊 > 軟件研發(fā) > Python for Data Science：如何通過Internet的前300個API來抓取網(wǎng)站數(shù)據(jù)的？

Python for Data Science：如何通過Internet的前300個API來抓取網(wǎng)站數(shù)據(jù)的？

2020-07-16 16:28:47　|　來源：中培企業(yè)IT培訓(xùn)網(wǎng)

Python爬蟲是很多編程人員都了解的。但是對于Python for Data Science：如何通過Internet的前300個API來抓取網(wǎng)站數(shù)據(jù)的知道的人就不多了。今天我們將通過API World前300個API 抓取網(wǎng)站以收集數(shù)據(jù)。這樣做的主要目的是，進(jìn)行網(wǎng)絡(luò)抓取可以節(jié)省時間并避免手動收集數(shù)據(jù)，還可以使您以結(jié)構(gòu)化形式保存所有數(shù)據(jù)。

要求

就像我經(jīng)常提到的，網(wǎng)絡(luò)抓取很容易，它分為兩個簡單的部分：

1.使用網(wǎng)絡(luò)抓取工具發(fā)出HTTP請求以進(jìn)行數(shù)據(jù)提取。

2.通過解析抓取的HTML數(shù)據(jù)來提取重要的JSON數(shù)據(jù)。

對于網(wǎng)絡(luò)抓取，我們將使用某些python庫和工具：

1.BeautifulSoup是一個Python庫，用于從HTML和XML文件中提取數(shù)據(jù)。

2.通過請求，您可以非常輕松地發(fā)送HTTP請求。

3.Scrapingdog-這是一個網(wǎng)絡(luò)抓取工具。

建立

我們的設(shè)置非常簡單。只需創(chuàng)建一個文件夾并安裝Beautiful Soup和請求即可。要創(chuàng)建文件夾并安裝庫，請在給定命令下方鍵入。我假設(shè)您已經(jīng)安裝了Python3.x。

mkdir scraperpip install beautifulsoup4pip install requests

現(xiàn)在，使用您喜歡的任何名稱在該文件夾中創(chuàng)建一個文件。我正在使用scraping.py。

首先，您必須注冊 scrapingdog API。它將為您提供1000個免費(fèi)積分。然后，只需在文件中導(dǎo)入Beautiful Soup和請求即可像這樣。

from bs4 import BeautifulSoupimport requests

　　準(zhǔn)備刮

現(xiàn)在，我們必須閱讀Scrapingdog的API文檔才能使用它。為了使您更輕松，我們將使用此處提供的最基本的API 。要探索更多選項，您應(yīng)該閱讀此API 的完整文檔。這將使您清楚了解此API的工作方式。現(xiàn)在，我們將為最頂級的API 抓取 API World。

從中收集數(shù)據(jù) API的世界，你可以檢查感興趣的元素通過右鍵單擊頁面，并選擇檢查。這將顯示HTML代碼，我們可以在其中看到每個字段所包含的元素。

由于數(shù)據(jù)存儲在表中，因此只需幾行代碼即可直接進(jìn)行抓取。如果您想熟悉抓取網(wǎng)站，這是一個很好的例子，也是一個很好的起點，但是請記住，它并不總是那么簡單！

所有300個結(jié)果都包含在元素的行中，并且所有這些都在一頁上可見。情況并非總是如此，當(dāng)結(jié)果跨越許多頁面時，您可能需要更改網(wǎng)頁上顯示的結(jié)果數(shù)，或者循環(huán)遍歷所有頁面以收集所有信息。

因此，現(xiàn)在我們將從Scrapingdog API中提取HTML，然后使用Beautifulsoup生成JSON響應(yīng)，其中將包含公司名稱，API名稱和類別。現(xiàn)在只需一行，我們就可以抓取API World。對于請求API，我將使用請求。

r=requests.get('https://api.scrapingdog.com/scrape?api_key=&url=https://apiworld.co/awards/api-300-top-industry-innovations/').text

這將為您提供該目標(biāo)URL的HTML代碼。現(xiàn)在，您必須使用BeautifulSoup解析HTML。

soup = BeautifulSoup(r,'html.parser')

首先，我們收集了所有“ tr”標(biāo)簽元素，因為它包含所有數(shù)據(jù)。您可以通過右鍵單擊任何API行來找到它。這可以通過下面的python代碼來完成。

allapis = soup.find_all("tr")

l={}

u=list()

然后，我們將開始循環(huán)，使用變量“ allapis”的長度到達(dá)每個API的所有行。啟動循環(huán)后，我們將使用“ td”標(biāo)簽存儲“公司名稱”，“ API名稱”和“技術(shù)類別”的文本。因此，我們在開始for循環(huán)后將這些標(biāo)簽存儲在其他變量中。

for i in range(0,len(allapis)):

try:

api = allapis[i].find_all("td")

except:

api=None

現(xiàn)在，您會注意到“ td”標(biāo)簽中有一個序列。您會發(fā)現(xiàn)每個第一個“ td”標(biāo)記為“公司名稱”，第二個為“ API名稱”，最后一個為“類別”。我們還將在我們的代碼中使用此登錄名。

for i in range(0,len(allapis)):

try:

api = allapis[i].find_all("td")

except:

api=None

try:

l["company"]=api[0].text.replace(" ","")

except:

l["company"]=None

try:

l["api"]=api[1].text.replace(" ","")

except:

l["api"]=None

try:

l["category"]=api[2].text.replace(" ","")

except:

l["category"]=None

u.append(l)

l={}

數(shù)據(jù)清理

我們使用了替換功能，因為它包含不需要的字符，例如腳注符號，這些字符將對刪除有用。

我們將從列表中刪除第一項，因為第一個“ tr”標(biāo)簽具有“ th”標(biāo)簽，而不是“ td”，這是我們目前不需要的。最后，當(dāng)我們打印列表“ u”時，我們得到了這個。

{

"Top 300": [

{

"category": "APIInfrastructure",

"company": "Amio",

"api": "Amio"

{

"category": "APIInfrastructure",

"company": "Authlete,Inc.",

"api": "Authlete"

{

"category": "APIInfrastructure",

"company": "CiscoSystems",

"api": "CiscoDevNet"

{

"category": "APIInfrastructure",

"company": "Fastly",

"api": "terrium"

{

"category": "APIInfrastructure",

"company": "Postman",

"api": "APIDevelopmentEnvironment"

{

"category": "APIInfrastructure",

"company": "TanganyGmbH",

"api": "WalletasaService"

{

"category": "APIManagement",

"company": "DellBoomi",

"api": "BoomiAPIManagement"

{

"category": "APIManagement",

"company": "GraviteeSource",

"api": "Gravitee.ioAPIPlatform"

{

"category": "APIManagement",

"company": "IBM",

"api": "APIConnect"

{

"category": "APIManagement",

"company": "KongInc.",

"api": "Kong"

{

"category": "APIManagement",

"company": "LinkApi",

"api": "APIManagementandIPaaS"

{

"category": "APIManagement",

"company": "MuleSoft",

"api": "AnypointPlatform"

{

"category": "APIManagement",

"company": "RapidValueSolutions",

"api": "End-to-endAPIintegrationandmanagementservices"

{

"category": "APIManagement",

"company": "Rebrandly",

"api": "RebrandlyAPI[v1]"

{

"category": "APIManagement",

"company": "WSO2",

"api": "WSO2APIManager"

{

"category": "APIMiddleware",

"company": "AloiInc",

"api": "Aloi"

{

"category": "APIMiddleware",

"company": "APIGATE",

"api": "APIGATEMint"

{

"category": "APIMiddleware",

"company": "BeAPI",

"api": "APIChaining"

{

"category": "APIMiddleware",

"company": "Envia.com",

"api": "EnviaShippingSolutions"

{

"category": "APIMiddleware",

"company": "MailTechnologies,Inc",

"api": "DocuSendPostalAPI"

{

"category": "APIMiddleware",

"company": "PocketNetworkInc.",

"api": "PocketNetwork"

{

"category": "APIMiddleware",

"company": "RedHatSoftware,Inc.",

"api": "RedHatIntegration"

{

"category": "APIMiddleware",

"company": "ScaleDynamics",

"api": "WarpJSserver"

{

"category": "APIMiddleware",

"company": "Site-Shot",

"api": "RESTAPI"

{

"category": "APIMiddleware",

"company": "Teapot,LLC",

"api": "Xilution"

{

"category": "APIMiddleware",

"company": "TheLinuxFoundation",

"api": "EdgeXFoundry"

{

"category": "APIMiddleware",

"company": "Transposit",

"api": "Transposit"

{

"category": "APISecurity",

"company": "42Crunch",

"api": "42CrunchAPISecurityPlatform"

{

"category": "APISecurity",

"company": "Axiomatics",

"api": "AxiomaticsPolicyServer"

{

"category": "APISecurity",

"company": "CritcalBlue",

"api": "APPROOV"

{

"category": "APISecurity",

"company": "CryptoMove",

"api": "CryptoMoveAPIs"

{

"category": "APISecurity",

"company": "CurityAB",

"api": "CurityIdentityServer"

{

"category": "APISecurity",

"company": "ForumSystems",

"api": "ForumSentryAPISecurityGateway"

{

"category": "APISecurity",

"company": "FXLabs,inc",

"api": "APISec"

{

"category": "APISecurity",

"company": "IDFConnect,Inc.",

"api": "SSO/Rest"

{

"category": "APISecurity",

"company": "monapi.io",

"api": "IPAddressAnomalyAPI"

{

"category": "APISecurity",

"company": "OneLogin",

"api": "OneLogin"

{

"category": "APISecurity",

"company": "SoftwareAG",

"api": "Microgateway"

{

"category": "AutomotiveAPIs",

"company": "Allstate",

"api": "AllstateRoadsideServicesRescueAPI"

{

"category": "AutomotiveAPIs",

"company": "DaimlerAG",

"api": "Mercedes-BenzCarData"

{

"category": "AutomotiveAPIs",

"company": "InfiniteLoopDevelopmentLtd",

"api": "vehicleregistrationapi.com"

{

"category": "AutomotiveAPIs",

"company": "SmartcarInc.",

"api": "SmartcarAPI"

{

"category": "AutomotiveAPIs",

"company": "SmartMonkey.io",

"api": "Flake"

{