您現在的位置：首頁 > IT資訊 > 軟件研發 > Python for Data Science：如何通過Internet的前300個API來抓取網站數據的？

Python for Data Science：如何通過Internet的前300個API來抓取網站數據的？

2020-07-16 16:28:47　|　來源：中培企業IT培訓網

Python爬蟲是很多編程人員都了解的。但是對于Python for Data Science：如何通過Internet的前300個API來抓取網站數據的知道的人就不多了。今天我們將通過API World前300個API 抓取網站以收集數據。這樣做的主要目的是，進行網絡抓取可以節省時間并避免手動收集數據，還可以使您以結構化形式保存所有數據。

要求

就像我經常提到的，網絡抓取很容易，它分為兩個簡單的部分：

1.使用網絡抓取工具發出HTTP請求以進行數據提取。

2.通過解析抓取的HTML數據來提取重要的JSON數據。

對于網絡抓取，我們將使用某些python庫和工具：

1.BeautifulSoup是一個Python庫，用于從HTML和XML文件中提取數據。

2.通過請求，您可以非常輕松地發送HTTP請求。

3.Scrapingdog-這是一個網絡抓取工具。

建立

我們的設置非常簡單。只需創建一個文件夾并安裝Beautiful Soup和請求即可。要創建文件夾并安裝庫，請在給定命令下方鍵入。我假設您已經安裝了Python3.x。

mkdir scraperpip install beautifulsoup4pip install requests

現在，使用您喜歡的任何名稱在該文件夾中創建一個文件。我正在使用scraping.py。

首先，您必須注冊 scrapingdog API。它將為您提供1000個免費積分。然后，只需在文件中導入Beautiful Soup和請求即可像這樣。

from bs4 import BeautifulSoupimport requests

　　準備刮

現在，我們必須閱讀Scrapingdog的API文檔才能使用它。為了使您更輕松，我們將使用此處提供的最基本的API 。要探索更多選項，您應該閱讀此API 的完整文檔。這將使您清楚了解此API的工作方式?，F在，我們將為最頂級的API 抓取 API World。

從中收集數據 API的世界，你可以檢查感興趣的元素通過右鍵單擊頁面，并選擇檢查。這將顯示HTML代碼，我們可以在其中看到每個字段所包含的元素。

由于數據存儲在表中，因此只需幾行代碼即可直接進行抓取。如果您想熟悉抓取網站，這是一個很好的例子，也是一個很好的起點，但是請記住，它并不總是那么簡單！

所有300個結果都包含在元素的行中，并且所有這些都在一頁上可見。情況并非總是如此，當結果跨越許多頁面時，您可能需要更改網頁上顯示的結果數，或者循環遍歷所有頁面以收集所有信息。

因此，現在我們將從Scrapingdog API中提取HTML，然后使用Beautifulsoup生成JSON響應，其中將包含公司名稱，API名稱和類別?，F在只需一行，我們就可以抓取API World。對于請求API，我將使用請求。

r=requests.get('https://api.scrapingdog.com/scrape?api_key=&url=https://apiworld.co/awards/api-300-top-industry-innovations/').text

這將為您提供該目標URL的HTML代碼。現在，您必須使用BeautifulSoup解析HTML。

soup = BeautifulSoup(r,'html.parser')

首先，我們收集了所有“ tr”標簽元素，因為它包含所有數據。您可以通過右鍵單擊任何API行來找到它。這可以通過下面的python代碼來完成。

allapis = soup.find_all("tr")

l={}

u=list()

然后，我們將開始循環，使用變量“ allapis”的長度到達每個API的所有行。啟動循環后，我們將使用“ td”標簽存儲“公司名稱”，“ API名稱”和“技術類別”的文本。因此，我們在開始for循環后將這些標簽存儲在其他變量中。

for i in range(0,len(allapis)):

try:

api = allapis[i].find_all("td")

except:

api=None

現在，您會注意到“ td”標簽中有一個序列。您會發現每個第一個“ td”標記為“公司名稱”，第二個為“ API名稱”，最后一個為“類別”。我們還將在我們的代碼中使用此登錄名。

for i in range(0,len(allapis)):

try:

api = allapis[i].find_all("td")

except:

api=None

try:

l["company"]=api[0].text.replace(" ","")

except:

l["company"]=None

try:

l["api"]=api[1].text.replace(" ","")

except:

l["api"]=None

try:

l["category"]=api[2].text.replace(" ","")

except:

l["category"]=None

u.append(l)

l={}

數據清理

我們使用了替換功能，因為它包含不需要的字符，例如腳注符號，這些字符將對刪除有用。

我們將從列表中刪除第一項，因為第一個“ tr”標簽具有“ th”標簽，而不是“ td”，這是我們目前不需要的。最后，當我們打印列表“ u”時，我們得到了這個。

{

"Top 300": [

{

"category": "APIInfrastructure",

"company": "Amio",

"api": "Amio"

{

"category": "APIInfrastructure",

"company": "Authlete,Inc.",

"api": "Authlete"

{

"category": "APIInfrastructure",

"company": "CiscoSystems",

"api": "CiscoDevNet"

{

"category": "APIInfrastructure",

"company": "Fastly",

"api": "terrium"

{

"category": "APIInfrastructure",

"company": "Postman",

"api": "APIDevelopmentEnvironment"

{

"category": "APIInfrastructure",

"company": "TanganyGmbH",

"api": "WalletasaService"

{

"category": "APIManagement",

"company": "DellBoomi",

"api": "BoomiAPIManagement"

{

"category": "APIManagement",

"company": "GraviteeSource",

"api": "Gravitee.ioAPIPlatform"

{

"category": "APIManagement",

"company": "IBM",

"api": "APIConnect"

{

"category": "APIManagement",

"company": "KongInc.",

"api": "Kong"

{

"category": "APIManagement",

"company": "LinkApi",

"api": "APIManagementandIPaaS"

{

"category": "APIManagement",

"company": "MuleSoft",

"api": "AnypointPlatform"

{

"category": "APIManagement",

"company": "RapidValueSolutions",

"api": "End-to-endAPIintegrationandmanagementservices"

{

"category": "APIManagement",

"company": "Rebrandly",

"api": "RebrandlyAPI[v1]"

{

"category": "APIManagement",

"company": "WSO2",

"api": "WSO2APIManager"

{

"category": "APIMiddleware",

"company": "AloiInc",

"api": "Aloi"

{

"category": "APIMiddleware",

"company": "APIGATE",

"api": "APIGATEMint"

{

"category": "APIMiddleware",

"company": "BeAPI",

"api": "APIChaining"

{

"category": "APIMiddleware",

"company": "Envia.com",

"api": "EnviaShippingSolutions"

{

"category": "APIMiddleware",

"company": "MailTechnologies,Inc",

"api": "DocuSendPostalAPI"

{

"category": "APIMiddleware",

"company": "PocketNetworkInc.",

"api": "PocketNetwork"

{

"category": "APIMiddleware",

"company": "RedHatSoftware,Inc.",

"api": "RedHatIntegration"

{

"category": "APIMiddleware",

"company": "ScaleDynamics",

"api": "WarpJSserver"

{

"category": "APIMiddleware",

"company": "Site-Shot",

"api": "RESTAPI"

{

"category": "APIMiddleware",

"company": "Teapot,LLC",

"api": "Xilution"

{

"category": "APIMiddleware",

"company": "TheLinuxFoundation",

"api": "EdgeXFoundry"

{

"category": "APIMiddleware",

"company": "Transposit",

"api": "Transposit"

{

"category": "APISecurity",

"company": "42Crunch",

"api": "42CrunchAPISecurityPlatform"

{

"category": "APISecurity",

"company": "Axiomatics",

"api": "AxiomaticsPolicyServer"

{

"category": "APISecurity",

"company": "CritcalBlue",

"api": "APPROOV"

{

"category": "APISecurity",

"company": "CryptoMove",

"api": "CryptoMoveAPIs"

{

"category": "APISecurity",

"company": "CurityAB",

"api": "CurityIdentityServer"

{

"category": "APISecurity",

"company": "ForumSystems",

"api": "ForumSentryAPISecurityGateway"

{

"category": "APISecurity",

"company": "FXLabs,inc",

"api": "APISec"

{

"category": "APISecurity",

"company": "IDFConnect,Inc.",

"api": "SSO/Rest"

{

"category": "APISecurity",

"company": "monapi.io",

"api": "IPAddressAnomalyAPI"

{

"category": "APISecurity",

"company": "OneLogin",

"api": "OneLogin"

{

"category": "APISecurity",

"company": "SoftwareAG",

"api": "Microgateway"

{

"category": "AutomotiveAPIs",

"company": "Allstate",

"api": "AllstateRoadsideServicesRescueAPI"

{

"category": "AutomotiveAPIs",

"company": "DaimlerAG",

"api": "Mercedes-BenzCarData"

{

"category": "AutomotiveAPIs",

"company": "InfiniteLoopDevelopmentLtd",

"api": "vehicleregistrationapi.com"

{

"category": "AutomotiveAPIs",

"company": "SmartcarInc.",

"api": "SmartcarAPI"

{

"category": "AutomotiveAPIs",

"company": "SmartMonkey.io",

"api": "Flake"

{