一、API接口概述
今天我們來講一種更快捷的獲取數據的方式，通過API數據接口抓取數據。
API接口是負責傳遞數據的，在現今已存在的網站中，除了極個別非常古老的網站，大部分的網站都會采用API進行數據的傳輸。那么為什么API接口這么受歡迎呢，那當然是其帶來了很多的好處，最直觀的便是節省了開發的大量時間、大量金錢。舉個例子：一個編程團隊想制作一個游戲，在這個游戲里有付費的功能，那么就需要有一個支付的平臺，而眾所周知，支付平臺是需要有很大能力去保證安全且需要一定的資金還有資質的，普通的團隊壓根搞不起啊，所以，這個團隊，就需要用到“API接口”，他可以接入其他的支付平臺API接口實現支付功能，這樣就省去了很多的麻煩。所以，不例外的我們要獲取的數據也是可以通過API接口傳遞到頁面中的，那么如何利用好API接口，這便是我們要學習的了。
二、API接口結構
API接口長什么樣子呢，請繼續看：
https://v.api.aa1.cn/api/api-qq-gj/index.php?qq=xxxxx&num=xx&vip=x
上方這個URL便是一個API接口，它是由請求地址和請求參數兩部分構成的，請求地址和請求參數之間使用?連接，請求參數要寫成key=value的形式（我們常說的鍵值對），如果同時有多個請求參數，請求參數之前使用&連接。
請求地址，顧名思義就是你請求的服務器的入口；請求參數，就是按照設定你得告訴服務器你要做什么。相信大家也嘗試打開這個鏈接了，結果發現什么也沒有，那是因為這個API的請求參數設定不正確。
這是一個QQ價格評估接口，這是它需要的參數信息以及返回結果信息：
我們只需要按照上圖的信息稍微修改下，便能得到想要的信息。
https://v.api.aa1.cn/api/api-qq-gj/index.php?qq=1766*****6&num=68&vip=1
這便是我的QQ的評估價格
那么API接口的數據如何被爬蟲獲取到呢？
三、requests請求API
API接口的請求就是簡單的requests代碼的編寫，一定注意要把API寫對。
從前文講requests到現在講爬取接口，我們一直使用的是get請求方式，后續會單獨講一次post請求。另外，一般爬取開放的API不需要對爬蟲添加偽裝，但是如果是爬取某些大型網站的API接口，可能會需要傳遞你登錄這個網站的賬號密碼、headers等參數。
import requests
API_URL = 'https://v.api.aa1.cn/api/api-qq-gj/index.php?qq=1766*****706&num=68&vip=1'
response = requests.get(url=API_URL)
result = response.text if response.status_code == 200 else '{}'
print(result)上方代碼執行后結果是這樣的：
{"code":"1","qq":"176***5706","money": "112","dengji":"68級 ","vip":"非會員"}
大家看到這個結果感覺很熟悉，像Python中的字典，但不完全是。API接口中的數據是JSON數據，被我們拿出來以后就變成了字符串。但是我們是可以將JSON數據轉換為Python的字典類型的。
import json
# 字符串序列化
data = json.loads(result)
print(data, type(data))
# {'code': '1', 'qq': '1766935706', 'money': '112', 'dengji': '68級 ', 'vip': '非會員'} <class 'dict'>
# 提取QQ估價
print(data['money'])
# 112至此，我們遍能夠拿到API接口中的數據了。
五、在網站中尋找API接口
在此以今日頭條這個網站為例。
正常的邏輯是不是就是使用requests結合正則表達式或者BeautifulSoup4進行數據的爬取，但是我們可以先試著找找有沒有數據接口能夠讓我們更快速的得到數據。
使用快捷鍵F12(有些電腦是Fn + F12)或者直接網頁中右鍵點擊檢查按鈕打開開發者工具，如下圖所示，按照箭頭順序先切換到Network，再點擊Fetch/XHR，再重新刷新下頁面，就能夠看到紅框中加載出一些資源文件。
這些資源文件中就有可能存在我們想找的API數據接口，不是所有的網站都能找到數據接口，有些網站的數據接口很隱蔽，正常手段找不到，需要結合抓包工具才能夠找到，這里我們暫時先來講解一般的API接口尋找，后續單獨說明抓包工具的使用。
如何判斷哪個資源文件是我們想要的數據接口呢?最簡單的方法便是一個個的看。首先觀察紅框中的這樣幾個字段：Name、Status、Size、Time。
Name：文件名，我們依舊是遵循見名知義的原則，通過文件名猜測文件對應的數據、
Status：狀態碼，我們需要的是狀態碼為200的文件、
Size：文件大小，數據多的資源文件大小都挺大的、
Time：加載時間，數據多的資源文件加載速度不一定很快。
當你點擊了某個資源文件，在彈出來的窗口切換到Preview預覽選項卡發現加載出來的數據和頁面信息大概保持一致時，API數據接口就找對了。此時便可以復制它的在線地址，寫爬蟲代碼去請求這個接口來提取數據了。
import requests
import json
API_URL = 'https://www.toutiao.com/hot-event/hot-board/?origin=toutiao_pc&_signature=_02B4Z6wo00f01TIgxfQAAIDCpvae--DE-40yBMFAAC9V19pn3J.1AFd.u3TRK0tR1rbObxwJ7qLFJCGXBd0Z35J32hVZFJbsVx4puKKLsSDQInjDwZpK4c6DlvBFgCuz3EkKw6APt9jwKbeG36'
response = requests.get(url=API_URL)
result = response.text if response.status_code == 200 else '{}'
# print(result)
NewsInfo = json.loads(result)
for news_dict in NewsInfo['data']:
newsTitle = news_dict['Title']
print(newsTitle)
京公網安備 11010802030320號