用實例解析Python如何爬取YY評級分?jǐn)?shù)并保存數(shù)據(jù)-創(chuàng)新互聯(lián)

這篇文章主要用實例解析Python如何爬取YY評級分?jǐn)?shù)并保存數(shù)據(jù)，內(nèi)容清晰明了，對此有興趣的小伙伴可以學(xué)習(xí)一下，相信大家閱讀完之后會有幫助。

成都創(chuàng)新互聯(lián)公司主營鼓樓網(wǎng)站建設(shè)的網(wǎng)絡(luò)公司,主營網(wǎng)站建設(shè)方案,App定制開發(fā),鼓樓h5小程序設(shè)計搭建,鼓樓網(wǎng)站營銷推廣歡迎鼓樓等地區(qū)企業(yè)咨詢

前言

當(dāng)需要進(jìn)行大規(guī)模查詢時（比如目前遇到的情形：查詢某個省所有發(fā)債企業(yè)的YY評級分?jǐn)?shù)），人工查詢顯然太過費(fèi)時，那就寫個爬蟲吧。

由于該爬蟲實在過于簡單，就只簡單概述下。

一、請求端

通過觀察YY評級的網(wǎng)頁信息，如下圖（F12或右擊進(jìn)入檢查，點擊network—>XHR—>headers）。

紅色框表明是個get請求（其實這種網(wǎng)頁基本都是Ajax get，需要總結(jié)實際url的規(guī)律的）。

綠色框即為實際URL，通過分析該URL，其由兩部分組成。前半部分為“
https://web.ratingdog.cn/v1/search?”，后半部分為黃色框內(nèi)內(nèi)容用“&”符號連接后的結(jié)果。黃色框內(nèi)的內(nèi)容，只有企業(yè)名稱為變量，且為已知變量，那URL即可據(jù)此確定了。

另外需注意，YY評級需要登錄才可查詢數(shù)據(jù)，在構(gòu)建頭部信息進(jìn)行訪問時，一定要提前登錄，并在頭部信息中放入登錄信息和登錄狀態(tài)。

二、響應(yīng)端

通過觀察網(wǎng)頁的響應(yīng)信息（F12或右擊進(jìn)入檢查，點擊network—>XHR—>response），如下圖。響應(yīng)信息及其簡單，我們所需要的YY評級分?jǐn)?shù)安詳?shù)靥稍谀抢?，簡單到一個正則表達(dá)式就可以提取出該數(shù)據(jù)。正則如下：

"msg".*?"IssuerName":"(.*?)","YYRating":"(.*?)/10","IntrinsicRating".*?"

三、代碼

所需數(shù)據(jù)較少，代碼相對簡單，就不建立函數(shù)了，直接一路到底吧。如下：

運(yùn)行代碼后，得到結(jié)果如下。安徽省的100多條數(shù)據(jù)，就到了本地了

看完上述內(nèi)容，是不是對用實例解析Python如何爬取YY評級分?jǐn)?shù)并保存數(shù)據(jù)有進(jìn)一步的了解，如果還想學(xué)習(xí)更多內(nèi)容，歡迎關(guān)注創(chuàng)新互聯(lián)成都網(wǎng)站設(shè)計公司行業(yè)資訊頻道。

另外有需要云服務(wù)器可以了解下創(chuàng)新互聯(lián)scvps.cn，海內(nèi)外云服務(wù)器15元起步，三天無理由+7*72小時售后在線，公司持有idc許可證，提供“云服務(wù)器、裸金屬服務(wù)器、高防服務(wù)器、香港服務(wù)器、美國服務(wù)器、虛擬主機(jī)、免備案服務(wù)器”等云主機(jī)租用服務(wù)以及企業(yè)上云的綜合解決方案，具有“安全穩(wěn)定、簡單易用、服務(wù)可用性高、性價比高”等特點與優(yōu)勢，專為企業(yè)上云打造定制，能夠滿足用戶豐富、多元化的應(yīng)用場景需求。

本文題目：用實例解析Python如何爬取YY評級分?jǐn)?shù)并保存數(shù)據(jù)-創(chuàng)新互聯(lián)
URL網(wǎng)址：http://m.jiaotiyi.com/article/hoecs.html