python反爬蟲限制訪問的解決方法

這篇文章將為大家詳細講解有關(guān)python反爬蟲限制訪問的解決方法，小編覺得挺實用的，因此分享給大家做個參考，希望大家閱讀完這篇文章后可以有所收獲。

成都創(chuàng)新互聯(lián)長期為千余家客戶提供的網(wǎng)站建設(shè)服務(wù)，團隊從業(yè)經(jīng)驗10年，關(guān)注不同地域、不同群體，并針對不同對象提供差異化的產(chǎn)品和服務(wù)；打造開放共贏平臺，與合作伙伴共同營造健康的互聯(lián)網(wǎng)生態(tài)環(huán)境。為清遠企業(yè)提供專業(yè)的做網(wǎng)站、成都網(wǎng)站設(shè)計，清遠網(wǎng)站改版等技術(shù)服務(wù)。擁有10年豐富建站經(jīng)驗和眾多成功案例,為您定制開發(fā)。

單臺機器，單個IP大家都明白，短時間內(nèi)訪問一個網(wǎng)站幾十次后肯定會被屏蔽的。每個網(wǎng)站對IP的解封策略也不一樣，有的1小時候后又能重新訪問，有的要一天，有的要幾個月去了。

突破抓取頻率限制有兩種方式，一種是研究網(wǎng)站的反爬策略。有的網(wǎng)站不對列表頁做頻率控制，只對詳情頁控制。有的針對特定UA，referer，或者微信的H5頁面的頻率控制要弱很多。

另一種方式就是多IP抓取。

多IP抓取又分IP代理池和adsl撥號兩種，我這里說adsl撥號的方式，IP代理池相對于adsl來說，我覺得收費太貴了。要穩(wěn)定大規(guī)模抓取肯定是要用付費的，一個月也就100多塊錢。adsl的特點是可以短時間內(nèi)重新?lián)芴柷袚QIP，IP被禁止了重新?lián)芴栆幌戮涂梢粤?。這樣你就可以開足馬力瘋狂抓取了，但是一天只有24小時合86400秒，要如何一天抓過百萬網(wǎng)頁，讓網(wǎng)絡(luò)性能最大化也是需要下一些功夫的，后面我再詳說。至于有哪些可以adsl撥號的野

上面為什么說不用付費的IP代理池？

因為比adsl撥號貴很多，因為全速抓取時，一個反爬做得可以的網(wǎng)站10秒內(nèi)就會封掉這個IP，所以10秒就要換一個IP，理想狀況下一天86400秒，要換8640個IP。如果用付費IP代理池的話，一個代理IP收費4分錢，8640個IP一天就要345元。 adsl撥號的主機一個月才100多元。adsl撥號Python代碼怎么撥號廠商都會提供的，建議是用廠商提供的方式，這里只是示例：windows下用os調(diào)用rasdial撥號：

import os
# 撥號斷開
os.popen('rasdial 網(wǎng)絡(luò)鏈接名稱 /disconnect')
# 撥號
os.popen('rasdial 網(wǎng)絡(luò)鏈接名稱 adsl賬號 adsl密碼')

linux下?lián)芴枺?/p>

import os
# 撥號斷開
code = os.system('ifdown 網(wǎng)絡(luò)鏈接名稱')
# 撥號code = os.system('ifup 網(wǎng)絡(luò)鏈接名稱')

關(guān)于python反爬蟲限制訪問的解決方法就分享到這里了，希望以上內(nèi)容可以對大家有一定的幫助，可以學到更多知識。如果覺得文章不錯，可以把它分享出去讓更多的人看到。