十年網(wǎng)站開發(fā)經(jīng)驗 + 多家企業(yè)客戶 + 靠譜的建站團隊
量身定制 + 運營維護+專業(yè)推廣+無憂售后,網(wǎng)站問題一站解決
網(wǎng)絡(luò)爬蟲以及Scrapy的介紹?很多新手對此不是很清楚,為了幫助大家解決這個難題,下面小編將為大家詳細講解,有這方面需求的人可以來學(xué)習(xí)下,希望你能有所收獲。
創(chuàng)新互聯(lián)是一家專注于成都網(wǎng)站設(shè)計、網(wǎng)站建設(shè)與策劃設(shè)計,柯坪網(wǎng)站建設(shè)哪家好?創(chuàng)新互聯(lián)做網(wǎng)站,專注于網(wǎng)站建設(shè)十年,網(wǎng)設(shè)計領(lǐng)域的專業(yè)建站公司;建站業(yè)務(wù)涵蓋:柯坪等地區(qū)??缕鹤鼍W(wǎng)站價格咨詢:13518219792
網(wǎng)絡(luò)爬蟲
是指程序可以自動獲取多個頁面中的所有信息。如果使用某種技術(shù)(如正則表達式、XPath 等)來提取頁面中所有的鏈接(
我們來分析網(wǎng)絡(luò)爬蟲具體要做哪些核心工作:
通過網(wǎng)絡(luò)向指定的 URL 發(fā)送請求,獲取服務(wù)器響應(yīng)內(nèi)容。
使用某種技術(shù)(如正則表達式、XPath 等)提取頁面中我們感興趣的信息。
高效地識別響應(yīng)頁面中的鏈接信息,順著這些鏈接遞歸執(zhí)行此處介紹的第 1、2、3 步;使用多線程有效地管理網(wǎng)絡(luò)通信交互。
如果直接使用 Python 內(nèi)置的 urllib 和 re 模塊是否能寫出自己的網(wǎng)絡(luò)爬蟲呢?答案是肯定的,只是比較復(fù)雜。就像我們要從廣州去韶關(guān),走路可以去嗎?答案是肯定的,只是比較麻煩。
下面繼續(xù)分析網(wǎng)絡(luò)爬蟲的核心工作:
向 URL 發(fā)送請求,獲取服務(wù)器響應(yīng)內(nèi)容。這個核心工作其實是所有網(wǎng)絡(luò)爬蟲都需要做的通用工作。一般來說,通用工作應(yīng)該由爬蟲框架來實現(xiàn),這樣可以提供更穩(wěn)定的性能,開發(fā)效率更高。
提取頁面中我們感興趣的信息。這個核心工作不是通用的!每個項目感興趣的信息都可能有所不同,但使用正則表達式提取信息是非常低效的,原因是正則表達式的設(shè)計初衷主要是處理文本信息,而 HTML 文檔不僅是文本文檔,而且是結(jié)構(gòu)化文檔,因此使用正則表達式來處理 HTML 文檔并不合適。使用 XPath 提取信息的效率要高得多。
識別響應(yīng)頁面中的鏈接信息。使用正則表達式可以實現(xiàn)這個核心工作,但是效率太低,使用 XPath 會更高效。
多線程管理:這個核心工作是通用的,應(yīng)該由框架來完成。
現(xiàn)在來回答上面提出的問題,本章有存在的意義嗎?當(dāng)然有,本章并不介紹使用 urllib、re 模塊這種簡陋的工具來實現(xiàn)正則表達式,而是通過專業(yè)的爬蟲框架 Scrapy 來實現(xiàn)爬蟲。
Scrapy 是一個專業(yè)的、高效的爬蟲框架,它使用專業(yè)的 Twisted 包(基于事件驅(qū)動的網(wǎng)絡(luò)引擎包)高效地處理網(wǎng)絡(luò)通信,使用 lxml(專業(yè)的 XML 處理包)、cssselect 高效地提取 HTML 頁面的有效信息,同時它也提供了有效的線程管理。
一言以蔽之,上面列出的網(wǎng)絡(luò)爬蟲的核心工作,Scrapy 全部提供了實現(xiàn),開發(fā)者只要使用 XPath 或 css 選擇器定義自己感興趣的信息即可。
看完上述內(nèi)容是否對您有幫助呢?如果還想對相關(guān)知識有進一步的了解或閱讀更多相關(guān)文章,請關(guān)注創(chuàng)新互聯(lián)行業(yè)資訊頻道,感謝您對創(chuàng)新互聯(lián)的支持。