python3學(xué)習(xí)之Splash的安裝與實例教程-創(chuàng)新互聯(lián)

前言

網(wǎng)站建設(shè)哪家好，找創(chuàng)新互聯(lián)！專注于網(wǎng)頁設(shè)計、網(wǎng)站建設(shè)、微信開發(fā)、微信小程序定制開發(fā)、集團企業(yè)網(wǎng)站建設(shè)等服務(wù)項目。為回饋新老客戶創(chuàng)新互聯(lián)還提供了金門免費建站歡迎大家使用！

Splash是一個javascript渲染服務(wù)。它是一個帶有HTTP API的輕量級Web瀏覽器，使用Twisted和QT5在Python 3中實現(xiàn)。QT反應(yīng)器用于使服務(wù)完全異步，允許通過QT主循環(huán)利用webkit并發(fā)。

一些Splash功能：

• 并行處理多個網(wǎng)頁
• 獲取HTML源代碼或截取屏幕截圖
• 關(guān)閉圖像或使用Adblock Plus規(guī)則使渲染更快
• 在頁面上下文中執(zhí)行自定義JavaScript
• 可通過Lua腳本來控制頁面的渲染過程
• 在Splash-Jupyter 筆記本中開發(fā)Splash Lua腳本。
• 以HAR格式獲取詳細的渲染信息

1、Scrapy-Splash的安裝

Scrapy-Splash的安裝分為兩部分，一個是Splash服務(wù)的安裝，具體通過Docker來安裝服務(wù)，運行服務(wù)會啟動一個Splash服務(wù)，通過它的接口來實現(xiàn)JavaScript頁面的加載；另外一個是Scrapy-Splash的Python庫的安裝，安裝后就可在Scrapy中使用Splash服務(wù)了，下面我們分三部份來安裝：

(1)安裝Docker

#安裝所需要的包：
yum install -y yum-utils device-mapper-persistent-data lvm2
#設(shè)置穩(wěn)定存儲庫：
yum-config-manager --add-repo https://download.docker.com/linux/centos/docker-ce.repo
#開始安裝DOCKER CE：
yum install docker-ce
#啟動dockers：
systemctl start docker
#測試安裝是否正確：
docker run hello-world

名稱欄目：python3學(xué)習(xí)之Splash的安裝與實例教程-創(chuàng)新互聯(lián)
本文URL：http://m.jiaotiyi.com/article/dehieo.html