python爬蟲系列精品之多線程的簡單實(shí)例-創(chuàng)新互聯(lián)
1.先附上沒有用多線程的包圖網(wǎng)爬蟲的代碼
import requests
from lxml import etree
import os
import time
start_time = time.time()#記錄開始時(shí)間
for i in range(1,7):
#1.請求包圖網(wǎng)拿到整體數(shù)據(jù)
response = requests.get("https://ibaotu.com/shipin/7-0-0-0-0-%s.html" %str(i))
#2.抽取 視頻標(biāo)題、視頻鏈接
html = etree.HTML(response.text)
tit_list = html.xpath('//span[@class="video-title"]/text()')#獲取視頻標(biāo)題
src_list = html.xpath('//div[@class="video-play"]/video/@src')#獲取視頻鏈接
for tit,src in zip(tit_list,src_list):
#3.下載視頻
response = requests.get("http:" + src)
#給視頻鏈接頭加上http頭,http快但是不一定安全,https安全但是慢
#4.保存視頻
if os.path.exists("video1") == False:#判斷是否有video這個(gè)文件夾
os.mkdir("video1")#沒有的話創(chuàng)建video文件夾
fileName = "video1\\" + tit + ".mp4"#保存在video文件夾下，用自己的標(biāo)題命名，文件格式是mp4
#有特殊字符的話需要用\來注釋它，\是特殊字符所以這里要用2個(gè)\\
print("正在保存視頻文件: " +fileName)#打印出來正在保存哪個(gè)文件
with open (fileName,"wb") as f:#將視頻寫入fileName命名的文件中
f.write(response.content)end_time = time.time()#記錄結(jié)束時(shí)間
print("耗時(shí)%d秒"%(end_time-start_time))#輸出用了多少時(shí)間
2.將上述代碼套用多線程，先創(chuàng)建多線程
data_list = []#設(shè)置一個(gè)全局變量的列表
#創(chuàng)建多線程
class MyThread(threading.Thread):
def init(self, q):
threading.Thread.init(self)
self.q = q
#調(diào)用get_index()
def run(self) -> None:
self.get_index()
#拿到網(wǎng)址后獲取所需要的數(shù)據(jù)并存入全局變量data_list中
def get_index(self):
url = self.q.get()
try:
resp = requests.get(url)# 訪問網(wǎng)址
#將返回的數(shù)據(jù)轉(zhuǎn)成lxml格式，之后使用xpath進(jìn)行抓取
html = etree.HTML(resp.content)
tit_list = html.xpath('//span[@class="video-title"]/text()') # 獲取視頻標(biāo)題
src_list = html.xpath('//div[@class="video-play"]/video/@src') # 獲取視頻鏈接
for tit, src in zip(tit_list, src_list):
data_dict = {}#設(shè)置一個(gè)存放數(shù)據(jù)的字典
data_dict['title'] = tit#往字典里添加視頻標(biāo)題
data_dict['src'] = src#往字典里添加視頻鏈接
#print(data_dict)
data_list.append(data_dict)#將這個(gè)字典添加到全局變量的列表中
except Exception as e:
# 如果訪問超時(shí)就打印錯(cuò)誤信息，并將該條url放入隊(duì)列，防止出錯(cuò)的url沒有爬取
self.q.put(url)
print(e)3.用隊(duì)列queue,queue模塊主要是多線程，保證線程安全使用的
def main():
創(chuàng)建隊(duì)列存儲(chǔ)url
q = queue.Queue()
for i in range(1,6):
# 將url的參數(shù)進(jìn)行編碼后拼接到url
url = 'https://ibaotu.com/shipin/7-0-0-0-0-%s.html'%str(i)
# 將拼接好的url放入隊(duì)列中
q.put(url)
#如果隊(duì)列不為空，就繼續(xù)爬
while not q.empty():
# 創(chuàng)建3個(gè)線程
ts = []
for count in range(1,4):
t = MyThread(q)
ts.append(t)
for t in ts:
t.start()
for t in ts:
t.join()4.創(chuàng)建存儲(chǔ)方法
#提取data_list的數(shù)據(jù)并保存
def save_index(data_list):
if data_list:
for i in data_list:
下載視頻
response = requests.get("http:" + i['src'])
#給視頻鏈接頭加上http頭，http快但是不安全,https安全但是慢
#保存視頻
if os.path.exists("video") == False: # 判斷是否有video這個(gè)文件夾
os.mkdir("video") # 沒有的話創(chuàng)建video文件夾
fileName = "video\\" + i['title'] + ".mp4" # 保存在video文件夾下，用自己的標(biāo)題命名，文件格式是mp4
#有特殊字符的話需要用\來注釋它，\是特殊字符所以這里要用2個(gè)\\
print("正在保存視頻文件: " + fileName) # 打印出來正在保存哪個(gè)文件
with open(fileName, "wb") as f: # 將視頻寫入fileName命名的文件中
f.write(response.content)5.最后就是調(diào)用函數(shù)了
if name == 'main':
start_time = time.time()
#啟動(dòng)爬蟲
main()
save_index(data_list)
end_time = time.time()
print("耗時(shí)%d"%(end_time-start_time))
6.附上完整的多線程代碼
import requests
from lxml import etree
import os
import queue
import threading
import time
data_list = []#設(shè)置一個(gè)全局變量的列表
#創(chuàng)建多線程
class MyThread(threading.Thread):
def init(self, q):
threading.Thread.init(self)
self.q = q
#調(diào)用get_index()
def run(self) -> None:
self.get_index()
#拿到網(wǎng)址后獲取所需要的數(shù)據(jù)并存入全局變量data_list中
def get_index(self):
url = self.q.get()
try:
resp = requests.get(url)# 訪問網(wǎng)址
#將返回的數(shù)據(jù)轉(zhuǎn)成lxml格式，之后使用xpath進(jìn)行抓取
html = etree.HTML(resp.content)
tit_list = html.xpath('//span[@class="video-title"]/text()') # 獲取視頻標(biāo)題
src_list = html.xpath('//div[@class="video-play"]/video/@src') # 獲取視頻鏈接
for tit, src in zip(tit_list, src_list):
data_dict = {}#設(shè)置一個(gè)存放數(shù)據(jù)的字典
data_dict['title'] = tit#往字典里添加視頻標(biāo)題
data_dict['src'] = src#往字典里添加視頻鏈接
#print(data_dict)
data_list.append(data_dict)#將這個(gè)字典添加到全局變量的列表中
except Exception as e:
# 如果訪問超時(shí)就打印錯(cuò)誤信息，并將該條url放入隊(duì)列，防止出錯(cuò)的url沒有爬取
self.q.put(url)
print(e)def main():
創(chuàng)建隊(duì)列存儲(chǔ)url
q = queue.Queue()
for i in range(1,7):
# 將url的參數(shù)進(jìn)行編碼后拼接到url
url = 'https://ibaotu.com/shipin/7-0-0-0-0-%s.html'%str(i)
# 將拼接好的url放入隊(duì)列中
q.put(url)
#如果隊(duì)列不為空，就繼續(xù)爬
while not q.empty():
# 創(chuàng)建3個(gè)線程
ts = []
for count in range(1,4):
t = MyThread(q)
ts.append(t)
for t in ts:
t.start()
for t in ts:
t.join()#提取data_list的數(shù)據(jù)并保存
def save_index(data_list):
if data_list:
for i in data_list:
下載視頻
response = requests.get("http:" + i['src'])
#給視頻鏈接頭加上http頭，http快但是不安全,https安全但是慢
#保存視頻
if os.path.exists("video") == False: # 判斷是否有video這個(gè)文件夾
os.mkdir("video") # 沒有的話創(chuàng)建video文件夾
fileName = "video\\" + i['title'] + ".mp4" # 保存在video文件夾下，用自己的標(biāo)題命名，文件格式是mp4
#有特殊字符的話需要用\來注釋它，\是特殊字符所以這里要用2個(gè)\\
print("正在保存視頻文件: " + fileName) # 打印出來正在保存哪個(gè)文件
with open(fileName, "wb") as f: # 將視頻寫入fileName命名的文件中
f.write(response.content)if name == 'main':
start_time = time.time()
#啟動(dòng)爬蟲
main()
save_index(data_list)
end_time = time.time()
print("耗時(shí)%d"%(end_time-start_time))
7.這2個(gè)爬蟲我都設(shè)置了開始時(shí)間和結(jié)束時(shí)間，可以用(結(jié)束時(shí)間-開始時(shí)間)來計(jì)算比較兩者的效率。
另外有需要云服務(wù)器可以了解下創(chuàng)新互聯(lián)cdcxhl.cn，海內(nèi)外云服務(wù)器15元起步，三天無理由+7*72小時(shí)售后在線，公司持有idc許可證，提供“云服務(wù)器、裸金屬服務(wù)器、高防服務(wù)器、香港服務(wù)器、美國服務(wù)器、虛擬主機(jī)、免備案服務(wù)器”等云主機(jī)租用服務(wù)以及企業(yè)上云的綜合解決方案，具有“安全穩(wěn)定、簡單易用、服務(wù)可用性高、性價(jià)比高”等特點(diǎn)與優(yōu)勢，專為企業(yè)上云打造定制，能夠滿足用戶豐富、多元化的應(yīng)用場景需求。
本文名稱：python爬蟲系列精品之多線程的簡單實(shí)例-創(chuàng)新互聯(lián)
轉(zhuǎn)載注明：http://m.jiaotiyi.com/article/eiesi.html