怎么使用Python讀取幾十萬行文本數(shù)據(jù)-創(chuàng)新互聯(lián)

小編給大家分享一下怎么使用Python讀取幾十萬行文本數(shù)據(jù)，相信大部分人都還不怎么了解，因此分享這篇文章給大家參考一下，希望大家閱讀完這篇文章后大有收獲，下面讓我們一起去了解一下吧！

公司主營業(yè)務：成都做網(wǎng)站、網(wǎng)站建設、移動網(wǎng)站開發(fā)等業(yè)務。幫助企業(yè)客戶真正實現(xiàn)互聯(lián)網(wǎng)宣傳，提高企業(yè)的競爭能力。創(chuàng)新互聯(lián)是一支青春激揚、勤奮敬業(yè)、活力青春激揚、勤奮敬業(yè)、活力澎湃、和諧高效的團隊。公司秉承以“開放、自由、嚴謹、自律”為核心的企業(yè)文化，感謝他們對我們的高要求，感謝他們從不同領域給我們帶來的挑戰(zhàn)，讓我們激情的團隊有機會用頭腦與智慧不斷的給客戶帶來驚喜。創(chuàng)新互聯(lián)推出萊陽免費做網(wǎng)站回饋大家。Python的優(yōu)點有哪些

1、簡單易用，與C/C++、Java、C# 等傳統(tǒng)語言相比，Python對代碼格式的要求沒有那么嚴格；2、Python屬于開源的，所有人都可以看到源代碼，并且可以被移植在許多平臺上使用；3、Python面向對象，能夠支持面向過程編程,也支持面向對象編程；4、Python是一種解釋性語言，Python寫的程序不需要編譯成二進制代碼，可以直接從源代碼運行程序；5、Python功能強大，擁有的模塊眾多，基本能夠實現(xiàn)所有的常見功能。

我在使用python讀取幾十萬行的文件中的數(shù)據(jù)，并構造字典，列表等數(shù)據(jù)結構時，再訪問字典，列表時，一般都會出現(xiàn)內存不夠的問題，然后只能循環(huán)讀取幾百行或者一定數(shù)量的行數(shù)來循環(huán)操作。

keyword_list=[line.strip() for line in open("keywords.txt",'r')]
#f1=open("part_wiki_vec.txt",'r')
f1=open("wiki_vectors.txt")
f2=open("result.txt",'w')
i=0
content=f1.readlines()
while i<1150:
 for line in content[300*i:300*(i+1)]:
  line=line.strip().split(' ')
  if line[0] in keyword_list:
   wordvec=' '.join(line)
   print wordvec
   f2.write(wordvec)
  #print line
 i+=1

我是這樣讀取的

應該還有很多好的方法，比如多線程等等。

以上是“怎么使用Python讀取幾十萬行文本數(shù)據(jù)”這篇文章的所有內容，感謝各位的閱讀！相信大家都有了一定的了解，希望分享的內容對大家有所幫助，如果還想學習更多知識，歡迎關注創(chuàng)新互聯(lián)行業(yè)資訊頻道！

標題名稱：怎么使用Python讀取幾十萬行文本數(shù)據(jù)-創(chuàng)新互聯(lián)
文章起源：http://m.jiaotiyi.com/article/digsso.html