十年網(wǎng)站開發(fā)經(jīng)驗 + 多家企業(yè)客戶 + 靠譜的建站團隊
量身定制 + 運營維護+專業(yè)推廣+無憂售后,網(wǎng)站問題一站解決
NoSQL,指的是非關系型的數(shù)據(jù)庫。NoSQL有時也稱作Not Only SQL的縮寫,是對不同于傳統(tǒng)的關系型數(shù)據(jù)庫的數(shù)據(jù)庫管理系統(tǒng)的統(tǒng)稱。
創(chuàng)新互聯(lián)公司:公司2013年成立為各行業(yè)開拓出企業(yè)自己的“網(wǎng)站建設”服務,為近千家公司企業(yè)提供了專業(yè)的網(wǎng)站建設、做網(wǎng)站、網(wǎng)頁設計和網(wǎng)站推廣服務, 定制網(wǎng)站建設由設計師親自精心設計,設計的效果完全按照客戶的要求,并適當?shù)奶岢龊侠淼慕ㄗh,擁有的視覺效果,策劃師分析客戶的同行競爭對手,根據(jù)客戶的實際情況給出合理的網(wǎng)站構架,制作客戶同行業(yè)具有領先地位的。
NoSQL用于超大規(guī)模數(shù)據(jù)的存儲。(例如谷歌或Facebook每天為他們的用戶收集萬億比特的數(shù)據(jù))。這些類型的數(shù)據(jù)存儲不需要固定的模式,無需多余操作就可以橫向擴展。
NoSQL的優(yōu)點/缺點
優(yōu)點:
- 高可擴展性
- 分布式計算
- 低成本
- 架構的靈活性,半結構化數(shù)據(jù)
- 沒有復雜的關系
缺點:
- 沒有標準化
- 有限的查詢功能(到目前為止)
- 最終一致是不直觀的程序 (BY三人行慕課)
什么是NoSQL數(shù)據(jù)庫?從名稱“非SQL”或“非關系型”衍生而來,這些數(shù)據(jù)庫不使用類似SQL的查詢語言,通常稱為結構化存儲。這些數(shù)據(jù)庫自1960年就已經(jīng)存在,但是直到現(xiàn)在一些大公司(例如Google和Facebook)開始使用它們時,這些數(shù)據(jù)庫才流行起來。該數(shù)據(jù)庫最明顯的優(yōu)勢是擺脫了一組固定的列、連接和類似SQL的查詢語言的限制。有時,NoSQL這個名稱也可能表示“不僅僅SQL”,來確保它們可能支持SQL。 NoSQL數(shù)據(jù)庫使用諸如鍵值、寬列、圖形或文檔之類的數(shù)據(jù)結構,并且可以如JSON之類的不同格式存儲。
NoSQL太火,冒出太多產(chǎn)品了,保守估計也成百上千了。
互聯(lián)網(wǎng)公司常用的基本集中在以下幾種,每種只舉一個比較常見或者應用比較成功的例子吧。
1. In-Memory KV Store : Redis
in memory key-value store,同時提供了更加豐富的數(shù)據(jù)結構和運算的能力,成功用法是替代memcached,通過checkpoint和commit log提供了快速的宕機恢復,同時支持replication提供讀可擴展和高可用。
2. Disk-Based KV Store: Leveldb
真正基于磁盤的key-value storage, 模型單一簡單,數(shù)據(jù)量不受限于內存大小,數(shù)據(jù)落盤高可靠,Google的幾位大神出品的精品,LSM模型天然寫優(yōu)化,順序寫盤的方式對于新硬件ssd再適合不過了,不足是僅提供了一個庫,需要自己封裝server端。
3. Document Store: Mongodb
分布式nosql,具備了區(qū)別mysql的最大亮點:可擴展性。mongodb 最新引人的莫過于提供了sql接口,是目前nosql里最像mysql的,只是沒有ACID的特性,發(fā)展很快,支持了索引等特性,上手容易,對于數(shù)據(jù)量遠超內存限制的場景來說,還需要慎重。
4. Column Table Store: HBase
這個富二代似乎不用贅述了,最大的優(yōu)勢是開源,對于普通的scan和基于行的get等基本查詢,性能完全不是問題,只是只提供裸的api,易用性上是短板,可擴展性方面是最強的,其次坐上了Hadoop的快車,社區(qū)發(fā)展很快,各種基于其上的開源產(chǎn)品不少,來解決諸如join、聚集運算等復雜查詢。
本質是因為:隨著互聯(lián)網(wǎng)的進一步發(fā)展與各行業(yè)信息化建設進程加快、參與者的增多,人們對軟件有了更多更新的要求,需要軟件不僅能實現(xiàn)功能,而且要求保證許多人可以共同參與使用,因而軟件所需承載的數(shù)據(jù)量和吞吐量必須達到相應的需求。而目前的關系型數(shù)據(jù)庫在某些方面有一些缺點,導致不能滿足需要。
具體則需要對比關系型數(shù)據(jù)庫與Nosql之間的區(qū)別可以得出
關系型數(shù)據(jù)庫
關系型數(shù)據(jù)庫把所有的數(shù)據(jù)都通過行和列的二元表現(xiàn)形式表示出來。
關系型數(shù)據(jù)庫的優(yōu)勢:
1.?保持數(shù)據(jù)的一致性(事務處理)
2.由于以標準化為前提,數(shù)據(jù)更新的開銷很?。ㄏ嗤淖侄位旧隙贾挥幸惶帲?/p>
3.?可以進行Join等復雜查詢
其中能夠保持數(shù)據(jù)的一致性是關系型數(shù)據(jù)庫的最大優(yōu)勢。
關系型數(shù)據(jù)庫的不足:
不擅長的處理
1.?大量數(shù)據(jù)的寫入處理(這點尤為重要)
2.?為有數(shù)據(jù)更新的表做索引或表結構(schema)變更
3.?字段不固定時應用
4.?對簡單查詢需要快速返回結果的處理
--大量數(shù)據(jù)的寫入處理
讀寫集中在一個數(shù)據(jù)庫上讓數(shù)據(jù)庫不堪重負,大部分網(wǎng)站已使用主從復制技術實現(xiàn)讀寫分離,以提高讀寫性能和讀庫的可擴展性。
所以在進行大量數(shù)據(jù)操作時,會使用數(shù)據(jù)庫主從模式。數(shù)據(jù)的寫入由主數(shù)據(jù)庫負責,數(shù)據(jù)的讀入由從數(shù)據(jù)庫負責,可以比較簡單地通過增加從數(shù)據(jù)庫來實現(xiàn)規(guī)模化,但是數(shù)據(jù)的寫入?yún)s完全沒有簡單的方法來解決規(guī)模化問題。
第一,要想將數(shù)據(jù)的寫入規(guī)?;梢钥紤]把主數(shù)據(jù)庫從一臺增加到兩臺,作為互相關聯(lián)復制的二元主數(shù)據(jù)庫使用,確實這樣可以把每臺主數(shù)據(jù)庫的負荷減少一半,但是更新處理會發(fā)生沖突,可能會造成數(shù)據(jù)的不一致,為了避免這樣的問題,需要把對每個表的請求分別分配給合適的主數(shù)據(jù)庫來處理。
第二,可以考慮把數(shù)據(jù)庫分割開來,分別放在不同的數(shù)據(jù)庫服務器上,比如將不同的表放在不同的數(shù)據(jù)庫服務器上,數(shù)據(jù)庫分割可以減少每臺數(shù)據(jù)庫服務器上的數(shù)據(jù)量,以便減少硬盤IO的輸入、輸出處理,實現(xiàn)內存上的高速處理。但是由于分別存儲字不同服務器上的表之間無法進行Join處理,數(shù)據(jù)庫分割的時候就需要預先考慮這些問題,數(shù)據(jù)庫分割之后,如果一定要進行Join處理,就必須要在程序中進行關聯(lián),這是非常困難的。
--為有數(shù)據(jù)更新的表做索引或表結構變更
在使用關系型數(shù)據(jù)庫時,為了加快查詢速度需要創(chuàng)建索引,為了增加必要的字段就一定要改變表結構,為了進行這些處理,需要對表進行共享鎖定,這期間數(shù)據(jù)變更、更新、插入、刪除等都是無法進行的。如果需要進行一些耗時操作,例如為數(shù)據(jù)量比較大的表創(chuàng)建索引或是變更其表結構,就需要特別注意,長時間內數(shù)據(jù)可能無法進行更新。
--字段不固定時的應用
如果字段不固定,利用關系型數(shù)據(jù)庫也是比較困難的,有人會說,需要的時候加個字段就可以了,這樣的方法也不是不可以,但在實際運用中每次都進行反復的表結構變更是非常痛苦的。你也可以預先設定大量的預備字段,但這樣的話,時間一長很容易弄不清除字段和數(shù)據(jù)的對應狀態(tài),即哪個字段保存有哪些數(shù)據(jù)。
--對簡單查詢需要快速返回結果的處理? (這里的“簡單”指的是沒有復雜的查詢條件)
這一點稱不上是缺點,但不管怎樣,關系型數(shù)據(jù)庫并不擅長對簡單的查詢快速返回結果,因為關系型數(shù)據(jù)庫是使用專門的sql語言進行數(shù)據(jù)讀取的,它需要對sql與越南進行解析,同時還有對表的鎖定和解鎖等這樣的額外開銷,這里并不是說關系型數(shù)據(jù)庫的速度太慢,而只是想告訴大家若希望對簡單查詢進行高速處理,則沒有必要非使用關系型數(shù)據(jù)庫不可。
NoSQL數(shù)據(jù)庫
關系型數(shù)據(jù)庫應用廣泛,能進行事務處理和表連接等復雜查詢。相對地,NoSQL數(shù)據(jù)庫只應用在特定領域,基本上不進行復雜的處理,但它恰恰彌補了之前所列舉的關系型數(shù)據(jù)庫的不足之處。
優(yōu)點:
易于數(shù)據(jù)的分散
各個數(shù)據(jù)之間存在關聯(lián)是關系型數(shù)據(jù)庫得名的主要原因,為了進行join處理,關系型數(shù)據(jù)庫不得不把數(shù)據(jù)存儲在同一個服務器內,這不利于數(shù)據(jù)的分散,這也是關系型數(shù)據(jù)庫并不擅長大數(shù)據(jù)量的寫入處理的原因。相反NoSQL數(shù)據(jù)庫原本就不支持Join處理,各個數(shù)據(jù)都是獨立設計的,很容易把數(shù)據(jù)分散在多個服務器上,故減少了每個服務器上的數(shù)據(jù)量,即使要處理大量數(shù)據(jù)的寫入,也變得更加容易,數(shù)據(jù)的讀入操作當然也同樣容易。
典型的NoSQL數(shù)據(jù)庫
臨時性鍵值存儲(memcached、Redis)、永久性鍵值存儲(ROMA、Redis)、面向文檔的數(shù)據(jù)庫(MongoDB、CouchDB)、面向列的數(shù)據(jù)庫(Cassandra、HBase)
一、 鍵值存儲
它的數(shù)據(jù)是以鍵值的形式存儲的,雖然它的速度非常快,但基本上只能通過鍵的完全一致查詢獲取數(shù)據(jù),根據(jù)數(shù)據(jù)的保存方式可以分為臨時性、永久性和兩者兼具 三種。
(1)臨時性
所謂臨時性就是數(shù)據(jù)有可能丟失,memcached把所有數(shù)據(jù)都保存在內存中,這樣保存和讀取的速度非??欤钱攎emcached停止時,數(shù)據(jù)就不存在了。由于數(shù)據(jù)保存在內存中,所以無法操作超出內存容量的數(shù)據(jù),舊數(shù)據(jù)會丟失。總結來說:
。在內存中保存數(shù)據(jù)
??梢赃M行非??焖俚谋4婧妥x取處理
。數(shù)據(jù)有可能丟失
(2)永久性
所謂永久性就是數(shù)據(jù)不會丟失,這里的鍵值存儲是把數(shù)據(jù)保存在硬盤上,與臨時性比起來,由于必然要發(fā)生對硬盤的IO操作,所以性能上還是有差距的,但數(shù)據(jù)不會丟失是它最大的優(yōu)勢。總結來說:
。在硬盤上保存數(shù)據(jù)
??梢赃M行非??焖俚谋4婧妥x取處理(但無法與memcached相比)
。數(shù)據(jù)不會丟失
(3) 兩者兼?zhèn)?/p>
Redis屬于這種類型。Redis有些特殊,臨時性和永久性兼具。Redis首先把數(shù)據(jù)保存在內存中,在滿足特定條件(默認是?15分鐘一次以上,5分鐘內10個以上,1分鐘內10000個以上的鍵發(fā)生變更)的時候將數(shù)據(jù)寫入到硬盤中,這樣既確保了內存中數(shù)據(jù)的處理速度,又可以通過寫入硬盤來保證數(shù)據(jù)的永久性,這種類型的數(shù)據(jù)庫特別適合處理數(shù)組類型的數(shù)據(jù)。總結來說:
。同時在內存和硬盤上保存數(shù)據(jù)
。可以進行非??焖俚谋4婧妥x取處理
。保存在硬盤上的數(shù)據(jù)不會消失(可以恢復)
。適合于處理數(shù)組類型的數(shù)據(jù)
二、面向文檔的數(shù)據(jù)庫
MongoDB、CouchDB屬于這種類型,它們屬于NoSQL數(shù)據(jù)庫,但與鍵值存儲相異。
(1)不定義表結構
即使不定義表結構,也可以像定義了表結構一樣使用,還省去了變更表結構的麻煩。
(2)可以使用復雜的查詢條件
跟鍵值存儲不同的是,面向文檔的數(shù)據(jù)庫可以通過復雜的查詢條件來獲取數(shù)據(jù),雖然不具備事務處理和Join這些關系型數(shù)據(jù)庫所具有的處理能力,但初次以外的其他處理基本上都能實現(xiàn)。
三、?面向列的數(shù)據(jù)庫
Cassandra、HBae、HyperTable屬于這種類型,由于近年來數(shù)據(jù)量出現(xiàn)爆發(fā)性增長,這種類型的NoSQL數(shù)據(jù)庫尤其引入注目。
普通的關系型數(shù)據(jù)庫都是以行為單位來存儲數(shù)據(jù)的,擅長以行為單位的讀入處理,比如特定條件數(shù)據(jù)的獲取。因此,關系型數(shù)據(jù)庫也被成為面向行的數(shù)據(jù)庫。相反,面向列的數(shù)據(jù)庫是以列為單位來存儲數(shù)據(jù)的,擅長以列為單位讀入數(shù)據(jù)。
面向列的數(shù)據(jù)庫具有搞擴展性,即使數(shù)據(jù)增加也不會降低相應的處理速度(特別是寫入速度),所以它主要應用于需要處理大量數(shù)據(jù)的情況。另外,把它作為批處理程序的存儲器來對大量數(shù)據(jù)進行更新也是非常有用的。但由于面向列的數(shù)據(jù)庫跟現(xiàn)行數(shù)據(jù)庫存儲的思維方式有很大不同,故應用起來十分困難。
總結:關系型數(shù)據(jù)庫與NoSQL數(shù)據(jù)庫并非對立而是互補的關系,即通常情況下使用關系型數(shù)據(jù)庫,在適合使用NoSQL的時候使用NoSQL數(shù)據(jù)庫,讓NoSQL數(shù)據(jù)庫對關系型數(shù)據(jù)庫的不足進行彌補。