內(nèi)存數(shù)據(jù)庫nosql,內(nèi)存數(shù)據(jù)庫和緩存數(shù)據(jù)庫區(qū)別

如何根據(jù)性能選擇內(nèi)存NoSQL數(shù)據(jù)庫

本文主要內(nèi)容是測(cè)試了不同NoSQL數(shù)據(jù)庫在測(cè)試工具YCSB中的表現(xiàn)。我們選取了3款流行的內(nèi)存(in-memory)數(shù)據(jù)庫管理系統(tǒng)：Redis，Tarantool 以及 CouchBase，還有緩存系統(tǒng)Memchached。Memchached雖然不屬于數(shù)據(jù)庫管理系統(tǒng)但常作為快速存儲(chǔ)系統(tǒng)使用。

10年積累的成都網(wǎng)站制作、網(wǎng)站建設(shè)經(jīng)驗(yàn)，可以快速應(yīng)對(duì)客戶對(duì)網(wǎng)站的新想法和需求。提供各種問題對(duì)應(yīng)的解決方案。讓選擇我們的客戶得到更好、更有力的網(wǎng)絡(luò)服務(wù)。我雖然不認(rèn)識(shí)你，你也不認(rèn)識(shí)我。但先網(wǎng)站設(shè)計(jì)制作后付款的網(wǎng)站建設(shè)流程，更有烏海海南免費(fèi)網(wǎng)站建設(shè)讓你可以放心的選擇與我們合作。

測(cè)試環(huán)境由4臺(tái)在Microsoft Azure Cloud中的虛擬機(jī)組成的計(jì)算機(jī)組組成。這些虛擬機(jī)同屬于一個(gè)數(shù)據(jù)中心。nosql-1和nosql-2用作測(cè)試Tarantool和CouchBase，nosql-3和nosql-4用作測(cè)試Redis，Azure Redis Cache 以及 Memcached。這些機(jī)器都安裝和配置了相應(yīng)數(shù)據(jù)庫和測(cè)試項(xiàng)目。虛擬機(jī)的配置為4核A3 CPU，7GB RAM，120GB硬盤。

數(shù)據(jù)庫及設(shè)置

內(nèi)存數(shù)據(jù)庫管理系統(tǒng)會(huì)存儲(chǔ)所有在主內(nèi)存中的數(shù)據(jù)并在磁碟上進(jìn)行持續(xù)更新操作；透過日志記錄每個(gè)數(shù)據(jù)的修改以確保連貫性。由于是以append-only方式進(jìn)行日志寫入，因此它很少遇到瓶頸問題；讀取/寫入都不會(huì)造成頻繁的磁碟頭移動(dòng)。

Redis在2009推出，目前的最新版本是3.0.5。我們這里使用的版本是3.0.4，以append-only(只附加)方式進(jìn)行數(shù)據(jù)管理，與其配合使用的是Microsoft Azure Redis Cache工具。

Tarantool是一款開源NoSQL數(shù)據(jù)庫管理系統(tǒng)。我們使用的是Tarantool 1.6.7-126-gb35aff9，日志采用write-ahead(先寫)模式。Memcached是一款分布式內(nèi)存緩存系統(tǒng)，這里使用是Memcached 1.4.14-0ubuntu9。

Couchbase Server是開源分布式NoSQL面向文檔數(shù)據(jù)庫，這里使用的版本是Couchbase 4.0.0-4047-1。

YCSB測(cè)試工具

Yahoo! Cloud Serving Benchmark(YCSB)是功能強(qiáng)大的NoSQL數(shù)據(jù)庫性能測(cè)試工具，它提供了6種主要的負(fù)載工作類型，以字母A到F來區(qū)分。

負(fù)載A負(fù)責(zé)更新操作，極值是50/50的讀寫操作，如用于進(jìn)行新近操作記錄。負(fù)載B負(fù)責(zé)讀取操作，極值是95/5的讀寫操作，如用于進(jìn)行圖片標(biāo)簽管理，多進(jìn)行標(biāo)簽讀取操作。負(fù)載C負(fù)載100%的讀取操作，如用于進(jìn)行用戶屬性獲取。負(fù)載D以先進(jìn)先出方式進(jìn)行插入操作，如用戶進(jìn)行最新數(shù)據(jù)讀取。負(fù)載E負(fù)責(zé)小范圍記錄讀取而不是單個(gè)記錄讀取，如線程會(huì)話。負(fù)載F負(fù)責(zé)記錄的讀取，修改和寫入，如用戶信息管理。

我們對(duì)配置文件作了兩處參數(shù)修改：數(shù)據(jù)條目recordcount設(shè)為200000，操作條目operationcount設(shè)為5000000。YCSB是多線程工具，我們將以8, 16, 32, 64, 128 及256 線程來進(jìn)行測(cè)試。詳細(xì)的測(cè)試腳本請(qǐng)點(diǎn)擊這里進(jìn)行下載。

下列測(cè)試結(jié)果圖以顏色進(jìn)行測(cè)試對(duì)象區(qū)分，

Tarantool (HASH) （藍(lán)）

Tarantool (TREE)（淺藍(lán)）

Redis （紅）

Azure Redis Cache （橙）

Memcached （綠）

CouchBase（黑）

更多圖片請(qǐng)點(diǎn)擊［這里］查看。

結(jié)論

Tarantool在所有負(fù)載類型測(cè)試中皆取得了最優(yōu)成績(jī)。它創(chuàng)建了一個(gè)無鎖內(nèi)存引擎，以協(xié)同多任務(wù)方式進(jìn)行操作而不是互斥或并行處理方式。根據(jù)以下性能圖表現(xiàn)，我們的結(jié)論是Tarantool的高吞吐量處理是其最大優(yōu)勢(shì)之一。因此在多數(shù)場(chǎng)合下，Tarantool是用戶的最佳選擇。

nosql和mongodb的區(qū)別

1，Cassandra:

Cassandra從安裝配置，到使用，負(fù)載平衡機(jī)制等等，無疑是這些新興的NoSQL中最方便使用的一個(gè)（個(gè)人使用體驗(yàn)觀點(diǎn)）

但從近期的消息來看由于出現(xiàn)過幾次較為嚴(yán)重的數(shù)據(jù)庫停止服務(wù)事件，Cassandra的創(chuàng)始人Facebook,及Twitter開始漸漸棄用

Cassandra,只把Cassandra用在非核心模塊上，不地Digg仍在使用，看來我們要謹(jǐn)慎地對(duì)待它。2008年Facebook已讓

Cassandra開源到Apache.

2.MongoDB:

它的風(fēng)格可以說，在當(dāng)今WebAPI流行的時(shí)代，它更易于被人使用，BJSON操作風(fēng)格，自動(dòng)數(shù)據(jù)平衡機(jī)制（當(dāng)然要當(dāng)心存貯碎片問題），相對(duì)

MySQL等SQL數(shù)據(jù)庫有優(yōu)秀考慮全面的，分布式方案，自動(dòng)M/S主從讀寫切換。對(duì)于數(shù)據(jù)集群來說，可以說相當(dāng)完美的Sharding等自動(dòng)化支持。至

今聽說過的最嚴(yán)重的事件就是FourSquare的11小時(shí)數(shù)據(jù)庫宕機(jī)事件。相對(duì)來說還能接受：），它是使用C++/Boost編寫，效率性能的確不錯(cuò)。

3.Redis:

它就是一個(gè)高效的內(nèi)存數(shù)據(jù)庫，用它來持久化數(shù)據(jù)存貯，那是扯淡，如果真拿它來與別的NoSQL一樣使用（考慮讀寫一致性或者寫安全）那它馬上慢下

來：）不過他提供了比Memcached更多的操作數(shù)據(jù)類型，倒可以完全用它來做為一個(gè)高效易用的緩存，Benchmark據(jù)說優(yōu)于memcached.

我用的數(shù)據(jù)規(guī)模沒有這么大，不敢妄加評(píng)論。

4.HBase:

概念上也相對(duì)完美，有Hive開源工具支持，使HBase,可以相對(duì)于其它NoSQL數(shù)據(jù)庫更易于使用，基于HDFS分布文件系統(tǒng)，使HBASE天

生就有對(duì)海量分布集群很好的支持。又因?yàn)榕cHadoop相伴而生，所以一個(gè)系統(tǒng)想使用數(shù)據(jù)分析，智能處理，海量邏輯執(zhí)行，完全可以選擇Hadoop +

HBase云計(jì)算方案。

MongoDB也支持js的Map/Reducer所以可以試著整合一下MongoDB進(jìn)云計(jì)算方案中。

當(dāng)我使有MySQL +

NoSQL方案時(shí)，我會(huì)選擇MongoDB,不僅是因?yàn)樗某錾暮Ａ糠植际椒桨傅闹С郑膊皇且驗(yàn)榻?jīng)的Map/Reducer分布式計(jì)算的支持。而是因

為還沒聽說過它有過重大的失敗案例，相對(duì)較完美的文檔（還有中文手冊(cè)喲）還有JSON分格支持，在當(dāng)下WebAPI流行的時(shí)代，不僅是從個(gè)人喜愛角度，也

是從工程管理角度，開發(fā)人員更Love it,呵呵。

什么是nosql數(shù)據(jù)庫？nosql和rdbms有什么區(qū)別

1 理解ACID與BASE的區(qū)別（ACID是關(guān)系型數(shù)據(jù)庫強(qiáng)一致性的四個(gè)要求，而BASE是NoSQL數(shù)據(jù)庫通常對(duì)可用性及一致性的弱要求原則，它們的意思分別是，ACID：atomicity, consistency, isolation, durability;BASE：Basically Available, Soft-state, Eventually Consistent。同時(shí)有意思的是ACID在英語里意為酸，BASE意思為堿）

2 理解持久化與非持久化的區(qū)別。這么說是因?yàn)橛械腘oSQL系統(tǒng)是純內(nèi)存存儲(chǔ)的。

3 你必須意識(shí)到傳統(tǒng)有關(guān)系型數(shù)據(jù)庫與NoSQL系統(tǒng)在數(shù)據(jù)結(jié)構(gòu)上的本質(zhì)區(qū)別。傳統(tǒng)關(guān)系型數(shù)據(jù)庫通常是基于行的表格型存儲(chǔ)，而NoSQL系統(tǒng)包括了列式存儲(chǔ)（Cassandra）、key/value存儲(chǔ)（Memcached）、文檔型存儲(chǔ)（CouchDB）以及圖結(jié)構(gòu)存儲(chǔ)（Neo4j）

4與傳統(tǒng)關(guān)系數(shù)據(jù)庫有統(tǒng)一的SQL語言操作接口不同，NoSQL系統(tǒng)通常有自己特有的API接口。

5 在架構(gòu)上，你必須搞清楚，NoSQL系統(tǒng)是被設(shè)計(jì)用于成百上千臺(tái)機(jī)器的集群中的，而非共享型數(shù)據(jù)庫系統(tǒng)的架構(gòu)。

6在NoSQL系統(tǒng)中，可能你得習(xí)慣一下不知道你的數(shù)據(jù)具體存在何處的情況。

7 在NoSQL系統(tǒng)中，你最好習(xí)慣它的弱一致性。”eventually consistent”(最終一致性)正是BASE原則中的重要一項(xiàng)。比如在Twitter，你在Followers列表中經(jīng)常會(huì)感受到數(shù)據(jù)的延遲。

8 在NoSQL系統(tǒng)中，你要理解，很多時(shí)候數(shù)據(jù)并不總是可用的。

9 你得理解，有的方案是擁有分區(qū)容忍性的，有的方案不一定有。

redis是什么類型的nosql數(shù)據(jù)庫

內(nèi)存數(shù)據(jù)庫，也叫緩存，可以存儲(chǔ)訪問頻次很高的數(shù)據(jù)

redis是一個(gè)nosql(not only sql不僅僅只有sql)數(shù)據(jù)庫，翻譯成中文叫做非關(guān)系型型數(shù)據(jù)庫

什么是NoSQL數(shù)據(jù)庫？

2. 什么是NoSQL？

2.1 NoSQL 概述

NoSQL(NoSQL = Not Only SQL )，意即“不僅僅是SQL”，

泛指非關(guān)系型的數(shù)據(jù)庫。隨著互聯(lián)網(wǎng)web2.0網(wǎng)站的興起，傳統(tǒng)的關(guān)系數(shù)據(jù)庫在應(yīng)付web2.0網(wǎng)站，特別是超大規(guī)模和高并發(fā)的SNS類型的web2.0純動(dòng)態(tài)網(wǎng)站已經(jīng)顯得力不從心，暴露了很多難以克服的問題，而非關(guān)系型的數(shù)據(jù)庫則由于其本身的特點(diǎn)得到了非常迅速的發(fā)展。NoSQL數(shù)據(jù)庫的產(chǎn)生就是為了解決大規(guī)模數(shù)據(jù)集合多重?cái)?shù)據(jù)種類帶來的挑戰(zhàn)，尤其是大數(shù)據(jù)應(yīng)用難題，包括超大規(guī)模數(shù)據(jù)的存儲(chǔ)。

（例如谷歌或Facebook每天為他們的用戶收集萬億比特的數(shù)據(jù)）。這些類型的數(shù)據(jù)存儲(chǔ)不需要固定的模式，無需多余操作就可以橫向擴(kuò)展。

2.2 NoSQL代表

MongDB、 Redis、Memcache

3. 關(guān)系型數(shù)據(jù)庫與NoSQL的區(qū)別？

3.1 RDBMS

高度組織化結(jié)構(gòu)化數(shù)據(jù)

結(jié)構(gòu)化查詢語言（SQL）

數(shù)據(jù)和關(guān)系都存儲(chǔ)在單獨(dú)的表中。

數(shù)據(jù)操縱語言，數(shù)據(jù)定義語言

嚴(yán)格的一致性

基礎(chǔ)事務(wù)

ACID

關(guān)系型數(shù)據(jù)庫遵循ACID規(guī)則

事務(wù)在英文中是transaction，和現(xiàn)實(shí)世界中的交易很類似，它有如下四個(gè)特性：

A (Atomicity) 原子性

原子性很容易理解，也就是說事務(wù)里的所有操作要么全部做完，要么都不做，事務(wù)成功的條件是事務(wù)里的所有操作都成功，只要有一個(gè)操作失敗，整個(gè)事務(wù)就失敗，需要回滾。比如銀行轉(zhuǎn)賬，從A賬戶轉(zhuǎn)100元至B賬戶，分為兩個(gè)步驟：1）從A賬戶取100元；2）存入100元至B賬戶。這兩步要么一起完成，要么一起不完成，如果只完成第一步，第二步失敗，錢會(huì)莫名其妙少了100元。

C (Consistency) 一致性

一致性也比較容易理解，也就是說數(shù)據(jù)庫要一直處于一致的狀態(tài)，事務(wù)的運(yùn)行不會(huì)改變數(shù)據(jù)庫原本的一致性約束。

I (Isolation) 獨(dú)立性

所謂的獨(dú)立性是指并發(fā)的事務(wù)之間不會(huì)互相影響，如果一個(gè)事務(wù)要訪問的數(shù)據(jù)正在被另外一個(gè)事務(wù)修改，只要另外一個(gè)事務(wù)未提交，它所訪問的數(shù)據(jù)就不受未提交事務(wù)的影響。比如現(xiàn)有有個(gè)交易是從A賬戶轉(zhuǎn)100元至B賬戶，在這個(gè)交易還未完成的情況下，如果此時(shí)B查詢自己的賬戶，是看不到新增加的100元的

D (Durability) 持久性

持久性是指一旦事務(wù)提交后，它所做的修改將會(huì)永久的保存在數(shù)據(jù)庫上，即使出現(xiàn)宕機(jī)也不會(huì)丟失。

3.2 NoSQL

代表著不僅僅是SQL

沒有聲明性查詢語言

沒有預(yù)定義的模式

鍵 - 值對(duì)存儲(chǔ)，列存儲(chǔ)，文檔存儲(chǔ)，圖形數(shù)據(jù)庫

最終一致性，而非ACID屬性

非結(jié)構(gòu)化和不可預(yù)知的數(shù)據(jù)

CAP定理

高性能，高可用性和可伸縮性

分布式數(shù)據(jù)庫中的CAP原理(了解)

CAP定理：

Consistency(一致性), 數(shù)據(jù)一致更新，所有數(shù)據(jù)變動(dòng)都是同步的

Availability(可用性), 好的響應(yīng)性能

Partition tolerance(分區(qū)容錯(cuò)性) 可靠性

P: 系統(tǒng)中任意信息的丟失或失敗不會(huì)影響系統(tǒng)的繼續(xù)運(yùn)作。

定理：任何分布式系統(tǒng)只可同時(shí)滿足二點(diǎn)，沒法三者兼顧。

CAP理論的核心是：一個(gè)分布式系統(tǒng)不可能同時(shí)很好的滿足一致性，可用性和分區(qū)容錯(cuò)性這三個(gè)需求，

因此，根據(jù) CAP 原理將 NoSQL 數(shù)據(jù)庫分成了滿足 CA 原則、滿足 CP 原則和滿足 AP 原則三 大類：

CA - 單點(diǎn)集群，滿足一致性，可用性的系統(tǒng)，通常在可擴(kuò)展性上不太強(qiáng)大。

CP - 滿足一致性，分區(qū)容忍性的系統(tǒng)，通常性能不是特別高。

AP - 滿足可用性，分區(qū)容忍性的系統(tǒng)，通?？赡軐?duì)一致性要求低一些。

CAP理論就是說在分布式存儲(chǔ)系統(tǒng)中，最多只能實(shí)現(xiàn)上面的兩點(diǎn)。

而由于當(dāng)前的網(wǎng)絡(luò)硬件肯定會(huì)出現(xiàn)延遲丟包等問題，所以分區(qū)容忍性是我們必須需要實(shí)現(xiàn)的。

所以我們只能在一致性和可用性之間進(jìn)行權(quán)衡，沒有NoSQL系統(tǒng)能同時(shí)保證這三點(diǎn)。

說明：C：強(qiáng)一致性 A：高可用性 P：分布式容忍性

舉例：

CA：傳統(tǒng)Oracle數(shù)據(jù)庫

AP：大多數(shù)網(wǎng)站架構(gòu)的選擇

CP：Redis、Mongodb

注意：分布式架構(gòu)的時(shí)候必須做出取舍。

一致性和可用性之間取一個(gè)平衡。多余大多數(shù)web應(yīng)用，其實(shí)并不需要強(qiáng)一致性。

因此犧牲C換取P，這是目前分布式數(shù)據(jù)庫產(chǎn)品的方向。

4. 當(dāng)下NoSQL的經(jīng)典應(yīng)用

當(dāng)下的應(yīng)用是 SQL 與 NoSQL 一起使用的。

代表項(xiàng)目：阿里巴巴商品信息的存放。

去 IOE 化。

ps：I 是指 IBM 的小型機(jī)，很貴的，好像好幾萬一臺(tái)；O 是指 Oracle 數(shù)據(jù)庫，也很貴的，好幾萬呢；M 是指 EMC 的存儲(chǔ)設(shè)備，也很貴的。

難點(diǎn)：

數(shù)據(jù)類型多樣性。

數(shù)據(jù)源多樣性和變化重構(gòu)。

數(shù)據(jù)源改造而服務(wù)平臺(tái)不需要大面積重構(gòu)。

網(wǎng)站題目：內(nèi)存數(shù)據(jù)庫nosql,內(nèi)存數(shù)據(jù)庫和緩存數(shù)據(jù)庫區(qū)別
網(wǎng)站地址：http://m.jiaotiyi.com/article/dseispj.html