nosql關(guān)聯(lián),為什么使用NoSQL

AWS開(kāi)源可跨關(guān)聯(lián)式與NoSQL數(shù)據(jù)庫(kù)的查詢語(yǔ)言PartiQL

AWS推出了與SQL兼容的查詢語(yǔ)言PartiQL，只要數(shù)據(jù)庫(kù)查詢引擎提供PartiQL支持，使用者就能以PartiQL單一查詢關(guān)聯(lián)式數(shù)據(jù)庫(kù)的結(jié)構(gòu)化資料，以及開(kāi)放資料格式中的巢狀資料或是半結(jié)構(gòu)化資料，甚至還能用來(lái)查詢NoSQL或是文件數(shù)據(jù)庫(kù)中無(wú)固定結(jié)構(gòu)（Schema-less）的資料。除了AWS自家的數(shù)據(jù)庫(kù)服務(wù)，NoSQL數(shù)據(jù)庫(kù)Couchbase Server也承諾將會(huì)支持PartiQL。

創(chuàng)新互聯(lián)公司專注為客戶提供全方位的互聯(lián)網(wǎng)綜合服務(wù)，包含不限于做網(wǎng)站、成都網(wǎng)站設(shè)計(jì)、洛浦網(wǎng)絡(luò)推廣、重慶小程序開(kāi)發(fā)、洛浦網(wǎng)絡(luò)營(yíng)銷、洛浦企業(yè)策劃、洛浦品牌公關(guān)、搜索引擎seo、人物專訪、企業(yè)宣傳片、企業(yè)代運(yùn)營(yíng)等，從售前售中售后，我們都將竭誠(chéng)為您服務(wù)，您的肯定，是我們最大的嘉獎(jiǎng)；創(chuàng)新互聯(lián)公司為所有大學(xué)生創(chuàng)業(yè)者提供洛浦建站搭建服務(wù)，24小時(shí)服務(wù)熱線：18982081108，官方網(wǎng)址：www.cdcxhl.com

企業(yè)資料分散在關(guān)聯(lián)式數(shù)據(jù)庫(kù)、非關(guān)聯(lián)式數(shù)據(jù)庫(kù)以及資料湖泊中。高度結(jié)構(gòu)化的資料，儲(chǔ)存在SQL數(shù)據(jù)庫(kù)或是資料倉(cāng)儲(chǔ)；無(wú)固定結(jié)構(gòu)的資料則由鍵值儲(chǔ)存、圖形數(shù)據(jù)庫(kù)（Graph Database）、分類帳數(shù)據(jù)庫(kù)或是時(shí)間序列數(shù)據(jù)庫(kù)等NoSQL數(shù)據(jù)庫(kù)處理；而在資料湖泊中的資料，可能也有部分缺乏結(jié)構(gòu)，或是可能為巢狀或是多值結(jié)構(gòu)。不同的資料類型適用于不同的使用案例，而每種類型的資料，可能都有自己的查詢語(yǔ)言。

不同的資料儲(chǔ)存對(duì)應(yīng)不同的查詢語(yǔ)言，當(dāng)企業(yè)更換資料格式或是數(shù)據(jù)庫(kù)引擎時(shí)，可能還需要跟著改變應(yīng)用程式和查詢語(yǔ)法，AWS提到，這對(duì)于資料的應(yīng)用，特別是使用資料湖泊的靈活性與效率，有著很大的阻礙。為了統(tǒng)一不同類型數(shù)據(jù)庫(kù)存取方法，AWS發(fā)布了查詢語(yǔ)言PartiQL，這是個(gè)與SQL兼容的查詢語(yǔ)言，可以用來(lái)查詢以各種格式儲(chǔ)存在各地的資料。

用戶可以使用PartiQL來(lái)查詢關(guān)聯(lián)式數(shù)據(jù)庫(kù)，像是在Redshift實(shí)作交易或是資料分析等應(yīng)用，或?qū)τ贏mazon S3資料湖泊的開(kāi)放資料格式，同樣能使用PartiQL對(duì)巢狀資料與半結(jié)構(gòu)化資料例如Amazon Ion格式進(jìn)行查詢，另外，PartiQL也可用于文件數(shù)據(jù)庫(kù)等NoSQL數(shù)據(jù)庫(kù)，查詢無(wú)固定結(jié)構(gòu)的資料。

AWS表示，PartiQL的出現(xiàn)，是為了滿足自家查詢和轉(zhuǎn)換大量資料的需求，其提供嚴(yán)格的SQL兼容性，可與標(biāo)準(zhǔn)SQL混合使用，執(zhí)行連接（Join）、過(guò)濾（Filtering）與聚合（Aggregation）操作，并以最小擴(kuò)充支持巢狀和半結(jié)構(gòu)化資料，讓開(kāi)發(fā)者以簡(jiǎn)單且一致的方法，不需要更改查詢語(yǔ)言，就能查詢各種格式和服務(wù)的資料。

PartiQL具格式獨(dú)立性與儲(chǔ)存獨(dú)立性，PartiQL語(yǔ)法和語(yǔ)義不依賴任何資料格式，無(wú)論使用者是要查詢JSON、Parquet、ORC、CSV還是Ion等格式，查詢語(yǔ)句的寫法都相同，PartiQL的查詢?cè)诰C合邏輯類型系統(tǒng)上運(yùn)作，才對(duì)應(yīng)到不同底層的格式。而PartiQL也不相依于特定資料儲(chǔ)存，因此適用于不同的底層資料儲(chǔ)存。

雖然過(guò)去針對(duì)跨不同類型數(shù)據(jù)庫(kù)查詢的問(wèn)題，已有不少解決方案，AWS指出，像是Postgres JSON同樣也兼容于SQL，但是卻無(wú)法良好地處理JSON巢狀資料；而半結(jié)構(gòu)化查詢語(yǔ)言，雖然能良好處理巢狀資料，但卻無(wú)法與SQL語(yǔ)言兼容。AWS提到，PartiQL是第一個(gè)能夠完全解決這些問(wèn)題的查詢語(yǔ)言。

目前AWS已在自家多項(xiàng)服務(wù)支持PartiQL，包括Amazon S3 Select、Amazon Glacier Select、Amazon Redshift Spectrum、Amazon QLDB，接下來(lái)幾個(gè)月將會(huì)有更多的AWS服務(wù)支持PartiQL，Couchbase也公布將加入支持PartiQL的行列。現(xiàn)在PartiQL以Apache2.0授權(quán)許可開(kāi)源，公開(kāi)教學(xué)、規(guī)范以及參考實(shí)作，所有社群都能使用并參與貢獻(xiàn)。

newsql和nosql的區(qū)別和聯(lián)系

在大數(shù)據(jù)時(shí)代，“多種架構(gòu)支持多類應(yīng)用”成為數(shù)據(jù)庫(kù)行業(yè)應(yīng)對(duì)大數(shù)據(jù)的基本思路，數(shù)據(jù)庫(kù)行業(yè)出現(xiàn)互為補(bǔ)充的三大陣營(yíng)，適用于事務(wù)處理應(yīng)用的OldSQL、適用于數(shù)據(jù)分析應(yīng)用的NewSQL和適用于互聯(lián)網(wǎng)應(yīng)用的NoSQL。但在一些復(fù)雜的應(yīng)用場(chǎng)景中，單一數(shù)據(jù)庫(kù)架構(gòu)都不能完全滿足應(yīng)用場(chǎng)景對(duì)海量結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)的存儲(chǔ)管理、復(fù)雜分析、關(guān)聯(lián)查詢、實(shí)時(shí)性處理和控制建設(shè)成本等多方面的需要，因此不同架構(gòu)數(shù)據(jù)庫(kù)混合部署應(yīng)用成為滿足復(fù)雜應(yīng)用的必然選擇。不同架構(gòu)數(shù)據(jù)庫(kù)混合使用的模式可以概括為：OldSQL+NewSQL、OldSQL+NoSQL、NewSQL+NoSQL三種主要模式。下面通過(guò)三個(gè)案例對(duì)不同架構(gòu)數(shù)據(jù)庫(kù)的混合應(yīng)用部署進(jìn)行介紹。

OldSQL+NewSQL 在數(shù)據(jù)中心類應(yīng)用中混合部署

采用OldSQL+NewSQL模式構(gòu)建數(shù)據(jù)中心，在充分發(fā)揮OldSQL數(shù)據(jù)庫(kù)的事務(wù)處理能力的同時(shí)，借助NewSQL在實(shí)時(shí)性、復(fù)雜分析、即席查詢等方面的獨(dú)特優(yōu)勢(shì)，以及面對(duì)海量數(shù)據(jù)時(shí)較強(qiáng)的擴(kuò)展能力，滿足數(shù)據(jù)中心對(duì)當(dāng)前“熱”數(shù)據(jù)事務(wù)型處理和海量歷史“冷”數(shù)據(jù)分析兩方面的需求。OldSQL+NewSQL模式在數(shù)據(jù)中心類應(yīng)用中的互補(bǔ)作用體現(xiàn)在，OldSQL彌補(bǔ)了NewSQL不適合事務(wù)處理的不足，NewSQL彌補(bǔ)了OldSQL在海量數(shù)據(jù)存儲(chǔ)能力和處理性能方面的缺陷。

商業(yè)銀行數(shù)據(jù)中心采用OldSQL+NewSQL混合部署方式搭建，OldSQL數(shù)據(jù)庫(kù)滿足各業(yè)務(wù)系統(tǒng)數(shù)據(jù)的歸檔備份和事務(wù)型應(yīng)用，NewSQL MPP數(shù)據(jù)庫(kù)集群對(duì)即席查詢、多維分析等應(yīng)用提供高性能支持，并且通過(guò)MPP集群架構(gòu)實(shí)現(xiàn)應(yīng)對(duì)海量數(shù)據(jù)存儲(chǔ)的擴(kuò)展能力。

商業(yè)銀行數(shù)據(jù)中心存儲(chǔ)架構(gòu)

與傳統(tǒng)的OldSQL模式相比，商業(yè)銀行數(shù)據(jù)中心采用OldSQL+NewSQL混合搭建模式，數(shù)據(jù)加載性能提升3倍以上，即席查詢和統(tǒng)計(jì)分析性能提升6倍以上。NewSQL MPP的高可擴(kuò)展性能夠應(yīng)對(duì)新的業(yè)務(wù)需求，可隨著數(shù)據(jù)量的增長(zhǎng)采用集群方式構(gòu)建存儲(chǔ)容量更大的數(shù)據(jù)中心。

OldSQL+NoSQL 在互聯(lián)網(wǎng)大數(shù)據(jù)應(yīng)用中混合部署

在互聯(lián)網(wǎng)大數(shù)據(jù)應(yīng)用中采用OldSQL+NoSQL混合模式，能夠很好的解決互聯(lián)網(wǎng)大數(shù)據(jù)應(yīng)用對(duì)海量結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)進(jìn)行存儲(chǔ)和快速處理的需求。在諸如大型電子商務(wù)平臺(tái)、大型SNS平臺(tái)等互聯(lián)網(wǎng)大數(shù)據(jù)應(yīng)用場(chǎng)景中，OldSQL在應(yīng)用中負(fù)責(zé)高價(jià)值密度結(jié)構(gòu)化數(shù)據(jù)的存儲(chǔ)和事務(wù)型處理，NoSQL在應(yīng)用中負(fù)責(zé)存儲(chǔ)和處理海量非結(jié)構(gòu)化的數(shù)據(jù)和低價(jià)值密度結(jié)構(gòu)化數(shù)據(jù)。OldSQL+NoSQL模式在互聯(lián)網(wǎng)大數(shù)據(jù)應(yīng)用中的互補(bǔ)作用體現(xiàn)在，OldSQL彌補(bǔ)了NoSQL在ACID特性和復(fù)雜關(guān)聯(lián)運(yùn)算方面的不足，NoSQL彌補(bǔ)了OldSQL在海量數(shù)據(jù)存儲(chǔ)和非結(jié)構(gòu)化數(shù)據(jù)處理方面的缺陷。

數(shù)據(jù)魔方是淘寶網(wǎng)的一款數(shù)據(jù)產(chǎn)品，主要提供行業(yè)數(shù)據(jù)分析、店鋪數(shù)據(jù)分析。淘寶數(shù)據(jù)產(chǎn)品在存儲(chǔ)層采用OldSQL+NoSQL混合模式，由基于MySQL的分布式關(guān)系型數(shù)據(jù)庫(kù)集群MyFOX和基于HBase的NoSQL存儲(chǔ)集群Prom組成。由于OldSQL強(qiáng)大的語(yǔ)義和關(guān)系表達(dá)能力，在應(yīng)用中仍然占據(jù)著重要地位，目前存儲(chǔ)在MyFOX中的統(tǒng)計(jì)結(jié)果數(shù)據(jù)已經(jīng)達(dá)到10TB，占據(jù)著數(shù)據(jù)魔方總數(shù)據(jù)量的95%以上。另一方面，NoSQL作為SQL的有益補(bǔ)充，解決了OldSQL數(shù)據(jù)庫(kù)無(wú)法解決的全屬性選擇器等問(wèn)題。

淘寶海量數(shù)據(jù)產(chǎn)品技術(shù)架構(gòu)

基于OldSQL+NoSQL混合架構(gòu)的特點(diǎn)，數(shù)據(jù)魔方目前已經(jīng)能夠提供壓縮前80TB的數(shù)據(jù)存儲(chǔ)空間，支持每天4000萬(wàn)的查詢請(qǐng)求，平均響應(yīng)時(shí)間在28毫秒，足以滿足未來(lái)一段時(shí)間內(nèi)的業(yè)務(wù)增長(zhǎng)需求。

NewSQL+NoSQL 在行業(yè)大數(shù)據(jù)應(yīng)用中混合部署

行業(yè)大數(shù)據(jù)與互聯(lián)網(wǎng)大數(shù)據(jù)的區(qū)別在于行業(yè)大數(shù)據(jù)的價(jià)值密度更高，并且對(duì)結(jié)構(gòu)化數(shù)據(jù)的實(shí)時(shí)處理、復(fù)雜的多表關(guān)聯(lián)分析、即席查詢、數(shù)據(jù)強(qiáng)一致性等都比互聯(lián)網(wǎng)大數(shù)據(jù)有更高的要求。行業(yè)大數(shù)據(jù)應(yīng)用場(chǎng)景主要是分析類應(yīng)用，如：電信、金融、政務(wù)、能源等行業(yè)的決策輔助、預(yù)測(cè)預(yù)警、統(tǒng)計(jì)分析、經(jīng)營(yíng)分析等。

在行業(yè)大數(shù)據(jù)應(yīng)用中采用NewSQL+NoSQL混合模式，充分利用NewSQL在結(jié)構(gòu)化數(shù)據(jù)分析處理方面的優(yōu)勢(shì)，以及NoSQL在非結(jié)構(gòu)數(shù)據(jù)處理方面的優(yōu)勢(shì)，實(shí)現(xiàn)NewSQL與NoSQL的功能互補(bǔ)，解決行業(yè)大數(shù)據(jù)應(yīng)用對(duì)高價(jià)值結(jié)構(gòu)化數(shù)據(jù)的實(shí)時(shí)處理、復(fù)雜的多表關(guān)聯(lián)分析、即席查詢、數(shù)據(jù)強(qiáng)一致性等要求，以及對(duì)海量非結(jié)構(gòu)化數(shù)據(jù)存儲(chǔ)和精確查詢的要求。在應(yīng)用中，NewSQL承擔(dān)高價(jià)值密度結(jié)構(gòu)化數(shù)據(jù)的存儲(chǔ)和分析處理工作，NoSQL承擔(dān)存儲(chǔ)和處理海量非結(jié)構(gòu)化數(shù)據(jù)和不需要關(guān)聯(lián)分析、Ad-hoc查詢較少的低價(jià)值密度結(jié)構(gòu)化數(shù)據(jù)的工作。

當(dāng)前電信運(yùn)營(yíng)商在集中化BI系統(tǒng)建設(shè)過(guò)程中面臨著數(shù)據(jù)規(guī)模大、數(shù)據(jù)處理類型多等問(wèn)題，并且需要應(yīng)對(duì)大量的固定應(yīng)用，以及占統(tǒng)計(jì)總數(shù)80%以上的突發(fā)性臨時(shí)統(tǒng)計(jì)(ad-hoc)需求。在集中化BI系統(tǒng)的建設(shè)中采用NewSQL+NoSQL混搭的模式，充分利用NewSQL在復(fù)雜分析、即席查詢等方面處理性能的優(yōu)勢(shì)，及NoSQL在非結(jié)構(gòu)化數(shù)據(jù)處理和海量數(shù)據(jù)存儲(chǔ)方面的優(yōu)勢(shì)，實(shí)現(xiàn)高效低成本。

集中化BI系統(tǒng)數(shù)據(jù)存儲(chǔ)架構(gòu)

集中化BI系統(tǒng)按照數(shù)據(jù)類型和處理方式的不同，將結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)分別存儲(chǔ)在不同的系統(tǒng)中：非結(jié)構(gòu)化數(shù)據(jù)在Hadoop平臺(tái)上存儲(chǔ)與處理;結(jié)構(gòu)化、不需要關(guān)聯(lián)分析、Ad-hoc查詢較少的數(shù)據(jù)保存在NoSQL數(shù)據(jù)庫(kù)或Hadoop平臺(tái);結(jié)構(gòu)化、需要關(guān)聯(lián)分析或經(jīng)常ad-hoc查詢的數(shù)據(jù)，保存在NewSQL MPP數(shù)據(jù)庫(kù)中，短期高價(jià)值數(shù)據(jù)放在高性能平臺(tái)，中長(zhǎng)期放在低成本產(chǎn)品中。

結(jié)語(yǔ)

當(dāng)前信息化應(yīng)用的多樣性、復(fù)雜性，以及三種數(shù)據(jù)庫(kù)架構(gòu)各自所具有的優(yōu)勢(shì)和局限性，造成任何一種架構(gòu)的數(shù)據(jù)庫(kù)都不能完全滿足應(yīng)用需求，因此不同架構(gòu)數(shù)據(jù)庫(kù)混合使用，從而彌補(bǔ)其他架構(gòu)的不足成為必然選擇。根據(jù)應(yīng)用場(chǎng)景采用不同架構(gòu)數(shù)據(jù)庫(kù)進(jìn)行組合搭配，充分發(fā)揮每種架構(gòu)數(shù)據(jù)庫(kù)的特點(diǎn)和優(yōu)勢(shì)，并且與其他架構(gòu)數(shù)據(jù)庫(kù)形成互補(bǔ)，完全涵蓋應(yīng)用需求，保證數(shù)據(jù)資源的最優(yōu)化利用，將成為未來(lái)一段時(shí)期內(nèi)信息化應(yīng)用主要采用的解決方式。

目前在國(guó)內(nèi)市場(chǎng)上，OldSQL主要為Oracle、IBM等國(guó)外數(shù)據(jù)庫(kù)廠商所壟斷，達(dá)夢(mèng)、金倉(cāng)等國(guó)產(chǎn)廠商仍處于追趕狀態(tài);南大通用憑借國(guó)產(chǎn)新型數(shù)據(jù)庫(kù)GBase 8a異軍突起，與EMC的Greenplum和HP的Vertica躋身NewSQL市場(chǎng)三強(qiáng);NoSQL方面用戶則大多采用Hadoop開(kāi)源方案。

nosql數(shù)據(jù)庫(kù)的關(guān)聯(lián)查詢是什么原理

關(guān)系是客觀存在的自然規(guī)律，擺脫就是在修改事實(shí)模型。用NOSQL，我覺(jué)得可以理解成關(guān)系模型的變化，而不是另起爐灶。

標(biāo)題名稱：nosql關(guān)聯(lián),為什么使用NoSQL
文章URL：http://m.jiaotiyi.com/article/dscjscd.html