最強(qiáng)nosql,最強(qiáng)棄少

nosql數(shù)據(jù)庫(kù)有哪些

NoSQL太火，冒出太多產(chǎn)品了，保守估計(jì)也成百上千了。

站在用戶的角度思考問(wèn)題，與客戶深入溝通，找到蓬溪網(wǎng)站設(shè)計(jì)與蓬溪網(wǎng)站推廣的解決方案，憑借多年的經(jīng)驗(yàn)，讓設(shè)計(jì)與互聯(lián)網(wǎng)技術(shù)結(jié)合，創(chuàng)造個(gè)性化、用戶體驗(yàn)好的作品，建站類型包括：成都網(wǎng)站設(shè)計(jì)、成都網(wǎng)站建設(shè)、外貿(mào)網(wǎng)站建設(shè)、企業(yè)官網(wǎng)、英文網(wǎng)站、手機(jī)端網(wǎng)站、網(wǎng)站推廣、主機(jī)域名、網(wǎng)頁(yè)空間、企業(yè)郵箱。業(yè)務(wù)覆蓋蓬溪地區(qū)。

互聯(lián)網(wǎng)公司常用的基本集中在以下幾種，每種只舉一個(gè)比較常見(jiàn)或者應(yīng)用比較成功的例子吧。

1. In-Memory KV Store : Redis

in memory key-value store，同時(shí)提供了更加豐富的數(shù)據(jù)結(jié)構(gòu)和運(yùn)算的能力，成功用法是替代memcached，通過(guò)checkpoint和commit log提供了快速的宕機(jī)恢復(fù)，同時(shí)支持replication提供讀可擴(kuò)展和高可用。

2. Disk-Based KV Store: Leveldb

真正基于磁盤的key-value storage, 模型單一簡(jiǎn)單，數(shù)據(jù)量不受限于內(nèi)存大小，數(shù)據(jù)落盤高可靠，Google的幾位大神出品的精品，LSM模型天然寫(xiě)優(yōu)化，順序?qū)懕P的方式對(duì)于新硬件ssd再適合不過(guò)了，不足是僅提供了一個(gè)庫(kù)，需要自己封裝server端。

3. Document Store: Mongodb

分布式nosql，具備了區(qū)別mysql的最大亮點(diǎn)：可擴(kuò)展性。mongodb 最新引人的莫過(guò)于提供了sql接口，是目前nosql里最像mysql的，只是沒(méi)有ACID的特性，發(fā)展很快，支持了索引等特性，上手容易，對(duì)于數(shù)據(jù)量遠(yuǎn)超內(nèi)存限制的場(chǎng)景來(lái)說(shuō)，還需要慎重。

4. Column Table Store: HBase

這個(gè)富二代似乎不用贅述了，最大的優(yōu)勢(shì)是開(kāi)源，對(duì)于普通的scan和基于行的get等基本查詢，性能完全不是問(wèn)題，只是只提供裸的api,易用性上是短板，可擴(kuò)展性方面是最強(qiáng)的，其次坐上了Hadoop的快車，社區(qū)發(fā)展很快，各種基于其上的開(kāi)源產(chǎn)品不少，來(lái)解決諸如join、聚集運(yùn)算等復(fù)雜查詢。

大數(shù)據(jù)和云計(jì)算關(guān)系

大數(shù)據(jù)和云計(jì)算關(guān)系

關(guān)于大數(shù)據(jù)和云計(jì)算的關(guān)系人們通常會(huì)有誤解。而且也會(huì)把它們混起來(lái)說(shuō)，分別做一句話直白解釋就是：云計(jì)算就是硬件資源的虛擬化；大數(shù)據(jù)就是海量數(shù)據(jù)的高效處理。

雖然上面的一句話解釋不是非常的貼切，但是可以幫助你簡(jiǎn)單的理解二者的區(qū)別。另外，如果做一個(gè)更形象的解釋，云計(jì)算相當(dāng)于我們的計(jì)算機(jī)和操作系統(tǒng)，將大量的硬件資源虛擬化之后再進(jìn)行分配使用，在云計(jì)算領(lǐng)域目前的老大應(yīng)該算是Amazon，可以說(shuō)為云計(jì)算提供了商業(yè)化的標(biāo)準(zhǔn)，另外值得關(guān)注的還有VMware（其實(shí)從這一點(diǎn)可以幫助你理解云計(jì)算和虛擬化的關(guān)系），開(kāi)源的云平臺(tái)最有活力的就是Openstack了；

大數(shù)據(jù)相當(dāng)于海量數(shù)據(jù)的“數(shù)據(jù)庫(kù)”，而且通觀大數(shù)據(jù)領(lǐng)域的發(fā)展也能看出，當(dāng)前的大數(shù)據(jù)處理一直在向著近似于傳統(tǒng)數(shù)據(jù)庫(kù)體驗(yàn)的方向發(fā)展，Hadoop的產(chǎn)生使我們能夠用普通機(jī)器建立穩(wěn)定的處理TB級(jí)數(shù)據(jù)的集群，把傳統(tǒng)而昂貴的并行計(jì)算等概念一下就拉到了我們的面前，但是其不適合數(shù)據(jù)分析人員使用（因?yàn)镸apReduce開(kāi)發(fā)復(fù)雜），所以PigLatin和Hive出現(xiàn)了（分別是Yahoo！和facebook發(fā)起的項(xiàng)目，說(shuō)到這補(bǔ)充一下，在大數(shù)據(jù)領(lǐng)域Google、facebook、twitter等前沿的互聯(lián)網(wǎng)公司作出了很積極和強(qiáng)大的貢獻(xiàn)），為我們帶來(lái)了類SQL的操作，到這里操作方式像SQL了，但是處理效率很慢，絕對(duì)和傳統(tǒng)的數(shù)據(jù)庫(kù)的處理效率有天壤之別，所以人們又在想怎樣在大數(shù)據(jù)處理上不只是操作方式類SQL，而處理速度也能“類SQL”，Google為我們帶來(lái)了Dremel/PowerDrill等技術(shù)，Cloudera（Hadoop商業(yè)化最強(qiáng)的公司，Hadoop之父cutting就在這里負(fù)責(zé)技術(shù)領(lǐng)導(dǎo)）的Impala也出現(xiàn)了。

整體來(lái)看，未來(lái)的趨勢(shì)是，云計(jì)算作為計(jì)算資源的底層，支撐著上層的大數(shù)據(jù)處理，而大數(shù)據(jù)的發(fā)展趨勢(shì)是，實(shí)時(shí)交互式的查詢效率和分析能力，借用Google一篇技術(shù)論文中的話，“動(dòng)一下鼠標(biāo)就可以在秒級(jí)操作PB級(jí)別的數(shù)據(jù)”難道不讓人興奮嗎？（田原）

在談大數(shù)據(jù)的時(shí)候，首先談到的就是大數(shù)據(jù)的4V特性，即類型復(fù)雜，海量，快速和價(jià)值。IBM原來(lái)談大數(shù)據(jù)的時(shí)候談3V，沒(méi)有價(jià)值這個(gè)V。而實(shí)際我們來(lái)看4V更加恰當(dāng)，價(jià)值才是大數(shù)據(jù)問(wèn)題解決的最終目標(biāo)，其它3V都是為價(jià)值目標(biāo)服務(wù)。在有了4V的概念后，就很容易簡(jiǎn)化的來(lái)理解大數(shù)據(jù)的核心，即大數(shù)據(jù)的總體架構(gòu)包括三層，數(shù)據(jù)存儲(chǔ)，數(shù)據(jù)處理和數(shù)據(jù)分析。類型復(fù)雜和海量由數(shù)據(jù)存儲(chǔ)層解決，快速和時(shí)效性要求由數(shù)據(jù)處理層解決，價(jià)值由數(shù)據(jù)分析層解決。

數(shù)據(jù)先要通過(guò)存儲(chǔ)層存儲(chǔ)下來(lái)，然后根據(jù)數(shù)據(jù)需求和目標(biāo)來(lái)建立相應(yīng)的數(shù)據(jù)模型和數(shù)據(jù)分析指標(biāo)體系對(duì)數(shù)據(jù)進(jìn)行分析產(chǎn)生價(jià)值。而中間的時(shí)效性又通過(guò)中間數(shù)據(jù)處理層提供的強(qiáng)大的并行計(jì)算和分布式計(jì)算能力來(lái)完成。三層相互配合，讓大數(shù)據(jù)最終產(chǎn)生價(jià)值。

數(shù)據(jù)存儲(chǔ)層

數(shù)據(jù)有很多分法，有結(jié)構(gòu)化，半結(jié)構(gòu)化，非結(jié)構(gòu)化；也有元數(shù)據(jù)，主數(shù)據(jù)，業(yè)務(wù)數(shù)據(jù)；還可以分為GIS，視頻，文件，語(yǔ)音，業(yè)務(wù)交易類各種數(shù)據(jù)。傳統(tǒng)的結(jié)構(gòu)化數(shù)據(jù)庫(kù)已經(jīng)無(wú)法滿足數(shù)據(jù)多樣性的存儲(chǔ)要求，因此在RDBMS基礎(chǔ)上增加了兩種類型，一種是hdfs可以直接應(yīng)用于非結(jié)構(gòu)化文件存儲(chǔ)，一種是nosql類數(shù)據(jù)庫(kù)，可以應(yīng)用于結(jié)構(gòu)化和半結(jié)構(gòu)化數(shù)據(jù)存儲(chǔ)。

從存儲(chǔ)層的搭建來(lái)說(shuō)，關(guān)系型數(shù)據(jù)庫(kù)，NoSQL數(shù)據(jù)庫(kù)和hdfs分布式文件系統(tǒng)三種存儲(chǔ)方式都需要。業(yè)務(wù)應(yīng)用根據(jù)實(shí)際的情況選擇不同的存儲(chǔ)模式，但是為了業(yè)務(wù)的存儲(chǔ)和讀取方便性，我們可以對(duì)存儲(chǔ)層進(jìn)一步的封裝，形成一個(gè)統(tǒng)一的共享存儲(chǔ)服務(wù)層，簡(jiǎn)化這種操作。從用戶來(lái)講并不關(guān)心底層存儲(chǔ)細(xì)節(jié)，只關(guān)心數(shù)據(jù)的存儲(chǔ)和讀取的方便性，通過(guò)共享數(shù)據(jù)存儲(chǔ)層可以實(shí)現(xiàn)在存儲(chǔ)上的應(yīng)用和存儲(chǔ)基礎(chǔ)設(shè)置的徹底解耦。

數(shù)據(jù)處理層

數(shù)據(jù)處理層核心解決問(wèn)題在于數(shù)據(jù)存儲(chǔ)出現(xiàn)分布式后帶來(lái)的數(shù)據(jù)處理上的復(fù)雜度，海量存儲(chǔ)后帶來(lái)了數(shù)據(jù)處理上的時(shí)效性要求，這些都是數(shù)據(jù)處理層要解決的問(wèn)題。

在傳統(tǒng)的云相關(guān)技術(shù)架構(gòu)上，可以將hive，pig和hadoop-mapreduce框架相關(guān)的技術(shù)內(nèi)容全部劃入到數(shù)據(jù)處理層的能力。原來(lái)我思考的是將hive劃入到數(shù)據(jù)分析層能力不合適，因?yàn)閔ive重點(diǎn)還是在真正處理下的復(fù)雜查詢的拆分，查詢結(jié)果的重新聚合，而mapreduce本身又實(shí)現(xiàn)真正的分布式處理能力。

mapreduce只是實(shí)現(xiàn)了一個(gè)分布式計(jì)算的框架和邏輯，而真正的分析需求的拆分，分析結(jié)果的匯總和合并還是需要hive層的能力整合。最終的目的很簡(jiǎn)單，即支持分布式架構(gòu)下的時(shí)效性要求。

數(shù)據(jù)分析層

最后回到分析層，分析層重點(diǎn)是真正挖掘大數(shù)據(jù)的價(jià)值所在，而價(jià)值的挖掘核心又在于數(shù)據(jù)分析和挖掘。那么數(shù)據(jù)分析層核心仍然在于傳統(tǒng)的BI分析的內(nèi)容。包括數(shù)據(jù)的維度分析，數(shù)據(jù)的切片，數(shù)據(jù)的上鉆和下鉆，cube等。

數(shù)據(jù)分析我只關(guān)注兩個(gè)內(nèi)容，一個(gè)就是傳統(tǒng)數(shù)據(jù)倉(cāng)庫(kù)下的數(shù)據(jù)建模，在該數(shù)據(jù)模型下需要支持上面各種分析方法和分析策略；其次是根據(jù)業(yè)務(wù)目標(biāo)和業(yè)務(wù)需求建立的KPI指標(biāo)體系，對(duì)應(yīng)指標(biāo)體系的分析模型和分析方法。解決這兩個(gè)問(wèn)題基本解決數(shù)據(jù)分析的問(wèn)題。

傳統(tǒng)的BI分析通過(guò)大量的ETL數(shù)據(jù)抽取和集中化，形成一個(gè)完整的數(shù)據(jù)倉(cāng)庫(kù)，而基于大數(shù)據(jù)的BI分析，可能并沒(méi)有一個(gè)集中化的數(shù)據(jù)倉(cāng)庫(kù)，或者將數(shù)據(jù)倉(cāng)庫(kù)本身也是分布式的了，BI分析的基本方法和思路并沒(méi)有變化，但是落地到執(zhí)行的數(shù)據(jù)存儲(chǔ)和數(shù)據(jù)處理方法卻發(fā)生了大變化。

談了這么多，核心還是想說(shuō)明大數(shù)據(jù)兩大核心為云技術(shù)和BI，離開(kāi)云技術(shù)大數(shù)據(jù)沒(méi)有根基和落地可能，離開(kāi)BI和價(jià)值，大數(shù)據(jù)又變化為舍本逐末，丟棄關(guān)鍵目標(biāo)。簡(jiǎn)單總結(jié)就是大數(shù)據(jù)目標(biāo)驅(qū)動(dòng)是BI，大數(shù)據(jù)實(shí)施落地式云技術(shù)。

如何通過(guò)技術(shù)的思維來(lái)分析數(shù)據(jù)

大數(shù)據(jù)分析是指對(duì)規(guī)模巨大的數(shù)據(jù)進(jìn)行分析。大數(shù)據(jù)可以概括為5個(gè)V，數(shù)據(jù)量大(Volume)、速度快(Velocity)、類型多(Variety)、Value（價(jià)值）、真實(shí)性(Veracity)。大數(shù)據(jù)是指無(wú)法在一定時(shí)間內(nèi)用常規(guī)軟件工具對(duì)其內(nèi)容進(jìn)行抓取、管理和處理的數(shù)據(jù)集合。大數(shù)據(jù)技術(shù)，是指從各種各樣類型的數(shù)據(jù)中，快速獲得有價(jià)值信息的能力。適用于大數(shù)據(jù)的技術(shù)，包括大規(guī)模并行處理（MPP）數(shù)據(jù)庫(kù)，數(shù)據(jù)挖掘電網(wǎng)，分布式文件系統(tǒng)，分布式數(shù)據(jù)庫(kù)，云計(jì)算平臺(tái)，互聯(lián)網(wǎng)，和可擴(kuò)展的存儲(chǔ)系統(tǒng)。大數(shù)據(jù)有四個(gè)基本特征：一、數(shù)據(jù)體量巨大（Vomule），二、數(shù)據(jù)類型多樣（Variety），三、處理速度快（Velocity），四、價(jià)值密度低（Value）。在大數(shù)據(jù)的領(lǐng)域現(xiàn)在已經(jīng)出現(xiàn)了非常多的新技術(shù)，這些新技術(shù)將會(huì)是大數(shù)據(jù)收集、存儲(chǔ)、處理和呈現(xiàn)最強(qiáng)有力的工具。大數(shù)據(jù)處理一般有以下幾種關(guān)鍵性技術(shù)：大數(shù)據(jù)采集、大數(shù)據(jù)預(yù)處理、大數(shù)據(jù)存儲(chǔ)及管理、大數(shù)據(jù)分析及挖掘、大數(shù)據(jù)展現(xiàn)和應(yīng)用（大數(shù)據(jù)檢索、大數(shù)據(jù)可視化、大數(shù)據(jù)應(yīng)用、大數(shù)據(jù)安全等）。大數(shù)據(jù)處理之一：采集。大數(shù)據(jù)的采集是指利用多個(gè)數(shù)據(jù)庫(kù)來(lái)接收發(fā)自客戶端（Web、App或者傳感器形式等）的數(shù)據(jù)，并且用戶可以通過(guò)這些數(shù)據(jù)庫(kù)來(lái)進(jìn)行簡(jiǎn)單的查詢和處理工作。比如，電商會(huì)使用傳統(tǒng)的關(guān)系型數(shù)據(jù)庫(kù)MySQL和Oracle等來(lái)存儲(chǔ)每一筆事務(wù)數(shù)據(jù)，除此之外，Redis和MongoDB這樣的NoSQL數(shù)據(jù)庫(kù)也常用于數(shù)據(jù)的采集。在大數(shù)據(jù)的采集過(guò)程中，其主要特點(diǎn)和挑戰(zhàn)是并發(fā)數(shù)高，因?yàn)橥瑫r(shí)有可能會(huì)有成千上萬(wàn)的用戶來(lái)進(jìn)行訪問(wèn)和操作，比如火車票售票網(wǎng)站和淘寶，它們并發(fā)的訪問(wèn)量在峰值時(shí)達(dá)到上百萬(wàn)，所以需要在采集端部署大量數(shù)據(jù)庫(kù)才能支撐。并且如何在這些數(shù)據(jù)庫(kù)之間進(jìn)行負(fù)載均衡和分片的確是需要深入的思考和設(shè)計(jì)。大數(shù)據(jù)處理之二：導(dǎo)入和預(yù)處理。雖然采集端本身會(huì)有很多數(shù)據(jù)庫(kù)，但是如果要對(duì)這些海量數(shù)據(jù)進(jìn)行有效的分析，還是應(yīng)該將這些來(lái)自前端的數(shù)據(jù)導(dǎo)入到一個(gè)集中的大型分布式數(shù)據(jù)庫(kù)，或者分布式存儲(chǔ)集群，并且可以在導(dǎo)入基礎(chǔ)上做一些簡(jiǎn)單的清洗和預(yù)處理工作。也有一些用戶會(huì)在導(dǎo)入時(shí)使用來(lái)自Twitter的Storm來(lái)對(duì)數(shù)據(jù)進(jìn)行流式計(jì)算，來(lái)滿足部分業(yè)務(wù)的實(shí)時(shí)計(jì)算需求。導(dǎo)入與預(yù)處理過(guò)程的特點(diǎn)和挑戰(zhàn)主要是導(dǎo)入的數(shù)據(jù)量大，每秒鐘的導(dǎo)入量經(jīng)常會(huì)達(dá)到百兆，甚至千兆級(jí)別。大數(shù)據(jù)處理之三：統(tǒng)計(jì)和分析。統(tǒng)計(jì)與分析主要利用分布式數(shù)據(jù)庫(kù)，或者分布式計(jì)算集群來(lái)對(duì)存儲(chǔ)于其內(nèi)的海量數(shù)據(jù)進(jìn)行普通的分析和分類匯總等，以滿足大多數(shù)常見(jiàn)的分析需求，在這方面，一些實(shí)時(shí)性需求會(huì)用到EMC的GreenPlum、Oracle的Exadata，以及基于MySQL的列式存儲(chǔ)Infobright等，而一些批處理，或者基于半結(jié)構(gòu)化數(shù)據(jù)的需求可以使用Hadoop。統(tǒng)計(jì)與分析這部分的主要特點(diǎn)和挑戰(zhàn)是分析涉及的數(shù)據(jù)量大，其對(duì)系統(tǒng)資源，特別是I/O會(huì)有極大的占用。大數(shù)據(jù)處理之四：挖掘。與前面統(tǒng)計(jì)和分析過(guò)程不同的是，數(shù)據(jù)挖掘一般沒(méi)有什么預(yù)先設(shè)定好的主題，主要是在現(xiàn)有數(shù)據(jù)上面進(jìn)行基于各種算法的計(jì)算，從而起到預(yù)測(cè)（Predict）的效果，從而實(shí)現(xiàn)一些高級(jí)別數(shù)據(jù)分析的需求。比較典型算法有用于聚類的Kmeans、用于統(tǒng)計(jì)學(xué)習(xí)的SVM和用于分類的NaiveBayes，主要使用的工具有Hadoop的Mahout等。該過(guò)程的特點(diǎn)和挑戰(zhàn)主要是用于挖掘的算法很復(fù)雜，并且計(jì)算涉及的數(shù)據(jù)量和計(jì)算量都很大，常用數(shù)據(jù)挖掘算法都以單線程為主。整個(gè)大數(shù)據(jù)處理的普遍流程至少應(yīng)該滿足這四個(gè)方面的步驟，才能算得上是一個(gè)比較完整的大數(shù)據(jù)處理。大數(shù)據(jù)的處理方式大致分為數(shù)據(jù)流處理方式和批量數(shù)據(jù)處理方式兩種。數(shù)據(jù)流處理的方式適合用于對(duì)實(shí)時(shí)性要求比較高的場(chǎng)合中。并不需要等待所有的數(shù)據(jù)都有了之后再進(jìn)行處理，而是有一點(diǎn)數(shù)據(jù)就處理一點(diǎn)，地要求機(jī)器的處理器有較快速的性能以及擁有比較大的主存儲(chǔ)器容量，對(duì)輔助存儲(chǔ)器的要求反而不高。批量數(shù)據(jù)處理方式是對(duì)整個(gè)要處理的數(shù)據(jù)進(jìn)行切割劃分成小的數(shù)據(jù)塊，之后對(duì)其進(jìn)行處理。重點(diǎn)在于把大化小——把劃分的小塊數(shù)據(jù)形成小任務(wù)，分別單獨(dú)進(jìn)行處理，并且形成小任務(wù)的過(guò)程中不是進(jìn)行數(shù)據(jù)傳輸之后計(jì)算，而是將計(jì)算方法（通常是計(jì)算函數(shù)——映射并簡(jiǎn)化）作用到這些數(shù)據(jù)塊最終得到結(jié)果。當(dāng)前，對(duì)大數(shù)據(jù)的處理分析正成為新一代信息技術(shù)融合應(yīng)用的節(jié)點(diǎn)。移動(dòng)互聯(lián)網(wǎng)、物聯(lián)網(wǎng)、社交網(wǎng)絡(luò)、數(shù)字家庭、電子商務(wù)等是新一代信息技術(shù)的應(yīng)用形態(tài)，這些應(yīng)用不斷產(chǎn)生大數(shù)據(jù)。通過(guò)對(duì)不同來(lái)源數(shù)據(jù)的管理、處理、分析與優(yōu)化，將結(jié)果反饋到上述應(yīng)用中，將創(chuàng)造出巨大的經(jīng)濟(jì)和社會(huì)價(jià)值。大數(shù)據(jù)也是信息產(chǎn)業(yè)持續(xù)高速增長(zhǎng)的新引擎。面對(duì)大數(shù)據(jù)市場(chǎng)的新技術(shù)、新產(chǎn)品、新業(yè)態(tài)會(huì)不斷涌現(xiàn)。在硬件與集成設(shè)備領(lǐng)域，大數(shù)據(jù)將對(duì)芯片、存儲(chǔ)產(chǎn)業(yè)產(chǎn)生重要影響，還將催生一體化數(shù)據(jù)存儲(chǔ)處理服務(wù)器、內(nèi)存計(jì)算等市場(chǎng)。在軟件與服務(wù)領(lǐng)域，大數(shù)據(jù)將引發(fā)數(shù)據(jù)快速處理分析、數(shù)據(jù)挖掘技術(shù)和軟件產(chǎn)品的發(fā)展。大數(shù)據(jù)利用將成為提高核心競(jìng)爭(zhēng)力的關(guān)鍵因素。各行各業(yè)的決策正在從“業(yè)務(wù)驅(qū)動(dòng)”轉(zhuǎn)變?yōu)椤皵?shù)據(jù)驅(qū)動(dòng)”。對(duì)大數(shù)據(jù)的分析可以使零售商實(shí)時(shí)掌握市場(chǎng)動(dòng)態(tài)并迅速做出應(yīng)對(duì)；可以為商家制定更加精準(zhǔn)有效的營(yíng)銷策略提供決策支持；可以幫助企業(yè)為消費(fèi)者提供更加及時(shí)和個(gè)性化的服務(wù)；在醫(yī)療領(lǐng)域，可提高診斷準(zhǔn)確性和藥物有效性；在公共事業(yè)領(lǐng)域，大數(shù)據(jù)也開(kāi)始發(fā)揮促進(jìn)經(jīng)濟(jì)發(fā)展、維護(hù)社會(huì)穩(wěn)定等方面的重要作用。大數(shù)據(jù)時(shí)代科學(xué)研究的方法手段將發(fā)生重大改變。例如，抽樣調(diào)查是社會(huì)科學(xué)的基本研究方法。在大數(shù)據(jù)時(shí)代，可通過(guò)實(shí)時(shí)監(jiān)測(cè)，跟蹤研究對(duì)象在互聯(lián)網(wǎng)上產(chǎn)生的海量行為數(shù)據(jù)，進(jìn)行挖掘分析，揭示出規(guī)律性的東西，提出研究結(jié)論和對(duì)策。目前大數(shù)據(jù)在醫(yī)療衛(wèi)生領(lǐng)域有廣為所知的應(yīng)用，公共衛(wèi)生部門可以通過(guò)覆蓋全國(guó)的患者電子病歷數(shù)據(jù)庫(kù)進(jìn)行全面疫情監(jiān)測(cè)。5千萬(wàn)條美國(guó)人最頻繁檢索的詞條被用來(lái)對(duì)冬季流感進(jìn)行更及時(shí)準(zhǔn)確的預(yù)測(cè)。學(xué)術(shù)界整合出2003年H5N1禽流感感染風(fēng)險(xiǎn)地圖，研究發(fā)行此次H7N9人類病例區(qū)域。社交網(wǎng)絡(luò)為許多慢性病患者提供了臨床癥狀交流和診治經(jīng)驗(yàn)分享平臺(tái)，醫(yī)生借此可獲得院外臨床效果統(tǒng)計(jì)數(shù)據(jù)?；趯?duì)人體基因的大數(shù)據(jù)分析，可以實(shí)現(xiàn)對(duì)癥下藥的個(gè)性化治療。在醫(yī)藥研發(fā)方面，大數(shù)據(jù)的戰(zhàn)略意義在于對(duì)各方面醫(yī)療衛(wèi)生數(shù)據(jù)進(jìn)行專業(yè)化處理，對(duì)患者甚至大眾的行為和情緒的細(xì)節(jié)化測(cè)量成為可能，挖掘其癥狀特點(diǎn)、行為習(xí)慣和喜好等，找到更符合其特點(diǎn)或癥狀的藥品和服務(wù)，并針對(duì)性的調(diào)整和優(yōu)化。在醫(yī)藥研究開(kāi)發(fā)部門或公司的新藥研發(fā)階段，能夠通過(guò)大數(shù)據(jù)技術(shù)分析來(lái)自互聯(lián)網(wǎng)上的公眾疾病藥品需求趨勢(shì)，確定更為有效率的投入產(chǎn)品比，合理配置有限研發(fā)資源。除研發(fā)成本外，醫(yī)藥公司能夠優(yōu)化物流信息平臺(tái)及管理，更快地獲取回報(bào)，一般新藥從研發(fā)到推向市場(chǎng)的時(shí)間大約為13年，使用數(shù)據(jù)分析預(yù)測(cè)則能幫助醫(yī)藥研發(fā)部門或企業(yè)提早將新藥推向市場(chǎng)。在疾病診治方面，可通過(guò)健康云平臺(tái)對(duì)每個(gè)居民進(jìn)行智能采集健康數(shù)據(jù)，居民可以隨時(shí)查閱，了解自身健康程度。同時(shí)，提供專業(yè)的在線專家咨詢系統(tǒng)，由專家對(duì)居民健康程度做出診斷，提醒可能發(fā)生的健康問(wèn)題，避免高危病人轉(zhuǎn)為慢性病患者，避免慢性病患者病情惡化，減輕個(gè)人和醫(yī)保負(fù)擔(dān)，實(shí)現(xiàn)疾病科學(xué)管理。對(duì)于醫(yī)療衛(wèi)生機(jī)構(gòu)，通過(guò)對(duì)遠(yuǎn)程監(jiān)控系統(tǒng)產(chǎn)生數(shù)據(jù)的分析，醫(yī)院可以減少病人住院時(shí)間，減少急診量，實(shí)現(xiàn)提高家庭護(hù)理比例和門診醫(yī)生預(yù)約量的目標(biāo)。武漢協(xié)和醫(yī)院目前也已經(jīng)與市區(qū)八家社區(qū)衛(wèi)生服務(wù)中心建立遠(yuǎn)程遙控聯(lián)系，并將在未來(lái)提供“從醫(yī)院到家”的服務(wù)。在醫(yī)療衛(wèi)生機(jī)構(gòu)，通過(guò)實(shí)時(shí)處理管理系統(tǒng)產(chǎn)生的數(shù)據(jù)，連同歷史數(shù)據(jù)，利用大數(shù)據(jù)技術(shù)分析就診資源的使用情況，實(shí)現(xiàn)機(jī)構(gòu)科學(xué)管理，提高醫(yī)療衛(wèi)生服務(wù)水平和效率，引導(dǎo)醫(yī)療衛(wèi)生資源科學(xué)規(guī)劃和配置。大數(shù)據(jù)還能提升醫(yī)療價(jià)值，形成個(gè)性化醫(yī)療，比如基于基因科學(xué)的醫(yī)療模式。在公共衛(wèi)生管理方面，大數(shù)據(jù)可以連續(xù)整合和分析公共衛(wèi)生數(shù)據(jù)，提高疾病預(yù)報(bào)和預(yù)警能力，防止疫情爆發(fā)。公共衛(wèi)生部門則可以通過(guò)覆蓋區(qū)域的衛(wèi)生綜合管理信息平臺(tái)和居民信息數(shù)據(jù)庫(kù)，快速監(jiān)測(cè)傳染病，進(jìn)行全面疫情監(jiān)測(cè)，并通過(guò)集成疾病監(jiān)測(cè)和響應(yīng)程序，進(jìn)行快速響應(yīng)，這些都將減少醫(yī)療索賠支出、降低傳染病感染率。通過(guò)提供準(zhǔn)確和及時(shí)的公眾健康咨詢，將會(huì)大幅提高公眾健康風(fēng)險(xiǎn)意識(shí)，同時(shí)也將降低傳染病感染風(fēng)險(xiǎn)。在居民健康管理方面，居民電子健康檔案是大數(shù)據(jù)在居民健康管理方面的重要數(shù)據(jù)基礎(chǔ)，大數(shù)據(jù)技術(shù)可以促進(jìn)個(gè)體化健康事務(wù)管理服務(wù)，改變現(xiàn)代營(yíng)養(yǎng)學(xué)和信息化管理技術(shù)的模式，更全面深入地從社會(huì)、心理、環(huán)境、營(yíng)養(yǎng)、運(yùn)動(dòng)的角度來(lái)對(duì)每個(gè)人進(jìn)行全面的健康保障服務(wù)，幫助、指導(dǎo)人們成功有效地維護(hù)自身健康。另外，大數(shù)據(jù)可以對(duì)患者健康信息集成整合，在線遠(yuǎn)程為診斷和治療提供更好的數(shù)據(jù)證據(jù)，通過(guò)挖掘數(shù)據(jù)對(duì)居民健康進(jìn)行智能化監(jiān)測(cè)，通過(guò)移動(dòng)設(shè)備定位數(shù)據(jù)對(duì)居民健康影響因素進(jìn)行分析等等，進(jìn)一步提升居民健康管理水平。在健康危險(xiǎn)因素分析方面，互聯(lián)網(wǎng)、物聯(lián)網(wǎng)、醫(yī)療衛(wèi)生信息系統(tǒng)及相關(guān)信息系統(tǒng)等普遍使用，可以系統(tǒng)全面地收集健康危險(xiǎn)因素?cái)?shù)據(jù)，包括環(huán)境因素（利用GIS系統(tǒng)采集大氣、土壤、水文等數(shù)據(jù)），生物因素（包括致病性微生物、細(xì)菌、病毒、真菌等的監(jiān)測(cè)數(shù)據(jù)），經(jīng)濟(jì)社會(huì)因素（分析經(jīng)濟(jì)收入、營(yíng)養(yǎng)條件、人口遷徙、城鎮(zhèn)化、教育就業(yè)等因素?cái)?shù)據(jù)），個(gè)人行為和心理因素，醫(yī)療衛(wèi)生服務(wù)因素，以及人類生物遺傳因素等，利用大數(shù)據(jù)技術(shù)對(duì)健康危險(xiǎn)因素進(jìn)行比對(duì)關(guān)聯(lián)分析，針對(duì)不同區(qū)域、人群進(jìn)行評(píng)估和遴選健康相關(guān)危險(xiǎn)因素及制作健康監(jiān)測(cè)評(píng)估圖譜和知識(shí)庫(kù)也成為可能，提出居民健康干預(yù)的有限領(lǐng)域和有針對(duì)性的干預(yù)計(jì)劃，促進(jìn)居民健康水平的提高。大數(shù)據(jù)分析的使用者有大數(shù)據(jù)分析專家，同時(shí)還有普通用戶，但是他們二者對(duì)于大數(shù)據(jù)分析最基本的要求就是可視化分析，因?yàn)榭梢暬治瞿軌蛑庇^的呈現(xiàn)大數(shù)據(jù)特點(diǎn)，同時(shí)能夠非常容易被讀者所接受，就如同看圖說(shuō)話一樣簡(jiǎn)單明了。大數(shù)據(jù)分析的理論核心就是數(shù)據(jù)挖掘算法，各種數(shù)據(jù)挖掘的算法基于不同的數(shù)據(jù)類型和格式才能更加科學(xué)的呈現(xiàn)出數(shù)據(jù)本身具備的特點(diǎn)，也正是因?yàn)檫@些被全世界統(tǒng)計(jì)學(xué)家所公認(rèn)的各種統(tǒng)計(jì)方法（可以稱之為真理）才能深入數(shù)據(jù)內(nèi)部，挖掘出公認(rèn)的價(jià)值。另外一個(gè)方面也是因?yàn)橛羞@些數(shù)據(jù)挖掘的算法才能更快速的處理大數(shù)據(jù)，如果一個(gè)算法得花上好幾年才能得出結(jié)論，那大數(shù)據(jù)的價(jià)值也就無(wú)從說(shuō)起了。大數(shù)據(jù)分析最終要的應(yīng)用領(lǐng)域之一就是預(yù)測(cè)性分析，從大數(shù)據(jù)中挖掘出特點(diǎn)，通過(guò)科學(xué)的建立模型，之后便可以通過(guò)模型帶入新的數(shù)據(jù)，從而預(yù)測(cè)未來(lái)的數(shù)據(jù)。非結(jié)構(gòu)化數(shù)據(jù)的多元化給數(shù)據(jù)分析帶來(lái)新的挑戰(zhàn)，我們需要一套工具系統(tǒng)的去分析，提煉數(shù)據(jù)。語(yǔ)義引擎需要設(shè)計(jì)到有足夠的人工智能以足以從數(shù)據(jù)中主動(dòng)地提取信息。5.數(shù)據(jù)質(zhì)量和數(shù)據(jù)管理。大數(shù)據(jù)分析離不開(kāi)數(shù)據(jù)質(zhì)量和數(shù)據(jù)管理，高質(zhì)量的數(shù)據(jù)和有效的數(shù)據(jù)管理，無(wú)論是在學(xué)術(shù)研究還是在商業(yè)應(yīng)用領(lǐng)域，都能夠保證分析結(jié)果的真實(shí)和有價(jià)值。大數(shù)據(jù)分析的基礎(chǔ)就是以上五個(gè)方面，當(dāng)然更加深入大數(shù)據(jù)分析的話，還有很多很多更加有特點(diǎn)的、更加深入的、更加專業(yè)的大數(shù)據(jù)分析方法。數(shù)據(jù)采集：ETL工具負(fù)責(zé)將分布的、異構(gòu)數(shù)據(jù)源中的數(shù)據(jù)如關(guān)系數(shù)據(jù)、平面數(shù)據(jù)文件等抽取到臨時(shí)中間層后進(jìn)行清洗、轉(zhuǎn)換、集成，最后加載到數(shù)據(jù)倉(cāng)庫(kù)或數(shù)據(jù)集市中，成為聯(lián)機(jī)分析處理、數(shù)據(jù)挖掘的基礎(chǔ)。數(shù)據(jù)存?。宏P(guān)系數(shù)據(jù)庫(kù)、NOSQL、SQL等?；A(chǔ)架構(gòu)：云存儲(chǔ)、分布式文件存儲(chǔ)等。數(shù)據(jù)處理：自然語(yǔ)言處理(NLP，NaturalLanguageProcessing)是研究人與計(jì)算機(jī)交互的語(yǔ)言問(wèn)題的一門學(xué)科。處理自然語(yǔ)言的關(guān)鍵是要讓計(jì)算機(jī)”理解”自然語(yǔ)言，所以自然語(yǔ)言處理又叫做自然語(yǔ)言理解也稱為計(jì)算語(yǔ)言學(xué)。一方面它是語(yǔ)言信息處理的一個(gè)分支，另一方面它是人工智能的核心課題之一。統(tǒng)計(jì)分析：假設(shè)檢驗(yàn)、顯著性檢驗(yàn)、差異分析、相關(guān)分析、T檢驗(yàn)、方差分析、卡方分析、偏相關(guān)分析、距離分析、回歸分析、簡(jiǎn)單回歸分析、多元回歸分析、逐步回歸、回歸預(yù)測(cè)與殘差分析、嶺回歸、logistic回歸分析、曲線估計(jì)、因子分析、聚類分析、主成分分析、因子分析、快速聚類法與聚類法、判別分析、對(duì)應(yīng)分析、多元對(duì)應(yīng)分析（最優(yōu)尺度分析）、bootstrap技術(shù)等等。數(shù)據(jù)挖掘：分類（Classification）、估計(jì)（Estimation）、預(yù)測(cè)（Prediction）、相關(guān)性分組或關(guān)聯(lián)規(guī)則（Affinitygroupingorassociationrules）、聚類（Clustering）、描述和可視化、DescriptionandVisualization）、復(fù)雜數(shù)據(jù)類型挖掘(Text,Web,圖形圖像，視頻，音頻等)模型預(yù)測(cè)：預(yù)測(cè)模型、機(jī)器學(xué)習(xí)、建模仿真。結(jié)果呈現(xiàn)：云計(jì)算、標(biāo)簽云、關(guān)系圖等。大數(shù)據(jù)的采集是指利用多個(gè)數(shù)據(jù)庫(kù)來(lái)接收發(fā)自客戶端（Web、App或者傳感器形式等）的數(shù)據(jù)，并且用戶可以通過(guò)這些數(shù)據(jù)庫(kù)來(lái)進(jìn)行簡(jiǎn)單的查詢和處理工作。比如，電商會(huì)使用傳統(tǒng)的關(guān)系型數(shù)據(jù)庫(kù)MySQL和Oracle等來(lái)存儲(chǔ)每一筆事務(wù)數(shù)據(jù)，除此之外，Redis和MongoDB這樣的NoSQL數(shù)據(jù)庫(kù)也常用于數(shù)據(jù)的采集。在大數(shù)據(jù)的采集過(guò)程中，其主要特點(diǎn)和挑戰(zhàn)是并發(fā)數(shù)高，因?yàn)橥瑫r(shí)有可能會(huì)有成千上萬(wàn)的用戶來(lái)進(jìn)行訪問(wèn)和操作，比如火車票售票網(wǎng)站和淘寶，它們并發(fā)的訪問(wèn)量在峰值時(shí)達(dá)到上百萬(wàn)，所以需要在采集端部署大量數(shù)據(jù)庫(kù)才能支撐。并且如何在這些數(shù)據(jù)庫(kù)之間進(jìn)行負(fù)載均衡和分片的確是需要深入的思考和設(shè)計(jì)。雖然采集端本身會(huì)有很多數(shù)據(jù)庫(kù)，但是如果要對(duì)這些海量數(shù)據(jù)進(jìn)行有效的分析，還是應(yīng)該將這些來(lái)自前端的數(shù)據(jù)導(dǎo)入到一個(gè)集中的大型分布式數(shù)據(jù)庫(kù)，或者分布式存儲(chǔ)集群，并且可以在導(dǎo)入基礎(chǔ)上做一些簡(jiǎn)單的清洗和預(yù)處理工作。也有一些用戶會(huì)在導(dǎo)入時(shí)使用來(lái)自Twitter的Storm來(lái)對(duì)數(shù)據(jù)進(jìn)行流式計(jì)算，來(lái)滿足部分業(yè)務(wù)的實(shí)時(shí)計(jì)算需求。導(dǎo)入與預(yù)處理過(guò)程的特點(diǎn)和挑戰(zhàn)主要是導(dǎo)入的數(shù)據(jù)量大，每秒鐘的導(dǎo)入量經(jīng)常會(huì)達(dá)到百兆，甚至千兆級(jí)別。統(tǒng)計(jì)與分析主要利用分布式數(shù)據(jù)庫(kù)，或者分布式計(jì)算集群來(lái)對(duì)存儲(chǔ)于其內(nèi)的海量數(shù)據(jù)進(jìn)行普通的分析和分類匯總等，以滿足大多數(shù)常見(jiàn)的分析需求，在這方面，一些實(shí)時(shí)性需求會(huì)用到EMC的GreenPlum、Oracle的Exadata，以及基于MySQL的列式存儲(chǔ)Infobright等，而一些批處理，或者基于半結(jié)構(gòu)化數(shù)據(jù)的需求可以使用Hadoop。統(tǒng)計(jì)與分析這部分的主要特點(diǎn)和挑戰(zhàn)是分析涉及的數(shù)據(jù)量大，其對(duì)系統(tǒng)資源，特別是I/O會(huì)有極大的占用。與前面統(tǒng)計(jì)和分析過(guò)程不同的是，數(shù)據(jù)挖掘一般沒(méi)有什么預(yù)先設(shè)定好的主題，主要是在現(xiàn)有數(shù)據(jù)上面進(jìn)行基于各種算法的計(jì)算，從而起到預(yù)測(cè)（Predict）的效果，從而實(shí)現(xiàn)一些高級(jí)別數(shù)據(jù)分析的需求。比較典型算法有用于聚類的Kmeans、用于統(tǒng)計(jì)學(xué)習(xí)的SVM和用于分類的NaiveBayes，主要使用的工具有Hadoop的Mahout等。該過(guò)程的特點(diǎn)和挑戰(zhàn)主要是用于挖掘的算法很復(fù)雜，并且計(jì)算涉及的數(shù)據(jù)量和計(jì)算量都很大，常用數(shù)據(jù)挖掘算法都以單線程為主。整個(gè)大數(shù)據(jù)處理的普遍流程至少應(yīng)該滿足這四個(gè)方面的步驟，才能算得上是一個(gè)比較完整的大數(shù)據(jù)處理。

目前，使用最多，性能最好的是什么數(shù)據(jù)庫(kù)呢？

沒(méi)有最好的，看不同的需要，各種數(shù)據(jù)庫(kù)都有其使用的環(huán)境的

比較常用的關(guān)系型數(shù)據(jù)庫(kù)就是oracle

sybase

iq屬于列陣式數(shù)據(jù)庫(kù)

還有一些nosql(not

only

sql)數(shù)據(jù)庫(kù)

2021年最受程序員歡迎的開(kāi)發(fā)工具TOP 50名單出爐-

對(duì)于每一個(gè)開(kāi)發(fā)者而言，開(kāi)發(fā)工具就相當(dāng)于他們的武器，選擇一個(gè)合適的工具能夠幫助我們?cè)诠ぷ鲿r(shí)事半功倍，在互聯(lián)網(wǎng)逐漸發(fā)展成熟的今天，越來(lái)越多的開(kāi)發(fā)工具供我們選擇，但其中總有一些更好用的，如何選擇成為了一大難題。

從而頒布了2021年StackShare第八屆頂級(jí)工具獎(jiǎng)，快來(lái)看看有沒(méi)有你青睞的開(kāi)發(fā)工具吧。

年度最佳新興工具

1.FastAPI

FastAPI 是一個(gè)使用 Python3.6+ 構(gòu)建 Web API 的高性能框架。根據(jù)框架創(chuàng)建者的說(shuō)法，F(xiàn)astAPI 性能與 NodeJS 或 Golang 相當(dāng)。

2.GitHub Copilot

作為一款 AI 結(jié)對(duì)編程工具，Copilot 的主要定位是提供類似 IntelliSense/IntelliCode 的代碼補(bǔ)全與建議功能，但在實(shí)際表現(xiàn)上有望超越同樣由微軟合作伙伴 OpenAI 開(kāi)發(fā)的 Codex AI 系統(tǒng)。

3.FiglamFigma

Figma 是一個(gè) 基于瀏覽器 的協(xié)作式 UI 設(shè)計(jì)工具，從推出至今越來(lái)越受到 UI 設(shè)計(jì)師的青睞，也有很多的設(shè)計(jì)團(tuán)隊(duì)投入了Figma 的懷抱，

4.Logtail

Logtail是日志服務(wù)提供的日志采集Agent，用于采集阿里云ECS、自建IDC、其他云廠商等服務(wù)器上的日志。本文介紹Logtail的功能、優(yōu)勢(shì)、使用限制及配置流程等信息。

5.Coder

開(kāi)發(fā)人員工作區(qū)平臺(tái)·

6.Charts.csscss

Charts.css 是用于數(shù)據(jù)可視化的開(kāi)源 CSS 框架，幫助用戶理解數(shù)據(jù)，幫助開(kāi)發(fā)人員使用簡(jiǎn)單的 CSS 類將數(shù)據(jù)轉(zhuǎn)換為漂亮的圖表?！?/p>

7.Counter

簡(jiǎn)單并且免費(fèi)的網(wǎng)絡(luò)分析·

8.React Query

React Query是一個(gè)庫(kù)，可為任何類型的異步數(shù)據(jù)提供ReactJS狀態(tài)管理功能。根據(jù)他們的官方文件，·

9.vscode.dev

將VS Code引入瀏覽器，構(gòu)建一個(gè)可以在瀏覽器中完全無(wú)服務(wù)器運(yùn)行的開(kāi)發(fā)工具。

10.BookStack

BookStack 是一個(gè)開(kāi)源的、基于 Laravel + Vue.js 構(gòu)建的知識(shí)管理和服務(wù)平臺(tái)。具有簡(jiǎn)單但功能強(qiáng)大的所見(jiàn)即所得編輯器，允許團(tuán)隊(duì)輕松創(chuàng)建詳細(xì)且有用的文檔?！?/p>

11.ThunderClient

Thunder Client 為我們提供了一款輕量級(jí)、易用、整潔、簡(jiǎn)單的 Rest API 客戶端擴(kuò)展。·我們可以利用 Thunder Client 在編輯器內(nèi)快速測(cè)試代碼庫(kù)的 API 端點(diǎn)，從而最大限度地減少頁(yè)面的切換。它可以替代 Postman，作為常用的無(wú)腳本測(cè)試工具。

12.Quod AI

Quod AI Code Search是一個(gè)由人工智能驅(qū)動(dòng)的Chrome擴(kuò)展，可以自動(dòng)從Git存儲(chǔ)庫(kù)或Jira問(wèn)題中搜索代碼。

它使用問(wèn)題的標(biāo)題和描述，并自動(dòng)在你的Git存儲(chǔ)庫(kù)中找到匹配的內(nèi)容。

13.Dendron

Dendron 是典型的開(kāi)源社區(qū)編程思維的解決方案，雖然初看起來(lái)有一點(diǎn)學(xué)習(xí)曲線，但從根本上是給了使用者最大的自由發(fā)揮空間，同時(shí)又提供了最強(qiáng)大和最徹底的工具生態(tài)支持?！?/p>

14.Notion API

把概念和你每天使用的工具聯(lián)系起來(lái)·

15.Github1s

只需1秒，就可以用VS Code方式來(lái)看GitHub代碼?！?/p>

16.Ocean

容器的無(wú)服務(wù)器基礎(chǔ)架構(gòu)引擎·

17.Magic

快速構(gòu)建應(yīng)用程序，可定制，無(wú)密碼登錄

·

18.Jina

更簡(jiǎn)單的一種在云上構(gòu)建神經(jīng)搜索的方法，

19.Focalboard

一款開(kāi)源、本地存儲(chǔ)、免費(fèi)的類 Notion 應(yīng)用Focalboard 的自我定位是“Trello、Notion 和 Asana 的開(kāi)源、自托管替代品”?！?/p>

20.zx

更好地編寫(xiě)腳本的工具（By Google）

21.OpenSearh

OpenSearch是阿里云開(kāi)放搜索簡(jiǎn)稱，為解決用戶結(jié)構(gòu)化數(shù)據(jù)搜索需求的托管服務(wù)，支持?jǐn)?shù)據(jù)結(jié)構(gòu)、搜索排序、數(shù)據(jù)處理自由定制。·

22.Querybook

一個(gè)可以發(fā)現(xiàn)、創(chuàng)建和共享數(shù)據(jù)分析、查詢以及表的大數(shù)據(jù)IDE（通過(guò)Pinterest），

23.MangoDB

MongoDB是一款為web應(yīng)用程序和互聯(lián)網(wǎng)基礎(chǔ)設(shè)施設(shè)計(jì)的數(shù)據(jù)庫(kù)管理系統(tǒng)。MongoDB就是數(shù)據(jù)庫(kù)，是NoSQL類型的數(shù)據(jù)庫(kù)

24.TooIJet

Retool的開(kāi)源替代品·

25.Kitemaker

Kitemaker是為團(tuán)隊(duì)而非經(jīng)理創(chuàng)建的超快速問(wèn)題跟蹤器。為遠(yuǎn)程團(tuán)隊(duì)創(chuàng)建的Jira的快速替代方案·

26.Appflowy

Appflowy 是一款使用 Flutter 和 Rust 構(gòu)建的開(kāi)源筆記軟件，它支持Windows、macOS和Linux，可以免費(fèi)下載使用

27.Kubegres

Kubegres 是一個(gè) Kubernetes Operator，用來(lái)部署并維護(hù) PostgreSql 集群，提供開(kāi)箱即用的數(shù)據(jù)復(fù)制和故障轉(zhuǎn)移功能，簡(jiǎn)化 PostgreSql 集群生命周期管理，降低數(shù)據(jù)復(fù)制的復(fù)雜性

28.Lightning Web Components

Lightning Web Components,業(yè)內(nèi)簡(jiǎn)稱LWC,是Salesforce于Spring 19發(fā)布的一款新型Lightning Component，快速的企業(yè)級(jí)Web組件基礎(chǔ)

29.Judo

用無(wú)代碼構(gòu)建原生應(yīng)用體驗(yàn)

30.Apache APISIX

Apache APISIX Apache APISIX是一個(gè)動(dòng)態(tài)、實(shí)時(shí)、高性能的API網(wǎng)關(guān)。提供了豐富的流量管理功能，如負(fù)載均衡、動(dòng)態(tài)上游、canary釋放、斷路、認(rèn)證、可觀察性等。

31.Control

提供免費(fèi)的加速、自動(dòng)化安全性以及SOC2合規(guī)

32.Remix

專注于Web技術(shù)和現(xiàn)代 用戶體驗(yàn)的框架

33.NocoDB

免費(fèi)并且開(kāi)源的Airtable替代方案

34.JetBrainsQodana

評(píng)估你擁有的、合同或購(gòu)買的代碼的完整性

35.TabnineAI

只能代碼編寫(xiě)

36.Coolify

一個(gè)開(kāi)源的，自適應(yīng)的Heroku和Netlify的替代品

37.Penpot

開(kāi)源設(shè)計(jì)和原型平臺(tái)

38.Portman

Postman介紹：postman是一個(gè)開(kāi)源的接口測(cè)試工具，無(wú)論是做單個(gè)接口的測(cè)試還是整套測(cè)試腳本的撥測(cè)都非常方便。

39.Devops Stack

持續(xù)部署Kubernetes環(huán)境

40.Slidev

面向開(kāi)發(fā)人員的演示幻燈片

41.ReScript

ReScript 是一門針對(duì) JavaScript 程序員的新語(yǔ)言，特別是對(duì) TypeScript 和 Flow 的類型安全感興趣的程序員。ReScript 的語(yǔ)法和 JavaScript 非常相似

42.Fig

自定完成終端

43.FlutterFlow

Flutterflow 是一個(gè)在線低碼平臺(tái),使人們?cè)谝曈X(jué)上以人們?cè)谝曈X(jué)上構(gòu)建本機(jī)移動(dòng)應(yīng)用程序。

44.Porter

運(yùn)行在你自己的云中的Heroku

45.SigmaOS

在 SigmaOS 中，你會(huì)看到完全不同的瀏覽器布局，它更像是一個(gè)工作臺(tái)

46.VictoeiaMetrics DB

快速、低成本的監(jiān)控解決方案和時(shí)間序列數(shù)據(jù)庫(kù)

47.CloudflarePages

JAMstack平臺(tái)為前端開(kāi)發(fā)者提供協(xié)作和部署網(wǎng)站的平臺(tái)

48. Devbook

面向開(kāi)發(fā)者的搜索引擎

49.Front Matter

直接在VS Code中管理靜態(tài)站點(diǎn)

50.Supacase UI

用于企業(yè)儀表的React組件庫(kù)

以上可以說(shuō)是集結(jié)了開(kāi)發(fā)行業(yè)中的所有“神器”，不僅能助力程序員高效工作，也是今后走向開(kāi)發(fā)崗位小伙伴們的加薪工具。小伙伴可以從中挑選適合自己的工具~

架構(gòu)師應(yīng)該如何判斷技術(shù)演進(jìn)的方向？

互聯(lián)網(wǎng)的出現(xiàn)，不僅加快了技術(shù)圈的快速發(fā)展，而且改變了普通人的生活方式。近觀這10年的技術(shù)發(fā)展，可以說(shuō)是目不暇接，大的方面有云計(jì)算、大數(shù)據(jù)、人工智能等。細(xì)分的領(lǐng)域有NoSQL、NOde.js、Docker容器化技術(shù)等。對(duì)于技術(shù)人員來(lái)說(shuō)，技術(shù)的快速發(fā)展當(dāng)然是一件好事，畢竟在這些百寶箱中有了更多的可選工具，另外也可以通過(guò)學(xué)習(xí)業(yè)界先進(jìn)的技術(shù)來(lái)提升自己的技術(shù)實(shí)力。但對(duì)于架構(gòu)師來(lái)說(shuō)，除了這些好處，卻多了“甜蜜的煩惱”：面對(duì)層出不窮的新技術(shù)，我們應(yīng)該采取什么樣的策略呢？

架構(gòu)師在進(jìn)行技術(shù)選型時(shí)，可能會(huì)面臨以下的誘惑或挑戰(zhàn)：

1.docker虛擬化技術(shù)很流行，我們要不要引進(jìn)？

2.公有云計(jì)算這么流行，我們的業(yè)務(wù)要不要上云？

3.我們公司的技術(shù)水平跟業(yè)界頂尖的公司相比，還相差太遠(yuǎn)，要不要投入一些人力嘗試一些新技術(shù)框架？不然招聘的時(shí)候沒(méi)有影響力！

關(guān)于以上幾個(gè)問(wèn)題的回答，基本上可以分為以下幾個(gè)典型的派別：

1.潮流派：潮流派的典型特征就是對(duì)新技術(shù)比較熱衷，緊跟技術(shù)潮流，當(dāng)有新技術(shù)出現(xiàn)時(shí)，迫切想將新的技術(shù)運(yùn)用到自己的項(xiàng)目或產(chǎn)品中。

2.保守派：保守派的特征正好和潮流派相反，他們對(duì)于新技術(shù)有著很強(qiáng)的戒備心，穩(wěn)定壓倒一切，喜歡用一種技術(shù)闖蕩天下，說(shuō)的直白一點(diǎn)，保守派就是想拿著一把錘子解決所有的問(wèn)題。

3.跟風(fēng)派：跟風(fēng)派與潮流派不同，跟風(fēng)派不是跟著技術(shù)潮流，而是跟著競(jìng)爭(zhēng)對(duì)手的步子走。簡(jiǎn)單地說(shuō)，競(jìng)爭(zhēng)對(duì)手用了什么技術(shù)，咱么就用什么技術(shù)，競(jìng)爭(zhēng)對(duì)手沒(méi)用咱們就等等再看。

下面我們來(lái)看一下不同的派別可能存在的問(wèn)題。

1.潮流派

首先，新技術(shù)需要時(shí)間成熟，如果剛出來(lái)就用，此時(shí)新技術(shù)還不怎么成熟，實(shí)際應(yīng)用中很可能遇到各種“坑”，自己成了實(shí)驗(yàn)小白鼠。其次，新技術(shù)需要學(xué)習(xí)，需要花費(fèi)一定的時(shí)間去掌握，這個(gè)也是較大的成本；如果等到掌握了技術(shù)后又發(fā)現(xiàn)不適用，則是一種較大的人力浪費(fèi)。

2.保守派

保守派的主要問(wèn)題是不能享受新技術(shù)帶來(lái)的收益，因?yàn)樾录夹g(shù)很多都是為了解決以前技術(shù)存在的固有缺陷。就像 汽車 取代馬車一樣，不是量變而是質(zhì)變，帶來(lái)的收益不是線性變化的，而是爆發(fā)式變化的。如果無(wú)視技術(shù)的發(fā)展，形象一點(diǎn)說(shuō)就是有了拖拉機(jī)，你還偏偏要用牛車。

3.跟風(fēng)派

可能很多人都會(huì)認(rèn)為，跟風(fēng)派與“潮流派”和“保守派”相比，是最有效的策略，既不會(huì)承擔(dān)“潮流派”的風(fēng)險(xiǎn)，也不會(huì)遭受“保守派”的損失，花費(fèi)的資源也少，簡(jiǎn)直就是一舉多得?？雌饋?lái)很美妙，但跟風(fēng)派最大的問(wèn)題在于如果沒(méi)有風(fēng)可跟的時(shí)候怎么辦。如果你是領(lǐng)頭羊怎么辦，其他人都準(zhǔn)備跟你的風(fēng)呢？另外一種情況就是競(jìng)爭(zhēng)對(duì)手的這些信息并不那么容易獲取取，即使獲取到了一些信息，大部分也是不全面的，一不小心可能就變成邯鄲學(xué)步了。即使有風(fēng)可跟，其實(shí)也存在問(wèn)題。有時(shí)候適用于競(jìng)爭(zhēng)對(duì)手的技術(shù)，并不一定適用于自己，盲目模仿也可能帶來(lái)相反的效果。

既然潮流派、保守派、跟風(fēng)派都存在這樣或者那樣的問(wèn)題，那架構(gòu)師究竟如何判斷技術(shù)演進(jìn)的方向呢？我們需要從以下兩個(gè)方面來(lái)綜合考慮。

這個(gè)問(wèn)題之所以讓人困惑，關(guān)鍵的原因還是在于不管是潮流派、保守派，還是跟風(fēng)派，都是站在技術(shù)本身的角度來(lái)考慮問(wèn)題的，正所謂“不識(shí)廬山真面，只緣身在此山中”。因此，要想看到“廬山真面目”，只有跳出技術(shù)的范疇，從一個(gè)更廣更高的角度來(lái)考慮這個(gè)問(wèn)題，這個(gè)角度就是企業(yè)的業(yè)務(wù)發(fā)展。

無(wú)論是代表新興技術(shù)的互聯(lián)網(wǎng)企業(yè)，還是代表傳統(tǒng)技術(shù)的制造業(yè)；無(wú)論是通信行業(yè)，還是金融行業(yè)的發(fā)展，歸根到底就是業(yè)務(wù)的發(fā)展。而影響一個(gè)企業(yè)業(yè)務(wù)的發(fā)展主要有3個(gè)因素：

市場(chǎng)、技術(shù)、管理，這三者構(gòu)成支撐業(yè)務(wù)發(fā)展的鐵三角，任何一個(gè)因素的不足，都可能導(dǎo)致企業(yè)的業(yè)務(wù)停滯不前。

在這個(gè)鐵三角中，業(yè)務(wù)處于三角形的中心，毫不夸張地說(shuō)，市場(chǎng)、技術(shù)、管理都是為了支撐企業(yè)業(yè)務(wù)的發(fā)展。我們可以簡(jiǎn)單地將企業(yè)的業(yè)務(wù)分為兩類：一類是產(chǎn)品類，一類是服務(wù)類。

產(chǎn)品類：360的殺毒軟件、蘋(píng)果的iPhone、UC的瀏覽器等都屬于這個(gè)范疇，這些產(chǎn)品本質(zhì)上和傳統(tǒng)的制造業(yè)產(chǎn)品類似，都是具備了某種“功能”，單個(gè)用戶通過(guò)購(gòu)買或者免費(fèi)使用這些產(chǎn)品來(lái)完成自己相關(guān)的某些任務(wù)，用戶對(duì)這些產(chǎn)品是獨(dú)占的。

服務(wù)類：百度的搜索、淘寶的購(gòu)物、新浪的微博、騰訊的IM等都屬于這個(gè)范疇，大量用戶使用這些服務(wù)來(lái)完成需要與其他人交互的任務(wù)，單個(gè)用戶“使用”但不“獨(dú)占”某個(gè)服務(wù)。事實(shí)上面，服務(wù)的用戶越多，服務(wù)的價(jià)值就越大。服務(wù)類的業(yè)務(wù)符合互聯(lián)網(wǎng)的特征和本質(zhì)：“互聯(lián)”+“網(wǎng)”。

對(duì)于產(chǎn)品類業(yè)務(wù)，答案看起來(lái)很明顯： 技術(shù)創(chuàng)新推動(dòng)業(yè)務(wù)發(fā)展！

例如：

蘋(píng)果開(kāi)發(fā)智能手機(jī)，將諾基亞推下王座，自己成為全球智能手機(jī)行業(yè)的新王者。2G時(shí)代，UC瀏覽器獨(dú)創(chuàng)的云端架構(gòu)，很好地解決了上網(wǎng)慢的問(wèn)題；智能機(jī)時(shí)代，UC瀏覽器又自主研發(fā)全新的U3內(nèi)核，兼顧高速、安全、智能及可擴(kuò)展性，這些技術(shù)創(chuàng)新是UC瀏覽器成為了全球最大的第三方手機(jī)瀏覽器最強(qiáng)有力的推動(dòng)力。

為何對(duì)于產(chǎn)品類的業(yè)務(wù)，技術(shù)創(chuàng)新能夠推動(dòng)業(yè)務(wù)發(fā)展呢？答案在于用戶選擇一個(gè)產(chǎn)品的根本驅(qū)動(dòng)力在于產(chǎn)品的功能是否能夠更好地幫助自己完成任務(wù)。用戶會(huì)自然而然地選擇那些功能能更加強(qiáng)大、性能更加先進(jìn)、體驗(yàn)更加順暢、外觀更加漂亮的產(chǎn)品，而功能、性能、體驗(yàn)、外觀等都需要強(qiáng)大的技術(shù)支撐。例如，iPhone手機(jī)的多點(diǎn)觸摸操作、UC瀏覽器的U3內(nèi)核等。

對(duì)于“服務(wù)”類的業(yè)務(wù)，答案和產(chǎn)品類業(yè)務(wù)正好相反： 業(yè)務(wù)發(fā)展推動(dòng)技術(shù)的發(fā)展！

為什么會(huì)出現(xiàn)截然相反的差別呢？主要原因是用戶選擇服務(wù)的根本驅(qū)動(dòng)力與選擇產(chǎn)品不同。用戶選擇一個(gè)產(chǎn)品的根本驅(qū)動(dòng)力是其“功能”，而用戶選擇一個(gè)服務(wù)的根本驅(qū)動(dòng)力不是功能能，而是“規(guī)?！?。

例如，選擇UC瀏覽器還是選擇QQ瀏覽器，更多的人是根據(jù)個(gè)人喜好和體驗(yàn)來(lái)決定的；而選擇微信還是Whatsapp，就不是根據(jù)它們之間的功能差異來(lái)選擇的，而是根據(jù)其規(guī)模來(lái)選擇的。當(dāng)“規(guī)?！背蔀闃I(yè)務(wù)的決定因素后，服務(wù)模式的創(chuàng)新就成為了業(yè)務(wù)發(fā)展的核心驅(qū)動(dòng)力，而產(chǎn)品只是為了完成服務(wù)而提供給用戶使用的一個(gè)載體。以淘寶為例，淘寶提供的“網(wǎng)絡(luò)購(gòu)物”是一種新的服務(wù)，這種業(yè)務(wù)與傳統(tǒng)的到實(shí)體店購(gòu)物是完全不同的，而為了完成這種業(yè)務(wù)，需要“淘寶網(wǎng)”“支付寶”“一淘”和“菜鳥(niǎo)物流”等多個(gè)產(chǎn)品。隨便一個(gè)軟件公司，如果只是模仿就能發(fā)展出類似的產(chǎn)品，只要愿意投入，半年時(shí)間就可以將這些產(chǎn)品全部開(kāi)發(fā)出來(lái)。但是這樣做并沒(méi)有意義，因?yàn)橛脩暨x擇的是淘寶的整套網(wǎng)絡(luò)購(gòu)物服務(wù)，并且這個(gè)服務(wù)已經(jīng)具備了一定的規(guī)模，其他公司不具備這種同等規(guī)模服務(wù)的能力。即使開(kāi)發(fā)出完全一樣的產(chǎn)品，用戶也不會(huì)因?yàn)楫a(chǎn)品功能更加強(qiáng)大而選擇新的類似產(chǎn)品。

以微信為例，同樣可以得出類似的結(jié)論。假如我們進(jìn)行技術(shù)創(chuàng)新，開(kāi)發(fā)一個(gè)耗電量只有微信的1/10，用戶體驗(yàn)比微信好10倍的產(chǎn)品，你覺(jué)得現(xiàn)在的微信用戶都會(huì)拋棄微信，而轉(zhuǎn)投我們的這個(gè)產(chǎn)品嗎？我相信絕大部分人都不會(huì)，因?yàn)槲⑿挪皇且粋€(gè)互聯(lián)網(wǎng)產(chǎn)品，而是一個(gè)互聯(lián)網(wǎng)服務(wù)，你一個(gè)人換到其他類微信類產(chǎn)品是沒(méi)有意義的。

因此，服務(wù)類的業(yè)務(wù)發(fā)展路徑是這樣的：提出一種創(chuàng)新的服務(wù)模式 吸引了一批用戶 業(yè)務(wù)開(kāi)始發(fā)展 吸引了更多用戶 服務(wù)模式不斷完善和創(chuàng)新 吸引越來(lái)越多的用戶，如此循環(huán)往復(fù)。在這個(gè)發(fā)展路徑中，技術(shù)并沒(méi)有成為業(yè)務(wù)發(fā)展的驅(qū)動(dòng)力，反過(guò)來(lái)由于用戶規(guī)模的不斷擴(kuò)展，業(yè)務(wù)的不斷創(chuàng)新和改進(jìn)，對(duì)技術(shù)會(huì)提出越來(lái)越高的要求，因此是業(yè)務(wù)驅(qū)動(dòng)了技術(shù)發(fā)展。

其實(shí)回到產(chǎn)品類業(yè)務(wù)，如果我們將觀察的時(shí)間拉長(zhǎng)來(lái)看，即使是產(chǎn)品類業(yè)務(wù)，在技術(shù)創(chuàng)新開(kāi)創(chuàng)了一個(gè)新的業(yè)務(wù)后，后續(xù)的業(yè)務(wù)發(fā)展也會(huì)反向推動(dòng)技術(shù)的發(fā)展。例如，第一代iPhone缺少對(duì)3G的支持，且只能通過(guò)Web發(fā)布應(yīng)用程序，第二代iPhone才開(kāi)始支持3G，并且內(nèi)置GPS；UC瀏覽器隨著功能越來(lái)越強(qiáng)大，原有的技術(shù)無(wú)法滿足業(yè)務(wù)發(fā)展的需求，瀏覽器的架構(gòu)需要進(jìn)行更新，先后經(jīng)過(guò)UC瀏覽器7.0版本、8.0版本、9.0版本等幾個(gè)技術(shù)差異很大的版本。

綜合這些分析，除非是開(kāi)創(chuàng)新的技術(shù)能夠推動(dòng)或者創(chuàng)造一種新的業(yè)務(wù)，其他情況下，都是業(yè)務(wù)的發(fā)展推動(dòng)了技術(shù)的發(fā)展。

明確了技術(shù)發(fā)展主要的驅(qū)動(dòng)力是業(yè)務(wù)發(fā)展后，我們來(lái)看看業(yè)務(wù)發(fā)展究竟是如何驅(qū)動(dòng)技術(shù)發(fā)展的。

業(yè)務(wù)模式千差萬(wàn)別，有互聯(lián)網(wǎng)的業(yè)務(wù)（淘寶、微信等），有金融的業(yè)務(wù)（中國(guó)平安、招商銀行等），有傳統(tǒng)企業(yè)的業(yè)務(wù)（各色ERP對(duì)應(yīng)的業(yè)務(wù)）等，但無(wú)論什么模式的業(yè)務(wù)，如果業(yè)務(wù)的發(fā)展需要技術(shù)同步發(fā)展進(jìn)行支撐，無(wú)一例外是因?yàn)闃I(yè)務(wù)“復(fù)雜度”的上升，導(dǎo)致原有的技術(shù)無(wú)法支撐。

按照復(fù)雜度分類，復(fù)雜度要么來(lái)源于功能不斷疊加，要么來(lái)源于規(guī)模擴(kuò)大，從而對(duì)性能和可用性有了更高的要求。既然如此，判斷到底是什么復(fù)雜度發(fā)生了變化就顯得至關(guān)重要了。是任何時(shí)候都要同時(shí)考慮功能復(fù)雜度和規(guī)模復(fù)雜度嗎？還是有時(shí)候考慮功能復(fù)雜度，有時(shí)候考慮規(guī)模復(fù)雜度？還是隨機(jī)挑一個(gè)復(fù)雜度的問(wèn)題解決就可以了？

所以，對(duì)于架構(gòu)師來(lái)說(shuō)，判斷業(yè)務(wù)當(dāng)前和接下來(lái)一段時(shí)間的主要復(fù)雜度是什么就非常關(guān)鍵。判斷不準(zhǔn)確就會(huì)導(dǎo)致投入大量的人力和時(shí)間做了對(duì)業(yè)務(wù)沒(méi)有作用的事情，判斷準(zhǔn)確就能夠做到技術(shù)推動(dòng)業(yè)務(wù)更加快速發(fā)展。那架構(gòu)師具體應(yīng)該按照什么標(biāo)準(zhǔn)來(lái)判斷呢？ 答案就是基于業(yè)務(wù)發(fā)展階段進(jìn)行判斷 ，這也是為什么架構(gòu)師必須具備業(yè)務(wù)理解能力的原因。不同的行業(yè)業(yè)務(wù)發(fā)展路徑、軌跡、模式不一樣，架構(gòu)師必須能夠基于行業(yè)發(fā)展和企業(yè)自身情況做出準(zhǔn)確判斷。

當(dāng)前題目：最強(qiáng)nosql,最強(qiáng)棄少
網(wǎng)站路徑：http://m.jiaotiyi.com/article/dseoccp.html