php物聯(lián)網(wǎng)大數(shù)據(jù)框架 python物聯(lián)網(wǎng)框架

大數(shù)據(jù)架構(gòu)究竟用哪種框架更為合適

大數(shù)據(jù)數(shù)量龐大，格式多樣化。大量數(shù)據(jù)由家庭、制造工廠和辦公場(chǎng)所的各種設(shè)備、互聯(lián)網(wǎng)事務(wù)交易、社交網(wǎng)絡(luò)的活動(dòng)、自動(dòng)化傳感器、移動(dòng)設(shè)備以及科研儀器等生成。它的爆炸式增長(zhǎng)已超出了傳統(tǒng)IT基礎(chǔ)架構(gòu)的處理能力，給企業(yè)和社會(huì)帶來嚴(yán)峻的數(shù)據(jù)管理問題。因此必須開發(fā)新的數(shù)據(jù)架構(gòu)，圍繞“數(shù)據(jù)收集、數(shù)據(jù)管理、數(shù)據(jù)分析、知識(shí)形成、智慧行動(dòng)”的全過程，開發(fā)使用這些數(shù)據(jù)，釋放出更多數(shù)據(jù)的隱藏價(jià)值。

10年積累的網(wǎng)站設(shè)計(jì)制作、做網(wǎng)站經(jīng)驗(yàn)，可以快速應(yīng)對(duì)客戶對(duì)網(wǎng)站的新想法和需求。提供各種問題對(duì)應(yīng)的解決方案。讓選擇我們的客戶得到更好、更有力的網(wǎng)絡(luò)服務(wù)。我雖然不認(rèn)識(shí)你，你也不認(rèn)識(shí)我。但先網(wǎng)站制作后付款的網(wǎng)站建設(shè)流程，更有永城免費(fèi)網(wǎng)站建設(shè)讓你可以放心的選擇與我們合作。

一、大數(shù)據(jù)建設(shè)思路

1）數(shù)據(jù)的獲得

大數(shù)據(jù)產(chǎn)生的根本原因在于感知式系統(tǒng)的廣泛使用。隨著技術(shù)的發(fā)展，人們已經(jīng)有能力制造極其微小的帶有處理功能的傳感器，并開始將這些設(shè)備廣泛的布置于社會(huì)的各個(gè)角落，通過這些設(shè)備來對(duì)整個(gè)社會(huì)的運(yùn)轉(zhuǎn)進(jìn)行監(jiān)控。這些設(shè)備會(huì)源源不斷的產(chǎn)生新數(shù)據(jù)，這種數(shù)據(jù)的產(chǎn)生方式是自動(dòng)的。因此在數(shù)據(jù)收集方面，要對(duì)來自網(wǎng)絡(luò)包括物聯(lián)網(wǎng)、社交網(wǎng)絡(luò)和機(jī)構(gòu)信息系統(tǒng)的數(shù)據(jù)附上時(shí)空標(biāo)志，去偽存真，盡可能收集異源甚至是異構(gòu)的數(shù)據(jù)，必要時(shí)還可與歷史數(shù)據(jù)對(duì)照，多角度驗(yàn)證數(shù)據(jù)的全面性和可信性。

2）數(shù)據(jù)的匯集和存儲(chǔ)

互聯(lián)網(wǎng)是個(gè)神奇的大網(wǎng)，大數(shù)據(jù)開發(fā)和軟件定制也是一種模式，這里提供最詳細(xì)的報(bào)價(jià)，如果你真的想做，可以來這里，這個(gè)手機(jī)的開始數(shù)字是一八七中間的是三兒零最后的是一四二五零，按照順序組合起來就可以找到，我想說的是，除非你想做或者了解這方面的內(nèi)容，如果只是湊熱鬧的話，就不要來了

數(shù)據(jù)只有不斷流動(dòng)和充分共享，才有生命力。應(yīng)在各專用數(shù)據(jù)庫(kù)建設(shè)的基礎(chǔ)上，通過數(shù)據(jù)集成，實(shí)現(xiàn)各級(jí)各類信息系統(tǒng)的數(shù)據(jù)交換和數(shù)據(jù)共享。 數(shù)據(jù)存儲(chǔ)要達(dá)到低成本、低能耗、高可靠性目標(biāo)，通常要用到冗余配置、分布化和云計(jì)算技術(shù)，在存儲(chǔ)時(shí)要按照一定規(guī)則對(duì)數(shù)據(jù)進(jìn)行分類，通過過濾和去重，減少存儲(chǔ)量，同時(shí)加入便于日后檢索的標(biāo)簽。

3）數(shù)據(jù)的管理

大數(shù)據(jù)管理的技術(shù)也層出不窮。在眾多技術(shù)中，有6種數(shù)據(jù)管理技術(shù)普遍被關(guān)注，即分布式存儲(chǔ)與計(jì)算、內(nèi)存數(shù)據(jù)庫(kù)技術(shù)、列式數(shù)據(jù)庫(kù)技術(shù)、云數(shù)據(jù)庫(kù)、非關(guān)系型的數(shù)據(jù)庫(kù)、移動(dòng)數(shù)據(jù)庫(kù)技術(shù)。其中分布式存儲(chǔ)與計(jì)算受關(guān)注度最高。上圖是一個(gè)圖書數(shù)據(jù)管理系統(tǒng)。

4）數(shù)據(jù)的分析

數(shù)據(jù)分析處理：有些行業(yè)的數(shù)據(jù)涉及上百個(gè)參數(shù)，其復(fù)雜性不僅體現(xiàn)在數(shù)據(jù)樣本本身，更體現(xiàn)在多源異構(gòu)、多實(shí)體和多空間之間的交互動(dòng)態(tài)性，難以用傳統(tǒng)的方法描述與度量，處理的復(fù)雜度很大，需要將高維圖像等多媒體數(shù)據(jù)降維后度量與處理，利用上下文關(guān)聯(lián)進(jìn)行語(yǔ)義分析，從大量動(dòng)態(tài)而且可能是模棱兩可的數(shù)據(jù)中綜合信息，并導(dǎo)出可理解的內(nèi)容。大數(shù)據(jù)的處理類型很多，主要的處理模式可以分為流處理和批處理兩種。批處理是先存儲(chǔ)后處理，而流處理則是直接處理數(shù)據(jù)。挖掘的任務(wù)主要是關(guān)聯(lián)分析、聚類分析、分類、預(yù)測(cè)、時(shí)序模式和偏差分析等。

5）大數(shù)據(jù)的價(jià)值：決策支持系統(tǒng)

大數(shù)據(jù)的神奇之處就是通過對(duì)過去和現(xiàn)在的數(shù)據(jù)進(jìn)行分析，它能夠精確預(yù)測(cè)未來；通過對(duì)組織內(nèi)部的和外部的數(shù)據(jù)整合，它能夠洞察事物之間的相關(guān)關(guān)系；通過對(duì)海量數(shù)據(jù)的挖掘，它能夠代替人腦，承擔(dān)起企業(yè)和社會(huì)管理的職責(zé)。

6）數(shù)據(jù)的使用

大數(shù)據(jù)有三層內(nèi)涵：一是數(shù)據(jù)量巨大、來源多樣和類型多樣的數(shù)據(jù)集；二是新型的數(shù)據(jù)處理和分析技術(shù)；三是運(yùn)用數(shù)據(jù)分析形成價(jià)值。大數(shù)據(jù)對(duì)科學(xué)研究、經(jīng)濟(jì)建設(shè)、社會(huì)發(fā)展和文化生活等各個(gè)領(lǐng)域正在產(chǎn)生革命性的影響。大數(shù)據(jù)應(yīng)用的關(guān)鍵，也是其必要條件，就在于"IT"與"經(jīng)營(yíng)"的融合，當(dāng)然，這里的經(jīng)營(yíng)的內(nèi)涵可以非常廣泛，小至一個(gè)零售門店的經(jīng)營(yíng)，大至一個(gè)城市的經(jīng)營(yíng)。

二、大數(shù)據(jù)基本架構(gòu)

基于上述大數(shù)據(jù)的特征，通過傳統(tǒng)IT技術(shù)存儲(chǔ)和處理大數(shù)據(jù)成本高昂。一個(gè)企業(yè)要大力發(fā)展大數(shù)據(jù)應(yīng)用首先需要解決兩個(gè)問題：一是低成本、快速地對(duì)海量、多類別的數(shù)據(jù)進(jìn)行抽取和存儲(chǔ)；二是使用新的技術(shù)對(duì)數(shù)據(jù)進(jìn)行分析和挖掘，為企業(yè)創(chuàng)造價(jià)值。因此，大數(shù)據(jù)的存儲(chǔ)和處理與云計(jì)算技術(shù)密不可分，在當(dāng)前的技術(shù)條件下，基于廉價(jià)硬件的分布式系統(tǒng)（如Hadoop等）被認(rèn)為是最適合處理大數(shù)據(jù)的技術(shù)平臺(tái)。

Hadoop是一個(gè)分布式的基礎(chǔ)架構(gòu)，能夠讓用戶方便高效地利用運(yùn)算資源和處理海量數(shù)據(jù)，目前已在很多大型互聯(lián)網(wǎng)企業(yè)得到了廣泛應(yīng)用，如亞馬遜、Facebook和Yahoo等。其是一個(gè)開放式的架構(gòu)，架構(gòu)成員也在不斷擴(kuò)充完善中，通常架構(gòu)如圖2所示：

Hadoop體系架構(gòu)

（1）Hadoop最底層是一個(gè)HDFS（Hadoop Distributed File System，分布式文件系統(tǒng)），存儲(chǔ)在HDFS中的文件先被分成塊，然后再將這些塊復(fù)制到多個(gè)主機(jī)中（DataNode，數(shù)據(jù)節(jié)點(diǎn)）。

（2）Hadoop的核心是MapReduce（映射和化簡(jiǎn)編程模型）引擎，Map意為將單個(gè)任務(wù)分解為多個(gè)，而Reduce則意為將分解后的多任務(wù)結(jié)果匯總，該引擎由JobTrackers（工作追蹤，對(duì)應(yīng)命名節(jié)點(diǎn)）和TaskTrackers（任務(wù)追蹤，對(duì)應(yīng)數(shù)據(jù)節(jié)點(diǎn)）組成。當(dāng)處理大數(shù)據(jù)查詢時(shí)，MapReduce會(huì)將任務(wù)分解在多個(gè)節(jié)點(diǎn)處理，從而提高了數(shù)據(jù)處理的效率，避免了單機(jī)性能瓶頸限制。

（3）Hive是Hadoop架構(gòu)中的數(shù)據(jù)倉(cāng)庫(kù)，主要用于靜態(tài)的結(jié)構(gòu)以及需要經(jīng)常分析的工作。Hbase主要作為面向列的數(shù)據(jù)庫(kù)運(yùn)行在HDFS上，可存儲(chǔ)PB級(jí)的數(shù)據(jù)。Hbase利用MapReduce來處理內(nèi)部的海量數(shù)據(jù)，并能在海量數(shù)據(jù)中定位所需的數(shù)據(jù)且訪問它。

（4）Sqoop是為數(shù)據(jù)的互操作性而設(shè)計(jì)，可以從關(guān)系數(shù)據(jù)庫(kù)導(dǎo)入數(shù)據(jù)到Hadoop，并能直接導(dǎo)入到HDFS或Hive。

（5）Zookeeper在Hadoop架構(gòu)中負(fù)責(zé)應(yīng)用程序的協(xié)調(diào)工作，以保持Hadoop集群內(nèi)的同步工作。

（6）Thrift是一個(gè)軟件框架，用來進(jìn)行可擴(kuò)展且跨語(yǔ)言的服務(wù)的開發(fā)，最初由Facebook開發(fā)，是構(gòu)建在各種編程語(yǔ)言間無縫結(jié)合的、高效的服務(wù)。

Hadoop核心設(shè)計(jì)

Hbase——分布式數(shù)據(jù)存儲(chǔ)系統(tǒng)

Client：使用HBase RPC機(jī)制與HMaster和HRegionServer進(jìn)行通信

Zookeeper：協(xié)同服務(wù)管理，HMaster通過Zookeepe可以隨時(shí)感知各個(gè)HRegionServer的健康狀況

HMaster: 管理用戶對(duì)表的增刪改查操作

HRegionServer：HBase中最核心的模塊，主要負(fù)責(zé)響應(yīng)用戶I/O請(qǐng)求，向HDFS文件系統(tǒng)中讀寫數(shù)據(jù)

HRegion:Hbase中分布式存儲(chǔ)的最小單元，可以理解成一個(gè)Table

HStore：HBase存儲(chǔ)的核心。由MemStore和StoreFile組成。

HLog：每次用戶操作寫入Memstore的同時(shí)，也會(huì)寫一份數(shù)據(jù)到HLog文件

結(jié)合上述Hadoop架構(gòu)功能，大數(shù)據(jù)平臺(tái)系統(tǒng)功能建議如圖所示：

應(yīng)用系統(tǒng)：對(duì)于大多數(shù)企業(yè)而言，運(yùn)營(yíng)領(lǐng)域的應(yīng)用是大數(shù)據(jù)最核心的應(yīng)用，之前企業(yè)主要使用來自生產(chǎn)經(jīng)營(yíng)中的各種報(bào)表數(shù)據(jù)，但隨著大數(shù)據(jù)時(shí)代的到來，來自于互聯(lián)網(wǎng)、物聯(lián)網(wǎng)、各種傳感器的海量數(shù)據(jù)撲面而至。于是，一些企業(yè)開始挖掘和利用這些數(shù)據(jù)，來推動(dòng)運(yùn)營(yíng)效率的提升。

數(shù)據(jù)平臺(tái)：借助大數(shù)據(jù)平臺(tái)，未來的互聯(lián)網(wǎng)絡(luò)將可以讓商家更了解消費(fèi)者的使用**慣，從而改進(jìn)使用體驗(yàn)?；诖髷?shù)據(jù)基礎(chǔ)上的相應(yīng)分析，能夠更有針對(duì)性的改進(jìn)用戶體驗(yàn)，同時(shí)挖掘新的商業(yè)機(jī)會(huì)。

數(shù)據(jù)源：數(shù)據(jù)源是指數(shù)據(jù)庫(kù)應(yīng)用程序所使用的數(shù)據(jù)庫(kù)或者數(shù)據(jù)庫(kù)服務(wù)器。豐富的數(shù)據(jù)源是大數(shù)據(jù)產(chǎn)業(yè)發(fā)展的前提。數(shù)據(jù)源在不斷拓展，越來越多樣化。如：智能汽車可以把動(dòng)態(tài)行駛過程變成數(shù)據(jù)，嵌入到生產(chǎn)設(shè)備里的物聯(lián)網(wǎng)可以把生產(chǎn)過程和設(shè)備動(dòng)態(tài)狀況變成數(shù)據(jù)。對(duì)數(shù)據(jù)源的不斷拓展不僅能帶來采集設(shè)備的發(fā)展，而且可以通過控制新的數(shù)據(jù)源更好地控制數(shù)據(jù)的價(jià)值。然而我國(guó)數(shù)字化的數(shù)據(jù)資源總量遠(yuǎn)遠(yuǎn)低于美歐，就已有有限的數(shù)據(jù)資源來說，還存在標(biāo)準(zhǔn)化、準(zhǔn)確性、完整性低，利用價(jià)值不高的情況，這**降低了數(shù)據(jù)的價(jià)值。

三、大數(shù)據(jù)的目標(biāo)效果

通過大數(shù)據(jù)的引入和部署，可以達(dá)到如下效果：

1）數(shù)據(jù)整合

·統(tǒng)一數(shù)據(jù)模型：承載企業(yè)數(shù)據(jù)模型，促進(jìn)企業(yè)各域數(shù)據(jù)邏輯模型的統(tǒng)一；

·統(tǒng)一數(shù)據(jù)標(biāo)準(zhǔn)：統(tǒng)一建立標(biāo)準(zhǔn)的數(shù)據(jù)編碼目錄，實(shí)現(xiàn)企業(yè)數(shù)據(jù)的標(biāo)準(zhǔn)化與統(tǒng)一存儲(chǔ)；

·統(tǒng)一數(shù)據(jù)視圖：實(shí)現(xiàn)統(tǒng)一數(shù)據(jù)視圖，使企業(yè)在客戶、產(chǎn)品和資源等視角獲取到一致的信息。

2）數(shù)據(jù)質(zhì)量管控

·數(shù)據(jù)質(zhì)量校驗(yàn)：根據(jù)規(guī)則對(duì)所存儲(chǔ)的數(shù)據(jù)進(jìn)行一致性、完整性和準(zhǔn)確性的校驗(yàn)，保證數(shù)據(jù)的一致性、完整性和準(zhǔn)確性；

·數(shù)據(jù)質(zhì)量管控：通過建立企業(yè)數(shù)據(jù)的質(zhì)量標(biāo)準(zhǔn)、數(shù)據(jù)管控的組織、數(shù)據(jù)管控的流程，對(duì)數(shù)據(jù)質(zhì)量進(jìn)行統(tǒng)一管控，以達(dá)到數(shù)據(jù)質(zhì)量逐步完善。

3）數(shù)據(jù)共享

·消除網(wǎng)狀接口，建立大數(shù)據(jù)共享中心，為各業(yè)務(wù)系統(tǒng)提供共享數(shù)據(jù)，降低接口復(fù)雜度，提高系統(tǒng)間接口效率與質(zhì)量；

·以實(shí)時(shí)或準(zhǔn)實(shí)時(shí)的方式將整合或計(jì)算好的數(shù)據(jù)向外系統(tǒng)提供。

4）數(shù)據(jù)應(yīng)用

·查詢應(yīng)用：平臺(tái)實(shí)現(xiàn)條件不固定、不可預(yù)見、格式靈活的按需查詢功能；

·固定報(bào)表應(yīng)用：視統(tǒng)計(jì)維度和指標(biāo)固定的分析結(jié)果的展示，可根據(jù)業(yè)務(wù)系統(tǒng)的需求，分析產(chǎn)生各種業(yè)務(wù)報(bào)表數(shù)據(jù)等；

·動(dòng)態(tài)分析應(yīng)用：按關(guān)心的維度和指標(biāo)對(duì)數(shù)據(jù)進(jìn)行主題性的分析，動(dòng)態(tài)分析應(yīng)用中維度和指標(biāo)不固定。

四、總結(jié)

基于分布式技術(shù)構(gòu)建的大數(shù)據(jù)平臺(tái)能夠有效降低數(shù)據(jù)存儲(chǔ)成本，提升數(shù)據(jù)分析處理效率，并具備海量數(shù)據(jù)、高并發(fā)場(chǎng)景的支撐能力，可大幅縮短數(shù)據(jù)查詢響應(yīng)時(shí)間，滿足企業(yè)各上層應(yīng)用的數(shù)據(jù)需求。

大數(shù)據(jù)系統(tǒng)架構(gòu)包含內(nèi)容涉及哪些?

【導(dǎo)語(yǔ)】大數(shù)據(jù)的應(yīng)用開發(fā)過于偏向底層，具有學(xué)習(xí)難度大，涉及技術(shù)面廣的問題，這制約了大數(shù)據(jù)的普及。大數(shù)據(jù)架構(gòu)是大數(shù)據(jù)技術(shù)應(yīng)用的一個(gè)非常常見的形式，那么大數(shù)據(jù)系統(tǒng)架構(gòu)包含內(nèi)容涉及哪些?下面我們就來具體了解一下。

1、數(shù)據(jù)源

所有大數(shù)據(jù)架構(gòu)都從源代碼開始。這可以包含來源于數(shù)據(jù)庫(kù)的數(shù)據(jù)、來自實(shí)時(shí)源(如物聯(lián)網(wǎng)設(shè)備)的數(shù)據(jù)，及其從應(yīng)用程序(如Windows日志)生成的靜態(tài)文件。

2、實(shí)時(shí)消息接收

假如有實(shí)時(shí)源，則需要在架構(gòu)中構(gòu)建一種機(jī)制來攝入數(shù)據(jù)。

3、數(shù)據(jù)存儲(chǔ)

公司需要存儲(chǔ)將通過大數(shù)據(jù)架構(gòu)處理的數(shù)據(jù)。一般而言，數(shù)據(jù)將存儲(chǔ)在數(shù)據(jù)湖中，這是一個(gè)可以輕松擴(kuò)展的大型非結(jié)構(gòu)化數(shù)據(jù)庫(kù)。

4、批處理和實(shí)時(shí)處理的組合

公司需要同時(shí)處理實(shí)時(shí)數(shù)據(jù)和靜態(tài)數(shù)據(jù)，因而應(yīng)在大數(shù)據(jù)架構(gòu)中內(nèi)置批量和實(shí)時(shí)處理的組合。這是由于能夠應(yīng)用批處理有效地處理大批量數(shù)據(jù)，而實(shí)時(shí)數(shù)據(jù)需要立刻處理才能夠帶來價(jià)值。批處理涉及到長(zhǎng)期運(yùn)轉(zhuǎn)的作業(yè)，用于篩選、聚合和準(zhǔn)備數(shù)據(jù)開展分析。

5、分析數(shù)據(jù)存儲(chǔ)

準(zhǔn)備好要分析的數(shù)據(jù)后，需要將它們放到一個(gè)位置，便于對(duì)整個(gè)數(shù)據(jù)集開展分析。分析數(shù)據(jù)儲(chǔ)存的必要性在于，公司的全部數(shù)據(jù)都聚集在一個(gè)位置，因而其分析將是全面的，而且針對(duì)分析而非事務(wù)進(jìn)行了優(yōu)化。這可能采用基于云計(jì)算的數(shù)據(jù)倉(cāng)庫(kù)或關(guān)系數(shù)據(jù)庫(kù)的形式，具體取決于公司的需求。

6、分析或報(bào)告工具

在攝入和處理各類數(shù)據(jù)源之后，公司需要包含一個(gè)分析數(shù)據(jù)的工具。一般而言，公司將使用BI(商業(yè)智能)工具來完成這項(xiàng)工作，而且或者需要數(shù)據(jù)科學(xué)家來探索數(shù)據(jù)。

關(guān)于大數(shù)據(jù)系統(tǒng)架構(gòu)包含內(nèi)容涉及哪些，就給大家分享到這里了，希望對(duì)大家能有所幫助，作為新時(shí)代大學(xué)生，我們只有不算提升自我技能，充實(shí)自我，才是最為正確的選擇。

PHP的算法可以實(shí)現(xiàn)大數(shù)據(jù)分析嗎

1.Bloom filter

適用范圍：可以用來實(shí)現(xiàn)數(shù)據(jù)字典，進(jìn)行數(shù)據(jù)的判重，或者集合求交集

基本原理及要點(diǎn)：

對(duì)于原理來說很簡(jiǎn)單，位數(shù)組+k個(gè)獨(dú)立hash函數(shù)。將hash函數(shù)對(duì)應(yīng)的值的位數(shù)組置1，查找時(shí)如果發(fā)現(xiàn)所有hash函數(shù)對(duì)應(yīng)位都是1說明存在，很明顯這個(gè)過程并不保證查找的結(jié)果是100%正確的。同時(shí)也不支持刪除一個(gè)已經(jīng)插入的關(guān)鍵字，因?yàn)樵撽P(guān)鍵字對(duì)應(yīng)的位會(huì)牽動(dòng)到其他的關(guān)鍵字。所以一個(gè)簡(jiǎn)單的改進(jìn)就是 counting Bloom filter，用一個(gè)counter數(shù)組代替位數(shù)組，就可以支持刪除了。

還有一個(gè)比較重要的問題，如何根據(jù)輸入元素個(gè)數(shù)n，確定位數(shù)組m的大小及hash函數(shù)個(gè)數(shù)。當(dāng)hash函數(shù)個(gè)數(shù)k=(ln2)*(m/n)時(shí)錯(cuò)誤率最小。在錯(cuò)誤率不大于E的情況下，m至少要等于n*lg(1/E)才能表示任意n個(gè)元素的集合。但m還應(yīng)該更大些，因?yàn)檫€要保證bit數(shù)組里至少一半為 0，則m 應(yīng)該=nlg(1/E)*lge 大概就是nlg(1/E)1.44倍(lg表示以2為底的對(duì)數(shù))。

舉個(gè)例子我們假設(shè)錯(cuò)誤率為0.01，則此時(shí)m應(yīng)大概是n的13倍。這樣k大概是8個(gè)。

注意這里m與n的單位不同，m是bit為單位，而n則是以元素個(gè)數(shù)為單位(準(zhǔn)確的說是不同元素的個(gè)數(shù))。通常單個(gè)元素的長(zhǎng)度都是有很多bit的。所以使用bloom filter內(nèi)存上通常都是節(jié)省的。

擴(kuò)展：

Bloom filter將集合中的元素映射到位數(shù)組中，用k（k為哈希函數(shù)個(gè)數(shù)）個(gè)映射位是否全1表示元素在不在這個(gè)集合中。Counting bloom filter（CBF）將位數(shù)組中的每一位擴(kuò)展為一個(gè)counter，從而支持了元素的刪除操作。Spectral Bloom Filter（SBF）將其與集合元素的出現(xiàn)次數(shù)關(guān)聯(lián)。SBF采用counter中的最小值來近似表示元素的出現(xiàn)頻率。

問題實(shí)例：給你A,B兩個(gè)文件，各存放50億條URL，每條URL占用64字節(jié)，內(nèi)存限制是4G，讓你找出A,B文件共同的URL。如果是三個(gè)乃至n個(gè)文件呢？

根據(jù)這個(gè)問題我們來計(jì)算下內(nèi)存的占用，4G=2^32大概是40億*8大概是340億，n=50億，如果按出錯(cuò)率0.01算需要的大概是650億個(gè) bit?，F(xiàn)在可用的是340億，相差并不多，這樣可能會(huì)使出錯(cuò)率上升些。另外如果這些urlip是一一對(duì)應(yīng)的，就可以轉(zhuǎn)換成ip，則大大簡(jiǎn)單了。

2.Hashing

適用范圍：快速查找，刪除的基本數(shù)據(jù)結(jié)構(gòu)，通常需要總數(shù)據(jù)量可以放入內(nèi)存

基本原理及要點(diǎn)：

hash函數(shù)選擇，針對(duì)字符串，整數(shù)，排列，具體相應(yīng)的hash方法。

碰撞處理，一種是open hashing，也稱為拉鏈法；另一種就是closed hashing，也稱開地址法，opened addressing。 ()

擴(kuò)展：

d-left hashing中的d是多個(gè)的意思，我們先簡(jiǎn)化這個(gè)問題，看一看2-left hashing。2-left hashing指的是將一個(gè)哈希表分成長(zhǎng)度相等的兩半，分別叫做T1和T2，給T1和T2分別配備一個(gè)哈希函數(shù)，h1和h2。在存儲(chǔ)一個(gè)新的key時(shí)，同時(shí)用兩個(gè)哈希函數(shù)進(jìn)行計(jì)算，得出兩個(gè)地址h1[key]和h2[key]。這時(shí)需要檢查T1中的h1[key]位置和T2中的h2[key]位置，哪一個(gè)位置已經(jīng)存儲(chǔ)的（有碰撞的）key比較多，然后將新key存儲(chǔ)在負(fù)載少的位置。如果兩邊一樣多，比如兩個(gè)位置都為空或者都存儲(chǔ)了一個(gè)key，就把新key 存儲(chǔ)在左邊的T1子表中，2-left也由此而來。在查找一個(gè)key時(shí)，必須進(jìn)行兩次hash，同時(shí)查找兩個(gè)位置。

問題實(shí)例：

1).海量日志數(shù)據(jù)，提取出某日訪問百度次數(shù)最多的那個(gè)IP。

IP的數(shù)目還是有限的，最多2^32個(gè)，所以可以考慮使用hash將ip直接存入內(nèi)存，然后進(jìn)行統(tǒng)計(jì)。

3.bit-map

適用范圍：可進(jìn)行數(shù)據(jù)的快速查找，判重，刪除，一般來說數(shù)據(jù)范圍是int的10倍以下

基本原理及要點(diǎn)：使用bit數(shù)組來表示某些元素是否存在，比如8位電話號(hào)碼

擴(kuò)展：bloom filter可以看做是對(duì)bit-map的擴(kuò)展

問題實(shí)例：

1)已知某個(gè)文件內(nèi)包含一些電話號(hào)碼，每個(gè)號(hào)碼為8位數(shù)字，統(tǒng)計(jì)不同號(hào)碼的個(gè)數(shù)。

8位最多99 999 999，大概需要99m個(gè)bit，大概10幾m字節(jié)的內(nèi)存即可。

2)2.5億個(gè)整數(shù)中找出不重復(fù)的整數(shù)的個(gè)數(shù)，內(nèi)存空間不足以容納這2.5億個(gè)整數(shù)。

將bit-map擴(kuò)展一下，用2bit表示一個(gè)數(shù)即可，0表示未出現(xiàn)，1表示出現(xiàn)一次，2表示出現(xiàn)2次及以上。或者我們不用2bit來進(jìn)行表示，我們用兩個(gè)bit-map即可模擬實(shí)現(xiàn)這個(gè)2bit-map。

4.堆

適用范圍：海量數(shù)據(jù)前n大，并且n比較小，堆可以放入內(nèi)存

基本原理及要點(diǎn)：最大堆求前n小，最小堆求前n大。方法，比如求前n小，我們比較當(dāng)前元素與最大堆里的最大元素，如果它小于最大元素，則應(yīng)該替換那個(gè)最大元素。這樣最后得到的n個(gè)元素就是最小的n個(gè)。適合大數(shù)據(jù)量，求前n小，n的大小比較小的情況，這樣可以掃描一遍即可得到所有的前n元素，效率很高。

擴(kuò)展：雙堆，一個(gè)最大堆與一個(gè)最小堆結(jié)合，可以用來維護(hù)中位數(shù)。

問題實(shí)例：

1)100w個(gè)數(shù)中找最大的前100個(gè)數(shù)。

用一個(gè)100個(gè)元素大小的最小堆即可。

5.雙層桶劃分 ----其實(shí)本質(zhì)上就是【分而治之】的思想，重在“分”的技巧上！

適用范圍：第k大，中位數(shù)，不重復(fù)或重復(fù)的數(shù)字

基本原理及要點(diǎn)：因?yàn)樵胤秶艽?，不能利用直接尋址表，所以通過多次劃分，逐步確定范圍，然后最后在一個(gè)可以接受的范圍內(nèi)進(jìn)行?？梢酝ㄟ^多次縮小，雙層只是一個(gè)例子。

擴(kuò)展：

問題實(shí)例：

1).2.5億個(gè)整數(shù)中找出不重復(fù)的整數(shù)的個(gè)數(shù)，內(nèi)存空間不足以容納這2.5億個(gè)整數(shù)。

有點(diǎn)像鴿巢原理，整數(shù)個(gè)數(shù)為2^32,也就是，我們可以將這2^32個(gè)數(shù)，劃分為2^8個(gè)區(qū)域(比如用單個(gè)文件代表一個(gè)區(qū)域)，然后將數(shù)據(jù)分離到不同的區(qū)域，然后不同的區(qū)域在利用bitmap就可以直接解決了。也就是說只要有足夠的磁盤空間，就可以很方便的解決。

2).5億個(gè)int找它們的中位數(shù)。

這個(gè)例子比上面那個(gè)更明顯。首先我們將int劃分為2^16個(gè)區(qū)域，然后讀取數(shù)據(jù)統(tǒng)計(jì)落到各個(gè)區(qū)域里的數(shù)的個(gè)數(shù)，之后我們根據(jù)統(tǒng)計(jì)結(jié)果就可以判斷中位數(shù)落到那個(gè)區(qū)域，同時(shí)知道這個(gè)區(qū)域中的第幾大數(shù)剛好是中位數(shù)。然后第二次掃描我們只統(tǒng)計(jì)落在這個(gè)區(qū)域中的那些數(shù)就可以了。

實(shí)際上，如果不是int是int64，我們可以經(jīng)過3次這樣的劃分即可降低到可以接受的程度。即可以先將int64分成2^24個(gè)區(qū)域，然后確定區(qū)域的第幾大數(shù)，在將該區(qū)域分成2^20個(gè)子區(qū)域，然后確定是子區(qū)域的第幾大數(shù)，然后子區(qū)域里的數(shù)的個(gè)數(shù)只有2^20，就可以直接利用direct addr table進(jìn)行統(tǒng)計(jì)了。

6.數(shù)據(jù)庫(kù)索引

適用范圍：大數(shù)據(jù)量的增刪改查

基本原理及要點(diǎn)：利用數(shù)據(jù)的設(shè)計(jì)實(shí)現(xiàn)方法，對(duì)海量數(shù)據(jù)的增刪改查進(jìn)行處理。

擴(kuò)展：

問題實(shí)例：

7.倒排索引(Inverted index)

適用范圍：搜索引擎，關(guān)鍵字查詢

基本原理及要點(diǎn)：為何叫倒排索引？一種索引方法，被用來存儲(chǔ)在全文搜索下某個(gè)單詞在一個(gè)文檔或者一組文檔中的存儲(chǔ)位置的映射。

以英文為例，下面是要被索引的文本：

T0 = "it is what it is"

T1 = "what is it"

T2 = "it is a banana"

我們就能得到下面的反向文件索引：

"a": {2}

"banana": {2}

"is": {0, 1, 2}

"it": {0, 1, 2}

"what": {0, 1}

檢索的條件"what", "is" 和 "it" 將對(duì)應(yīng)集合的交集。

正向索引開發(fā)出來用來存儲(chǔ)每個(gè)文檔的單詞的列表。正向索引的查詢往往滿足每個(gè)文檔有序頻繁的全文查詢和每個(gè)單詞在校驗(yàn)文檔中的驗(yàn)證這樣的查詢。在正向索引中，文檔占據(jù)了中心的位置，每個(gè)文檔指向了一個(gè)它所包含的索引項(xiàng)的序列。也就是說文檔指向了它包含的那些單詞，而反向索引則是單詞指向了包含它的文檔，很容易看到這個(gè)反向的關(guān)系。

擴(kuò)展：

問題實(shí)例：文檔檢索系統(tǒng)，查詢那些文件包含了某單詞，比如常見的學(xué)術(shù)論文的關(guān)鍵字搜索。

8.外排序

適用范圍：大數(shù)據(jù)的排序，去重

基本原理及要點(diǎn)：外排序的歸并方法，置換選擇 敗者樹原理，最優(yōu)歸并樹

擴(kuò)展：

問題實(shí)例：

1).有一個(gè)1G大小的一個(gè)文件，里面每一行是一個(gè)詞，詞的大小不超過16個(gè)字節(jié)，內(nèi)存限制大小是1M。返回頻數(shù)最高的100個(gè)詞。

這個(gè)數(shù)據(jù)具有很明顯的特點(diǎn)，詞的大小為16個(gè)字節(jié)，但是內(nèi)存只有1m做hash有些不夠，所以可以用來排序。內(nèi)存可以當(dāng)輸入緩沖區(qū)使用。

9.trie樹

適用范圍：數(shù)據(jù)量大，重復(fù)多，但是數(shù)據(jù)種類小可以放入內(nèi)存

基本原理及要點(diǎn)：實(shí)現(xiàn)方式，節(jié)點(diǎn)孩子的表示方式

擴(kuò)展：壓縮實(shí)現(xiàn)。

問題實(shí)例：

1).有10個(gè)文件，每個(gè)文件1G， 每個(gè)文件的每一行都存放的是用戶的query，每個(gè)文件的query都可能重復(fù)。要你按照query的頻度排序 。

2).1000萬(wàn)字符串，其中有些是相同的(重復(fù)),需要把重復(fù)的全部去掉，保留沒有重復(fù)的字符串。請(qǐng)問怎么設(shè)計(jì)和實(shí)現(xiàn)？

3).尋找熱門查詢：查詢串的重復(fù)度比較高，雖然總數(shù)是1千萬(wàn)，但如果除去重復(fù)后，不超過3百萬(wàn)個(gè)，每個(gè)不超過255字節(jié)。

10.分布式處理 mapreduce

適用范圍：數(shù)據(jù)量大，但是數(shù)據(jù)種類小可以放入內(nèi)存

基本原理及要點(diǎn)：將數(shù)據(jù)交給不同的機(jī)器去處理，數(shù)據(jù)劃分，結(jié)果歸約。

擴(kuò)展：

問題實(shí)例：

1).The canonical example application of MapReduce is a process to count the appearances of

each different word in a set of documents:

void map(String name, String document):

// name: document name

// document: document contents

for each word w in document:

EmitIntermediate(w, 1);

void reduce(String word, Iterator partialCounts):

// key: a word

// values: a list of aggregated partial counts

int result = 0;

for each v in partialCounts:

result += ParseInt(v);

Emit(result);

Here, each document is split in words, and each word is counted initially with a "1" value by

the Map function, using the word as the result key. The framework puts together all the pairs

with the same key and feeds them to the same call to Reduce, thus this function just needs to

sum all of its input values to find the total appearances of that word.

2).海量數(shù)據(jù)分布在100臺(tái)電腦中，想個(gè)辦法高效統(tǒng)計(jì)出這批數(shù)據(jù)的TOP10。

3).一共有N個(gè)機(jī)器，每個(gè)機(jī)器上有N個(gè)數(shù)。每個(gè)機(jī)器最多存O(N)個(gè)數(shù)并對(duì)它們操作。如何找到N^2個(gè)數(shù)的中數(shù)(median)？

經(jīng)典問題分析

上千萬(wàn)or億數(shù)據(jù)（有重復(fù)），統(tǒng)計(jì)其中出現(xiàn)次數(shù)最多的前N個(gè)數(shù)據(jù),分兩種情況：可一次讀入內(nèi)存，不可一次讀入。

可用思路：trie樹+堆，數(shù)據(jù)庫(kù)索引，劃分子集分別統(tǒng)計(jì)，hash，分布式計(jì)算，近似統(tǒng)計(jì)，外排序

所謂的是否能一次讀入內(nèi)存，實(shí)際上應(yīng)該指去除重復(fù)后的數(shù)據(jù)量。如果去重后數(shù)據(jù)可以放入內(nèi)存，我們可以為數(shù)據(jù)建立字典，比如通過 map，hashmap，trie，然后直接進(jìn)行統(tǒng)計(jì)即可。當(dāng)然在更新每條數(shù)據(jù)的出現(xiàn)次數(shù)的時(shí)候，我們可以利用一個(gè)堆來維護(hù)出現(xiàn)次數(shù)最多的前N個(gè)數(shù)據(jù)，當(dāng)然這樣導(dǎo)致維護(hù)次數(shù)增加，不如完全統(tǒng)計(jì)后在求前N大效率高。

如果數(shù)據(jù)無法放入內(nèi)存。一方面我們可以考慮上面的字典方法能否被改進(jìn)以適應(yīng)這種情形，可以做的改變就是將字典存放到硬盤上，而不是內(nèi)存，這可以參考數(shù)據(jù)庫(kù)的存儲(chǔ)方法。

當(dāng)然還有更好的方法，就是可以采用分布式計(jì)算，基本上就是map-reduce過程，首先可以根據(jù)數(shù)據(jù)值或者把數(shù)據(jù)hash(md5)后的值，將數(shù)據(jù)按照范圍劃分到不同的機(jī)子，最好可以讓數(shù)據(jù)劃分后可以一次讀入內(nèi)存，這樣不同的機(jī)子負(fù)責(zé)處理各種的數(shù)值范圍，實(shí)際上就是map。得到結(jié)果后，各個(gè)機(jī)子只需拿出各自的出現(xiàn)次數(shù)最多的前N個(gè)數(shù)據(jù)，然后匯總，選出所有的數(shù)據(jù)中出現(xiàn)次數(shù)最多的前N個(gè)數(shù)據(jù)，這實(shí)際上就是reduce過程。

實(shí)際上可能想直接將數(shù)據(jù)均分到不同的機(jī)子上進(jìn)行處理，這樣是無法得到正確的解的。因?yàn)橐粋€(gè)數(shù)據(jù)可能被均分到不同的機(jī)子上，而另一個(gè)則可能完全聚集到一個(gè)機(jī)子上，同時(shí)還可能存在具有相同數(shù)目的數(shù)據(jù)。比如我們要找出現(xiàn)次數(shù)最多的前100個(gè)，我們將1000萬(wàn)的數(shù)據(jù)分布到10臺(tái)機(jī)器上，找到每臺(tái)出現(xiàn)次數(shù)最多的前 100個(gè)，歸并之后這樣不能保證找到真正的第100個(gè)，因?yàn)楸热绯霈F(xiàn)次數(shù)最多的第100個(gè)可能有1萬(wàn)個(gè)，但是它被分到了10臺(tái)機(jī)子，這樣在每臺(tái)上只有1千個(gè)，假設(shè)這些機(jī)子排名在1000個(gè)之前的那些都是單獨(dú)分布在一臺(tái)機(jī)子上的，比如有1001個(gè)，這樣本來具有1萬(wàn)個(gè)的這個(gè)就會(huì)被淘汰，即使我們讓每臺(tái)機(jī)子選出出現(xiàn)次數(shù)最多的1000個(gè)再歸并，仍然會(huì)出錯(cuò)，因?yàn)榭赡艽嬖诖罅總€(gè)數(shù)為1001個(gè)的發(fā)生聚集。因此不能將數(shù)據(jù)隨便均分到不同機(jī)子上，而是要根據(jù)hash 后的值將它們映射到不同的機(jī)子上處理，讓不同的機(jī)器處理一個(gè)數(shù)值范圍。

而外排序的方法會(huì)消耗大量的IO，效率不會(huì)很高。而上面的分布式方法，也可以用于單機(jī)版本，也就是將總的數(shù)據(jù)根據(jù)值的范圍，劃分成多個(gè)不同的子文件，然后逐個(gè)處理。處理完畢之后再對(duì)這些單詞的及其出現(xiàn)頻率進(jìn)行一個(gè)歸并。實(shí)際上就可以利用一個(gè)外排序的歸并過程。

另外還可以考慮近似計(jì)算，也就是我們可以通過結(jié)合自然語(yǔ)言屬性，只將那些真正實(shí)際中出現(xiàn)最多的那些詞作為一個(gè)字典，使得這個(gè)規(guī)?？梢苑湃雰?nèi)存。

php采集大數(shù)據(jù)的方案

1、建議你讀寫數(shù)據(jù)和下載圖片分開，各用不同的進(jìn)程完成。

比如說，取數(shù)據(jù)用get-data.php，下載圖片用get-image.php。

2、多進(jìn)程的話，php可以簡(jiǎn)單的用pcntl_fork()。這樣可以并發(fā)多個(gè)子進(jìn)程。

但是我不建議你用fork，我建議你安裝一個(gè)gearman worker。這樣你要并發(fā)幾個(gè)，就啟幾個(gè)worker，寫代碼簡(jiǎn)單，根本不用在代碼里考慮thread啊，process等等。

3、綜上，解決方案這樣：

（1）安裝gearman worker。

（2）寫一個(gè)get-data.php，在crontab里設(shè)置它每5分鐘執(zhí)行一次，只負(fù)責(zé)讀數(shù)據(jù)，然后把讀回來的數(shù)據(jù)一條一條的扔到 gearman worker的隊(duì)列里；

然后再寫一個(gè)處理數(shù)據(jù)的腳本作為worker，例如叫process-data.php，這個(gè)腳本常駐內(nèi)存。它作為worker從geraman 隊(duì)列里讀出一條一條的數(shù)據(jù)，然后跟你的數(shù)據(jù)庫(kù)老數(shù)據(jù)比較，進(jìn)行你的業(yè)務(wù)邏輯。如果你要10個(gè)并發(fā)，那就啟動(dòng)10個(gè)process-data.php好了。處理完后，如果圖片地址有變動(dòng)需要下載圖片，就把圖片地址扔到 gearman worker的另一個(gè)隊(duì)列里。

（3）再寫一個(gè)download-data.php，作為下載圖片的worker，同樣，你啟動(dòng)10個(gè)20個(gè)并發(fā)隨便你。這個(gè)進(jìn)程也常駐內(nèi)存運(yùn)行，從gearman worker的圖片數(shù)據(jù)隊(duì)列里取數(shù)據(jù)出來，下載圖片

4、常駐進(jìn)程的話，就是在代碼里寫個(gè)while(true)死循環(huán)，讓它一直運(yùn)行好了。如果怕內(nèi)存泄露啥的，你可以每循環(huán)10萬(wàn)次退出一下。然后在crontab里設(shè)置，每分鐘檢查一下進(jìn)程有沒有啟動(dòng)，比如說這樣啟動(dòng)3個(gè)process-data worker進(jìn)程：

* * * * * flock -xn /tmp/process-data.1.lock -c '/usr/bin/php /process-data.php /dev/null 21'

* * * * * flock -xn /tmp/process-data.2.lock -c '/usr/bin/php /process-data.php /dev/null 21'

* * * * * flock -xn /tmp/process-data.3.lock -c '/usr/bin/php /process-data.php /dev/null 21'

不知道你明白了沒有

物聯(lián)網(wǎng)，云計(jì)算，大數(shù)據(jù)能用php開發(fā)嗎

物聯(lián)網(wǎng)，云計(jì)算，大數(shù)據(jù)能用php開發(fā)

PHP（外文名:PHP: Hypertext Preprocessor，中文名：“超文本預(yù)處理器”）是一種通用開源腳本語(yǔ)言。語(yǔ)法吸收了C語(yǔ)言、Java和Perl的特點(diǎn)，利于學(xué)習(xí)，使用廣泛，主要適用于Web開發(fā)領(lǐng)域。PHP 獨(dú)特的語(yǔ)法混合了C、Java、Perl以及PHP自創(chuàng)的語(yǔ)法。它可以比CGI或者Perl更快速地執(zhí)行動(dòng)態(tài)網(wǎng)頁(yè)。用PHP做出的動(dòng)態(tài)頁(yè)面與其他的編程語(yǔ)言相比，PHP是將程序嵌入到HTML（標(biāo)準(zhǔn)通用標(biāo)記語(yǔ)言下的一個(gè)應(yīng)用）文檔中去執(zhí)行，執(zhí)行效率比完全生成HTML標(biāo)記的CGI要高許多；PHP還可以執(zhí)行編譯后代碼，編譯可以達(dá)到加密和優(yōu)化代碼運(yùn)行，使代碼運(yùn)行更快。

當(dāng)前名稱：php物聯(lián)網(wǎng)大數(shù)據(jù)框架 python物聯(lián)網(wǎng)框架
URL鏈接：http://m.jiaotiyi.com/article/dosshcp.html