以次作品根源于數(shù)倉(cāng)寶物庫(kù) ，作家Saurabh

交易題目的范疇太廣、太深、太攙雜，一種東西沒(méi)轍處置一切題目，在大數(shù)據(jù)和領(lǐng)會(huì)范圍更加如許。

熱數(shù)據(jù)須要在外存中保存和處置，所以符合用緩存或外存數(shù)據(jù)庫(kù)（如Redis或SAP Hana）。

AWS供給了ElastiCache效勞，可天生托管的Redis或Memcached情況。

NoSQL數(shù)據(jù)庫(kù)是面向高速但小范圍記載（比方，用戶(hù)對(duì)話(huà)消息或物聯(lián)網(wǎng)數(shù)據(jù)）的理念采用。

NoSQL數(shù)據(jù)庫(kù)對(duì)于實(shí)質(zhì)處置也很有效，不妨保存數(shù)據(jù)目次。

1、構(gòu)造化數(shù)據(jù)保存構(gòu)造化數(shù)據(jù)保存仍舊生存了幾十年，是人們最熟習(xí)的數(shù)據(jù)保存本領(lǐng)。大普遍工作型數(shù)據(jù)庫(kù)（如Oracle、MySQL、SQL Server和PostgreSQL）都是行式數(shù)據(jù)庫(kù)，由于要處置來(lái)自軟硬件運(yùn)用步調(diào)的一再數(shù)據(jù)寫(xiě)入。

企業(yè)常常將工作型數(shù)據(jù)庫(kù)同聲用來(lái)報(bào)表，在這種情景下，須要一再讀取數(shù)據(jù)，但數(shù)據(jù)寫(xiě)入頻次要低得多。

跟著數(shù)據(jù)讀取的需要越來(lái)越強(qiáng)，有更多的革新加入結(jié)束構(gòu)化數(shù)據(jù)保存的查問(wèn)范圍，比方列式文獻(xiàn)方法的革新，它無(wú)助于于普及數(shù)據(jù)讀取本能，滿(mǎn)意領(lǐng)會(huì)需要。

鑒于行的方法將數(shù)據(jù)以行的情勢(shì)保存在文獻(xiàn)中。鑒于行的寫(xiě)入辦法是將數(shù)據(jù)寫(xiě)入磁盤(pán)的最快辦法，但它不確定能最快地讀取，由于你必需跳過(guò)很多不關(guān)系的數(shù)據(jù)。

鑒于列的方法將一切的列值一道保存在文獻(xiàn)中。如許會(huì)帶來(lái)更好的收縮功效，由于溝通的數(shù)據(jù)典型此刻被歸為一組。常常，它還能供給更好的讀取本能，由于你不妨跳過(guò)不須要的列。

咱們來(lái)看構(gòu)造化數(shù)據(jù)保存的罕見(jiàn)采用。

比方，你須要從訂單表中查問(wèn)某個(gè)月的出賣(mài)總額，但該表有50列。在鑒于行的框架結(jié)構(gòu)中，查問(wèn)時(shí)會(huì)掃描所有表的50個(gè)列，但在列式框架結(jié)構(gòu)中，查問(wèn)時(shí)只會(huì)掃描訂單出賣(mài)列，所以普及了數(shù)據(jù)查問(wèn)本能。

咱們?cè)賮?lái)精細(xì)引見(jiàn)聯(lián)系型數(shù)據(jù)庫(kù)，中心引見(jiàn)工作數(shù)據(jù)和數(shù)據(jù)堆棧處置數(shù)據(jù)領(lǐng)會(huì)的需要。

（1）聯(lián)系型數(shù)據(jù)庫(kù)

RDBMS比擬符合在線(xiàn)工作處置（OLTP）運(yùn)用。時(shí)髦的聯(lián)系型數(shù)據(jù)庫(kù)有Oracle、MSSQL、MariaDB、PostgreSQL等。個(gè)中少許保守?cái)?shù)據(jù)庫(kù)仍舊生存了幾十年。

很多運(yùn)用，囊括電子商務(wù)、錢(qián)莊交易和棧房預(yù)定，都是由聯(lián)系型數(shù)據(jù)庫(kù)扶助的。聯(lián)系型數(shù)據(jù)庫(kù)特殊長(zhǎng)于處置表之間須要攙雜共同查問(wèn)的工作數(shù)據(jù)。

從工作數(shù)據(jù)的需要來(lái)看，聯(lián)系型數(shù)據(jù)庫(kù)該當(dāng)維持亞原子性、普遍性、分隔性、長(zhǎng)久性規(guī)則，簡(jiǎn)直如次：

亞原子性：工作將從頭至尾實(shí)足實(shí)行，一旦展示缺點(diǎn)，所有工作將會(huì)回滾。

普遍性：一旦工作實(shí)行，一切的數(shù)據(jù)都要提交到數(shù)據(jù)庫(kù)中。

分隔性：訴求多個(gè)工作能在分隔的情景下同聲運(yùn)轉(zhuǎn)，互不干預(yù)。

長(zhǎng)久性：在任何阻礙（如搜集或電源妨礙）的情景下，工作該當(dāng)不妨回復(fù)到結(jié)果已知的狀況。

常常情景下，聯(lián)系型數(shù)據(jù)庫(kù)的數(shù)據(jù)會(huì)被轉(zhuǎn)存到數(shù)據(jù)堆棧中，用來(lái)報(bào)表和會(huì)合。（2）數(shù)據(jù)堆棧

數(shù)據(jù)堆棧更符合在線(xiàn)領(lǐng)會(huì)處置（OLAP）運(yùn)用。數(shù)據(jù)堆棧供給了對(duì)洪量構(gòu)造化數(shù)據(jù)的趕快會(huì)合功效。

固然那些本領(lǐng)（如Amazon Redshift、Netezza和Teradata）旨在趕快實(shí)行攙雜的會(huì)合查問(wèn)，但它們并沒(méi)有對(duì)準(zhǔn)洪量并發(fā)寫(xiě)入舉行過(guò)優(yōu)化。以是，數(shù)據(jù)須要分批加載，使得堆棧沒(méi)轍在熱數(shù)據(jù)上供給及時(shí)洞察。

新穎數(shù)據(jù)堆棧運(yùn)用列式保存來(lái)提高查問(wèn)本能，比方Amazon Redshift、Snowflake和Google Big Query。成績(jī)于列式保存，那些數(shù)據(jù)堆棧供給了特殊快的查問(wèn)速率，普及了I/O功效。

除此除外，Amazon Redshift等數(shù)據(jù)堆棧體例還經(jīng)過(guò)在多個(gè)節(jié)點(diǎn)上并行查問(wèn)以及大范圍并行處置（MPP）來(lái)普及查問(wèn)本能。

數(shù)據(jù)堆棧是中心保存庫(kù)，不妨保存來(lái)自一個(gè)或多個(gè)數(shù)據(jù)庫(kù)的積聚數(shù)據(jù)。它們保存暫時(shí)和汗青數(shù)據(jù)，用來(lái)創(chuàng)造交易數(shù)據(jù)的領(lǐng)會(huì)匯報(bào)。

固然，數(shù)據(jù)堆棧會(huì)合保存來(lái)自多個(gè)體例的數(shù)據(jù)，但它們不許被視為數(shù)據(jù)湖。數(shù)據(jù)堆棧只能處置構(gòu)造化的聯(lián)系型數(shù)據(jù)，而數(shù)據(jù)湖則不妨同聲處置構(gòu)造化的聯(lián)系型數(shù)據(jù)和非構(gòu)造化的數(shù)據(jù)，如JSON、日記和CSV數(shù)據(jù)。

Amazon Redshift等數(shù)據(jù)堆棧處置計(jì)劃不妨處置PB級(jí)的數(shù)據(jù)，并供給解耦的計(jì)劃和保存功效，以?xún)€樸本錢(qián)。

除去列式保存外，Redshift還運(yùn)用數(shù)據(jù)源代碼、數(shù)據(jù)散布和地區(qū)映照來(lái)普及查問(wèn)本能。比擬保守的鑒于行的數(shù)據(jù)堆棧處置計(jì)劃囊括Netezza、Teradata和Greenplum。

2、NoSQL數(shù)據(jù)庫(kù)NoSQL數(shù)據(jù)庫(kù)（如Dynamo DB、Cassandra和Mongo DB）不妨處置在聯(lián)系型數(shù)據(jù)庫(kù)中常常遇到的舒卷和本能挑撥。望文生義，NoSQL表白非聯(lián)系型數(shù)據(jù)庫(kù)。NoSQL數(shù)據(jù)庫(kù)積聚的數(shù)據(jù)沒(méi)有精確構(gòu)造體制貫穿各別表中的數(shù)據(jù)（沒(méi)有貫穿、外鍵，也不完備范式）。

NoSQL應(yīng)用了多種數(shù)據(jù)模子，囊括列式、鍵值、探求、文書(shū)檔案和圖模子。NoSQL數(shù)據(jù)庫(kù)供給可舒卷的本能、具備高可用性和韌性。

NoSQL常常沒(méi)有莊重的數(shù)據(jù)庫(kù)形式，每條記載都不妨有大肆數(shù)目的列（屬性），這表示著某一條龍不妨有4列，而同一個(gè)表中的另一條龍不妨有10列。分區(qū)鍵用來(lái)檢索包括關(guān)系屬性的值或文書(shū)檔案。

NoSQL數(shù)據(jù)庫(kù)是莫大散布式的，不妨復(fù)制。NoSQL數(shù)據(jù)庫(kù)特殊耐用，高可用的同聲不會(huì)展示本能題目。

SQL數(shù)據(jù)庫(kù)仍舊生存了幾十年，大普遍人大概仍舊特殊熟習(xí)聯(lián)系型數(shù)據(jù)庫(kù)。咱們來(lái)看SQL數(shù)據(jù)庫(kù)和NoSQL數(shù)據(jù)庫(kù)之間的少許宏大辨別（見(jiàn)表1）。

表1 SQL數(shù)據(jù)庫(kù)和NoSQL數(shù)據(jù)庫(kù)的辨別

按照數(shù)據(jù)特性，市情上有百般類(lèi)型的NoSQL數(shù)據(jù)保存來(lái)處置一定的題目。咱們來(lái)看NoSQL數(shù)據(jù)庫(kù)的典型。

3、NoSQL數(shù)據(jù)庫(kù)典型NoSQL數(shù)據(jù)庫(kù)的重要典型如次：

列式數(shù)據(jù)庫(kù)：Apache Cassandra和Apache HBase是時(shí)髦的列式數(shù)據(jù)庫(kù)。列式數(shù)據(jù)保存無(wú)助于于在查問(wèn)數(shù)據(jù)時(shí)掃描某一列，而不是掃描整行。即使貨色表有10列100萬(wàn)行，而你想查問(wèn)倉(cāng)庫(kù)儲(chǔ)存中某一貨色的數(shù)目，那么列式數(shù)據(jù)庫(kù)只會(huì)將查問(wèn)運(yùn)用于貨色數(shù)目列，不須要掃描所有表。

文書(shū)檔案數(shù)據(jù)庫(kù)：最時(shí)髦的文書(shū)檔案數(shù)據(jù)庫(kù)有MongoDB、Couchbase、MarkLogic、Dynamo DB和Cassandra。不妨運(yùn)用文書(shū)檔案數(shù)據(jù)庫(kù)來(lái)保存JSON和XML方法的半構(gòu)造化數(shù)據(jù)。

圖數(shù)據(jù)庫(kù)：時(shí)髦的圖數(shù)據(jù)庫(kù)囊括Amazon Neptune、JanusGraph、TinkerPop、Neo4j、OrientDB、GraphDB和Spark上的GraphX。圖數(shù)據(jù)庫(kù)保存極點(diǎn)和極點(diǎn)之間的鏈接（稱(chēng)為邊）。圖不妨創(chuàng)造在聯(lián)系型和非聯(lián)系型數(shù)據(jù)庫(kù)上。

外存式鍵值保存：最時(shí)髦的外存式鍵值保存是Redis和Memcached。它們將數(shù)據(jù)保存在外存中，用來(lái)數(shù)據(jù)讀取頻次高的場(chǎng)景。運(yùn)用步調(diào)的查問(wèn)開(kāi)始會(huì)轉(zhuǎn)到外存數(shù)據(jù)庫(kù)，即使數(shù)據(jù)在緩存中可用，則不會(huì)報(bào)復(fù)主數(shù)據(jù)庫(kù)。外存數(shù)據(jù)庫(kù)很符合保存用戶(hù)對(duì)話(huà)消息，那些數(shù)據(jù)會(huì)引導(dǎo)攙雜的查問(wèn)和一再的乞求數(shù)據(jù)，如用戶(hù)材料。NoSQL有很多用例，但要?jiǎng)?chuàng)造數(shù)據(jù)探求效勞，須要對(duì)一切數(shù)據(jù)創(chuàng)造索引。

4、探求數(shù)據(jù)保存Elasticsearch是大數(shù)據(jù)場(chǎng)景（如點(diǎn)擊流和日記領(lǐng)會(huì)）最受歡送的探求引擎之一。探求引擎能很好地扶助對(duì)具備大肆數(shù)目的屬性（囊括字符串令牌）的溫?cái)?shù)據(jù)舉行偶爾查問(wèn)。Elasticsearch特殊時(shí)髦。普遍的二進(jìn)制或東西保存實(shí)用于非構(gòu)造化、不行索引和其余沒(méi)有專(zhuān)科東西能領(lǐng)會(huì)其方法的數(shù)據(jù)。

Amazon Elasticsearch Service處置Elasticsearch集群，并供給API考察。它還供給了Kibana動(dòng)作可視化東西，對(duì)Elasticsearch集群中的保存的索引數(shù)據(jù)舉行探求。

AWS處置集群的含量、舒卷和補(bǔ)丁，省去了運(yùn)維開(kāi)支。日記探求和領(lǐng)會(huì)是罕見(jiàn)的大數(shù)據(jù)運(yùn)用場(chǎng)景，Elasticsearch不妨扶助你領(lǐng)會(huì)來(lái)自網(wǎng)站、效勞器、物聯(lián)網(wǎng)傳感器的日記數(shù)據(jù)。

Elasticsearch被洪量的行業(yè)運(yùn)用運(yùn)用，如錢(qián)莊、玩耍、經(jīng)營(yíng)銷(xiāo)售、運(yùn)用監(jiān)察和控制、告白本領(lǐng)、訛詐檢驗(yàn)和測(cè)定、引薦和物聯(lián)網(wǎng)等。

5、非構(gòu)造化數(shù)據(jù)保存當(dāng)你有非構(gòu)造化數(shù)據(jù)保存的需要時(shí)，Hadoop猶如是一個(gè)完備的采用，由于它是可擴(kuò)充、可舒卷的，并且特殊精巧。它不妨運(yùn)轉(zhuǎn)在耗費(fèi)級(jí)擺設(shè)上，具有宏大的東西生態(tài)，并且運(yùn)轉(zhuǎn)起來(lái)猶如很合算。

Hadoop沿用主節(jié)點(diǎn)和子節(jié)點(diǎn)形式，數(shù)據(jù)散布在多個(gè)子節(jié)點(diǎn)，由主節(jié)點(diǎn)融合功課，對(duì)數(shù)據(jù)舉行查問(wèn)演算。Hadoop體例依靠于大范圍并行處置（MPP），這使得它不妨趕快地對(duì)百般典型的數(shù)據(jù)舉行查問(wèn)，不管是構(gòu)造化數(shù)據(jù)還利害構(gòu)造化數(shù)據(jù)。

在創(chuàng)造Hadoop集群時(shí)，從效勞器上創(chuàng)造的每個(gè)子節(jié)點(diǎn)城市附帶一個(gè)稱(chēng)為當(dāng)?shù)豀adoop散布式文獻(xiàn)體例（HDFS）的磁盤(pán)保存塊。

你不妨運(yùn)用罕見(jiàn)的處置框架（如Hive、Ping和Spark）對(duì)保存數(shù)據(jù)舉行查問(wèn)。然而，當(dāng)?shù)卮疟P(pán)上的數(shù)據(jù)只在關(guān)系范例的人命期內(nèi)長(zhǎng)久化。

即使運(yùn)用Hadoop的保存層（即HDFS）來(lái)保存數(shù)據(jù)，那么保存與計(jì)劃將嚙合在一道。減少保存空間表示著必需減少更多的呆板，這也會(huì)普及計(jì)劃本領(lǐng)。為了贏得最大的精巧性和最好本錢(qián)效率，須要將計(jì)劃和保存劃分，并將兩者獨(dú)力舒卷。

總的來(lái)說(shuō)，東西保存更符合數(shù)據(jù)湖，以財(cái)經(jīng)高效的辦法保存百般數(shù)據(jù)。鑒于云計(jì)劃的數(shù)據(jù)湖在東西保存的扶助下，不妨精巧地將計(jì)劃和保存解耦。

6、數(shù)據(jù)湖數(shù)據(jù)湖是構(gòu)造化和非構(gòu)造化數(shù)據(jù)的會(huì)合保存庫(kù)。數(shù)據(jù)湖正在變成在會(huì)合保存中保存和領(lǐng)會(huì)洪量數(shù)據(jù)的一種時(shí)髦辦法。它按原樣保存數(shù)據(jù)，運(yùn)用開(kāi)源文獻(xiàn)方法來(lái)實(shí)行徑直領(lǐng)會(huì)。

因?yàn)閿?shù)據(jù)不妨按暫時(shí)方法原樣保存，所以不須要將數(shù)據(jù)變換為預(yù)訂義的形式，進(jìn)而普及了數(shù)據(jù)接收的速率。如圖1所示，數(shù)據(jù)湖是企業(yè)中一切數(shù)據(jù)的簡(jiǎn)單如實(shí)根源。

圖1 數(shù)據(jù)湖的東西保存

數(shù)據(jù)湖的長(zhǎng)處如次：

從百般根源接收數(shù)據(jù)：數(shù)據(jù)湖不妨讓你在一個(gè)會(huì)合的場(chǎng)所保存和領(lǐng)會(huì)來(lái)自百般根源（如聯(lián)系型、非聯(lián)系型數(shù)據(jù)庫(kù)以及流）的數(shù)據(jù)，以爆發(fā)簡(jiǎn)單的如實(shí)根源。它回答了少許題目，比方，干什么數(shù)據(jù)散布在多個(gè)場(chǎng)合？簡(jiǎn)單如實(shí)根源在何處？

搜集并高效保存數(shù)據(jù)：數(shù)據(jù)湖不妨接收任何典型的數(shù)據(jù)，囊括半構(gòu)造化和非構(gòu)造化數(shù)據(jù)，不須要任何形式。這就回復(fù)了怎樣從百般根源、百般方法的數(shù)據(jù)中趕快接收數(shù)據(jù)，并高效地舉行大范圍保存的題目。

跟著爆發(fā)的數(shù)據(jù)量連接擴(kuò)充：數(shù)據(jù)湖承諾你將保存層和計(jì)劃層劃分，對(duì)每個(gè)組件辨別舒卷。這就回復(fù)了怎樣跟著爆發(fā)的數(shù)據(jù)量舉行舒卷的題目。

將領(lǐng)會(huì)本領(lǐng)運(yùn)用于各別根源的數(shù)據(jù)：經(jīng)過(guò)數(shù)據(jù)湖，你不妨在讀取時(shí)決定數(shù)據(jù)形式，并對(duì)從各別資源搜集的數(shù)據(jù)創(chuàng)造會(huì)合的數(shù)據(jù)目次。這使你不妨隨時(shí)、趕快地對(duì)數(shù)據(jù)舉行領(lǐng)會(huì)。這回復(fù)了能否能將多種領(lǐng)會(huì)和處置框架運(yùn)用于溝通的數(shù)據(jù)的題目。你須要為數(shù)據(jù)湖供給一個(gè)能無(wú)窮舒卷的數(shù)據(jù)保存處置計(jì)劃。將處置和保存解耦會(huì)帶來(lái)宏大的長(zhǎng)處，囊括不妨運(yùn)用百般東西處置和領(lǐng)會(huì)溝通的數(shù)據(jù)。

固然這大概須要一個(gè)特殊的辦法將數(shù)據(jù)加載到對(duì)應(yīng)東西中，但運(yùn)用Amazon S3動(dòng)作中心數(shù)據(jù)保存比保守保存計(jì)劃有更多的長(zhǎng)處。

數(shù)據(jù)湖再有其余長(zhǎng)處。它能讓你的框架結(jié)構(gòu)永然而時(shí)。假如12個(gè)月后，大概會(huì)有你想要運(yùn)用的新本領(lǐng)。由于數(shù)據(jù)仍舊生存于數(shù)據(jù)湖，你不妨以最小的開(kāi)支將這種新本領(lǐng)插入處事過(guò)程中。

經(jīng)過(guò)在大數(shù)據(jù)處置清流線(xiàn)中建立模塊化體例，將AWS S3等通用東西保存動(dòng)作骨干，當(dāng)一定模塊不復(fù)實(shí)用或有更好的東西時(shí)，不妨自在地替代。

專(zhuān)題推薦：

江門(mén)回收廢鋁

江門(mén)回收廢銅

江門(mén)回收廢鐵

江門(mén)回收廢紙

江門(mén)廢紙回收

江門(mén)廢塑料回收

江門(mén)廢銅回收

江門(mén)廢鋁回收

江門(mén)廢鐵回收

中山廢品回收

廣東廢品回收

江門(mén)廢品回收

江門(mén)起重機(jī)安裝

江門(mén)廢品站