如果在百度谷歌去搜索“大數(shù)據(jù)”，你會(huì)發(fā)現(xiàn)，大數(shù)據(jù)包括三個(gè)V，第一個(gè)V數(shù)據(jù)量足夠大;第二個(gè)V是指數(shù)據(jù)的種類非常多、結(jié)構(gòu)復(fù)雜;第三個(gè)V則是對(duì)于數(shù)據(jù)的實(shí)時(shí)性要求非常高。所以，擁有大量的數(shù)據(jù)，能夠快速將這些數(shù)據(jù)進(jìn)行抽取，挖掘，分析，并且可供擁有者實(shí)時(shí)訪問(wèn)，調(diào)用，能夠滿足其實(shí)際需求，這就是大數(shù)據(jù)。
大數(shù)據(jù)的出現(xiàn)與互聯(lián)網(wǎng)的發(fā)展息息相關(guān)，從搜索引擎、社交網(wǎng)站到移動(dòng)終端，互聯(lián)網(wǎng)上的信息總量正以每年50%的增速不斷膨脹，其中90%的信息來(lái)自近三年，包括每個(gè)月Facebook上分享的30億條內(nèi)容，每天12TB的Twitter信息，每天淘寶上超過(guò)30億條店鋪、商品瀏覽記錄以及上千萬(wàn)的成交、收藏記錄等等。據(jù)IDC統(tǒng)計(jì)，2011年全球所產(chǎn)生的數(shù)據(jù)總量是1.8ZB(10的21次方)，如果把這些數(shù)據(jù)刻錄到CD此片中門(mén)起摞起來(lái)的高度等于地球到月球的距離!
大數(shù)據(jù)沒(méi)有限定的數(shù)量，比如多少TB，或者EB的數(shù)據(jù)。若是中小企業(yè)用戶，可能企業(yè)內(nèi)部只有十幾、二十幾個(gè)人，那么十個(gè)TB對(duì)這個(gè)企業(yè)來(lái)說(shuō)就是大數(shù)據(jù)了，所以大數(shù)據(jù)的概念因人而異。工信部十二五的物聯(lián)網(wǎng)規(guī)劃引人注意，其中包括海量級(jí)的數(shù)據(jù)存儲(chǔ)，數(shù)據(jù)挖掘，圖象視頻的智能分析，以及信息感知和信息傳輸，這些規(guī)劃提供了一個(gè)警示信號(hào)，即大數(shù)據(jù)是未來(lái)的發(fā)展方向，所以在此后的一段時(shí)間內(nèi)，熱門(mén)話題會(huì)是大數(shù)據(jù)、云存儲(chǔ)、以及對(duì)象存儲(chǔ)。這些都是在存儲(chǔ)或者計(jì)算領(lǐng)域熱門(mén)的話題。
大數(shù)據(jù)——數(shù)據(jù)管理“令人不安”
“大數(shù)據(jù)”是大勢(shì)所趨。縱觀整個(gè)數(shù)據(jù)市場(chǎng)，甚至存儲(chǔ)市場(chǎng)，用戶的數(shù)據(jù)量正呈現(xiàn)出爆炸式的增長(zhǎng)態(tài)勢(shì)。大概四、五年前，一個(gè)郵件系統(tǒng)用終端存儲(chǔ)就可以滿足一個(gè)中等規(guī)模企業(yè)的需要，數(shù)據(jù)量大概在30-50T。隨著企業(yè)員工數(shù)量逐年增長(zhǎng)，郵件系統(tǒng)的空間也呈爆炸式增長(zhǎng)，由于人員溝通之間郵件更容易成為溝通的橋梁，郵件的附件越來(lái)越大，郵件系統(tǒng)的數(shù)據(jù)量亦隨之水漲船高。現(xiàn)在該企業(yè)的數(shù)據(jù)量恐怕已增長(zhǎng)到2.5PB甚至更多，需要添置一臺(tái)存儲(chǔ)設(shè)備或是幾臺(tái)儲(chǔ)備設(shè)備做郵件系統(tǒng)，可見(jiàn)存儲(chǔ)需求量增長(zhǎng)之快。
盡管大數(shù)據(jù)的產(chǎn)生多半是因?yàn)槠髽I(yè)發(fā)展及數(shù)據(jù)產(chǎn)生的種類多元化這個(gè)“大環(huán)境”所致，但是面對(duì)這些快速增長(zhǎng)的大數(shù)據(jù)所暴露出的問(wèn)題還是讓企業(yè)管理者們不安。到底該如何管理這些大數(shù)據(jù)？如何進(jìn)行安全有效的保護(hù)？出現(xiàn)問(wèn)題時(shí)怎樣進(jìn)行恢復(fù)？這些都是企業(yè)待解的難題。
第一、在大數(shù)據(jù)愈演愈烈之時(shí)，對(duì)于企業(yè)來(lái)說(shuō)，如何經(jīng)濟(jì)、高效訪問(wèn)數(shù)據(jù)值得探討。并非購(gòu)買(mǎi)了最高端的存儲(chǔ)，更昂貴的備份存儲(chǔ)就可以高枕無(wú)憂，如何經(jīng)濟(jì)、高效的訪問(wèn)數(shù)據(jù)才是企業(yè)目前需要研究的課題之一。通常情況下，按照數(shù)據(jù)被訪問(wèn)頻率的高低，可以將這些大數(shù)據(jù)分為熱數(shù)據(jù)和冷數(shù)據(jù)，熱點(diǎn)數(shù)據(jù)放在昂貴的介質(zhì)上沒(méi)有任何異議，但是冷數(shù)據(jù)放在昂貴的介質(zhì)上面則會(huì)導(dǎo)致IT建設(shè)成本上升，是一種浪費(fèi)。所以如何將冷、熱數(shù)據(jù)進(jìn)行分層存儲(chǔ)，既能優(yōu)化存儲(chǔ)系統(tǒng)的性能，又可以有效地降低存儲(chǔ)系統(tǒng)的整體擁有成本，實(shí)現(xiàn)一舉兩得是企業(yè)的突破方向。
第二，如何組織、檢索、存儲(chǔ)、處理分析這些大數(shù)據(jù)。最近開(kāi)展的題為“大數(shù)據(jù)：商業(yè)領(lǐng)袖們的經(jīng)驗(yàn)”的全球調(diào)查發(fā)現(xiàn)，稿營(yíng)收企業(yè)的成功與明確的數(shù)據(jù)戰(zhàn)略之間有著極強(qiáng)的關(guān)聯(lián)性。大數(shù)據(jù)的時(shí)代迎面襲來(lái)，企業(yè)重視大數(shù)據(jù)的潛在價(jià)值只是一個(gè)良好的開(kāi)始，如何應(yīng)對(duì)海量數(shù)據(jù)在管理方面的挑戰(zhàn)才是企業(yè)至關(guān)重要的策略之一。
第三，數(shù)據(jù)備份。數(shù)據(jù)備份可謂“老生常談”，大家一直在談數(shù)據(jù)需要備份，備份是企業(yè)最后的保障、最后的一個(gè)利器，可以保護(hù)企業(yè)的系統(tǒng)依然有數(shù)據(jù)可用。10年前的“9.11”事件，早給過(guò)我們慘痛的教訓(xùn)：世貿(mào)中心中大約2/3企業(yè)因?yàn)槲醋鰯?shù)據(jù)備份而導(dǎo)致徹底倒閉。無(wú)獨(dú)有偶，就在前不久前，雅虎日本服務(wù)器系統(tǒng)發(fā)生故障，導(dǎo)致近5700家企業(yè)數(shù)據(jù)丟失，除了小林制藥這樣日常進(jìn)行數(shù)據(jù)備份的用戶可以在幾天之內(nèi)恢復(fù)數(shù)據(jù)外，其他用戶的數(shù)據(jù)絕無(wú)回復(fù)的可能，其損失可謂“慘重”。一個(gè)企業(yè)的數(shù)據(jù)信息決定著企業(yè)的生死存亡。但是今天，數(shù)據(jù)量的持續(xù)增長(zhǎng)增加了備份和恢復(fù)的時(shí)間，是企業(yè)面臨著嚴(yán)重的合規(guī)和宕機(jī)風(fēng)險(xiǎn)，數(shù)據(jù)備份卻越來(lái)越困難。用戶數(shù)據(jù)量越來(lái)越大，備份時(shí)間窗口又那么小，設(shè)備又是有限的，怎樣快速把大數(shù)據(jù)中的核心數(shù)據(jù)抽取出來(lái)，保障企業(yè)數(shù)據(jù)信息能夠適時(shí)進(jìn)行恢復(fù)，成為企業(yè)CIO們共同考量的當(dāng)務(wù)之急。
第四、重復(fù)數(shù)據(jù)刪除。由于存儲(chǔ)經(jīng)理們繼續(xù)降低備份數(shù)據(jù)量，重復(fù)數(shù)據(jù)刪除技術(shù)從而一度成為熱門(mén)的技術(shù)，但盡管這個(gè)話題已經(jīng)“風(fēng)靡”了多年，近三、五年的時(shí)間大家都在講重復(fù)數(shù)據(jù)的刪除。基本上主流的廠商和用戶能夠接受的還是把帶庫(kù)刪除。如周一到周五的數(shù)據(jù)一樣，就把重復(fù)的數(shù)據(jù)刪掉，以后每天把增量的數(shù)據(jù)保存。但是有一些廠家也提倡在線存儲(chǔ)刪除，這也可行。只是現(xiàn)在某些技術(shù)尚不完全成熟，所以現(xiàn)在的重復(fù)數(shù)據(jù)刪除重點(diǎn)還是在備份領(lǐng)域涉獵較多。
第五，如何節(jié)省電力、節(jié)約空間、節(jié)約成本等。面臨數(shù)據(jù)爆炸式增長(zhǎng)帶來(lái)的問(wèn)題，我們將怎么樣節(jié)省電力、空間、成本呢？近幾年企業(yè)在采購(gòu)存儲(chǔ)時(shí)，會(huì)發(fā)現(xiàn)存儲(chǔ)硬件的成本在逐年走低。回顧過(guò)去，硬盤(pán)價(jià)格都是高高在上的，而現(xiàn)在不管是傳統(tǒng)的機(jī)械硬盤(pán)還是SSD(固態(tài)硬盤(pán))都開(kāi)始變得越發(fā)“親民”，而價(jià)格更低的同時(shí)容量卻更高了。但是，對(duì)于很多企業(yè)來(lái)說(shuō)，整體的存儲(chǔ)成本卻不降反升，原因就是存儲(chǔ)的管理成本在逐年走高。因?yàn)榇髷?shù)據(jù)的接茬大漲需要大量的人力管理和維護(hù)，所以如何節(jié)約IT資源，減少I(mǎi)T人員的壓力等也是現(xiàn)在企業(yè)需要考慮的因素。
隨著大數(shù)據(jù)時(shí)代的到來(lái)，數(shù)據(jù)信息日益重要，數(shù)據(jù)保護(hù)問(wèn)題日漸突出，各種災(zāi)難性事件給用戶敲醒很多警鐘。數(shù)據(jù)保護(hù)，數(shù)據(jù)的容災(zāi)是非常重要的話題。以前的數(shù)據(jù)容災(zāi)，都是拿盤(pán)陣來(lái)做，從A復(fù)制到B，A壞了到B上去，是一個(gè)“有甚于無(wú)”的方案，屬于一種保護(hù)機(jī)制。但是今天的企業(yè)要求更加完善的數(shù)據(jù)保護(hù)系統(tǒng)，很多企業(yè)已經(jīng)開(kāi)始完成了備份數(shù)據(jù)的容災(zāi)。所以，在備份數(shù)據(jù)方面企業(yè)會(huì)面臨很多問(wèn)題，比如生產(chǎn)系統(tǒng)一般都是在白天運(yùn)行，或者高峰是在白天去運(yùn)行，夜間可能有三、五個(gè)小時(shí)時(shí)間窗口，這些窗口怎樣在最短時(shí)間之內(nèi)把盡可能做的數(shù)據(jù)備份出來(lái)，是用戶面臨的問(wèn)題。
另外是災(zāi)難恢復(fù)。當(dāng)發(fā)生災(zāi)難能否通過(guò)盤(pán)陣的方式、通過(guò)備份的方式恢復(fù)數(shù)據(jù)。現(xiàn)在很多企業(yè)非常關(guān)注的是，能否把分支機(jī)構(gòu)也保護(hù)起來(lái)。例如，國(guó)美大中蘇寧，這種零售企業(yè)，在全國(guó)每一個(gè)省都會(huì)有很小的數(shù)據(jù)中心或是小型機(jī)房。里面有獨(dú)立的一些數(shù)據(jù)，這些數(shù)據(jù)能否集中備份到總部統(tǒng)一保護(hù)起來(lái)，以最低的成本保護(hù)這些“大數(shù)據(jù)”。
最后就是恢復(fù)的時(shí)間問(wèn)題。很多企業(yè)在考慮備份時(shí)往往會(huì)忽略這點(diǎn)，從而導(dǎo)致發(fā)生災(zāi)難或是意外事件時(shí)數(shù)據(jù)恢復(fù)時(shí)間過(guò)長(zhǎng)，嚴(yán)重影響企業(yè)生產(chǎn)系統(tǒng)的正常運(yùn)行。所以，大數(shù)據(jù)的挑戰(zhàn)就是備份的窗口。
大數(shù)據(jù)在給行業(yè)帶來(lái)巨大商業(yè)價(jià)值的同時(shí)也帶來(lái)了一系列的“疑難雜癥”，面對(duì)這些大困惑，我們又該如何應(yīng)對(duì)呢？
談到大數(shù)據(jù)，現(xiàn)在很多企業(yè)都有若干個(gè)分支機(jī)構(gòu)，以前用戶對(duì)分制機(jī)構(gòu)進(jìn)行保護(hù)的時(shí)候拿盤(pán)陣來(lái)做或者拿物理磁帶通過(guò)汽車(chē)搬運(yùn)到其他地方，這樣做既增加人力又消費(fèi)時(shí)間，而且效率很低，恢復(fù)起來(lái)效果也特別差。所以，大數(shù)據(jù)環(huán)境下的數(shù)據(jù)保護(hù)是一個(gè)非常完整的解決方案，譬如，企業(yè)擁有一個(gè)很小的分支機(jī)構(gòu)，可能是一個(gè)分公司或者是其中一個(gè)站點(diǎn)。數(shù)據(jù)會(huì)很多，企業(yè)有可能各分機(jī)構(gòu)也有一個(gè)虛擬帶庫(kù)設(shè)備，如果是很小的分支機(jī)構(gòu)，有虛擬的帶庫(kù)設(shè)備，可以先備份當(dāng)中，然后有這個(gè)設(shè)備自動(dòng)的通過(guò)很窄的廣域網(wǎng)復(fù)制到虛擬帶庫(kù)里面去。如果企業(yè)的數(shù)據(jù)中心沒(méi)有這樣的虛擬帶庫(kù)設(shè)備，要減少成本，而只有服務(wù)器，也沒(méi)有任何問(wèn)題，只要自動(dòng)的把數(shù)據(jù)在源端進(jìn)行重復(fù)數(shù)據(jù)的刪除，刪除完成以后，將這些重復(fù)數(shù)據(jù)刪除以后的數(shù)據(jù)遠(yuǎn)端傳到總部的數(shù)據(jù)中心，這樣來(lái)實(shí)現(xiàn)數(shù)據(jù)保護(hù)，同時(shí)企業(yè)還可以再?gòu)?fù)制另外一份，從一個(gè)數(shù)據(jù)中心復(fù)制到另外一個(gè)數(shù)據(jù)中心，而且這個(gè)復(fù)制過(guò)程是不需要把數(shù)據(jù)做完整性恢復(fù)的。A到B傳遞數(shù)據(jù)的時(shí)候，已經(jīng)把重復(fù)數(shù)據(jù)刪掉傳過(guò)去，但是對(duì)于重復(fù)數(shù)據(jù)刪除1.0的技術(shù)來(lái)說(shuō)，要把這一份數(shù)據(jù)傳過(guò)去要恢復(fù)成完整的數(shù)據(jù)，以前需要有一個(gè)服務(wù)器，把所有的完整數(shù)據(jù)算出來(lái)以后才能夠傳到另外一個(gè)上面，現(xiàn)在企業(yè)需要做的只需要傳遞一份數(shù)據(jù)，而且是沒(méi)有重復(fù)的，這會(huì)大大降低企業(yè)在數(shù)據(jù)保護(hù)上的成本。
小結(jié)：
在大數(shù)據(jù)時(shí)代，盡管這些快速增長(zhǎng)的海量數(shù)據(jù)所引發(fā)的一系列蹩腳問(wèn)題，足以讓CIO們感到炙手可熱，但是管理這些數(shù)據(jù)所帶來(lái)的幾多挑戰(zhàn)并不能令人窒息。完整的數(shù)據(jù)保護(hù)解決方案或許能夠成為“成人之美”的一劑良藥。畢竟，實(shí)踐是檢驗(yàn)真理的唯一標(biāo)準(zhǔn)，這的確是不易之論……
.