網(wǎng)絡(luò)每時(shí)每刻都在處理數(shù)據(jù),但如果把“大”這個(gè)詞放在“數(shù)據(jù)”前面,網(wǎng)絡(luò)管理員和首席信息官就必須面對(duì)很多全新的挑戰(zhàn)。
大數(shù)據(jù)將給企業(yè)使用的網(wǎng)絡(luò)帶來(lái)什么樣的挑戰(zhàn)?
人們想象一下這樣一個(gè)世界:電視臺(tái)可以在電視劇第一集播放結(jié)束之前就準(zhǔn)確預(yù)測(cè)其表現(xiàn);公用事業(yè)公司可以通過分析家用電器的傳感器的數(shù)據(jù),幫助居民減少能源支出;或者,運(yùn)輸公司可以通過實(shí)時(shí)跟蹤包裹來(lái)優(yōu)化運(yùn)輸路線和燃料消耗。
這種情形是不是太超前了?事實(shí)上,如今差不多可以實(shí)現(xiàn)。
移動(dòng)應(yīng)用、全I(xiàn)P無(wú)線網(wǎng)絡(luò)、在線商務(wù)、銷售點(diǎn)系統(tǒng)、社交媒體的興起,以及從交通監(jiān)控到庫(kù)存管理等各方面的傳感器的使用,都會(huì)產(chǎn)生數(shù)據(jù),如果管理得當(dāng),這些數(shù)據(jù)可以為推動(dòng)商業(yè)決策提供關(guān)鍵的信息和情報(bào)。這些數(shù)據(jù)大多是動(dòng)態(tài)收集的,如果能迅速采取行動(dòng),就能為企業(yè)提供獨(dú)特的競(jìng)爭(zhēng)優(yōu)勢(shì),提供更多的業(yè)務(wù)機(jī)會(huì),并解決出現(xiàn)的問題。
但是,由于數(shù)據(jù)量巨大,速度不斷提高,也推動(dòng)了網(wǎng)絡(luò)需求的極限。網(wǎng)絡(luò)每時(shí)每刻都在處理數(shù)據(jù)。但如果把“大”這個(gè)詞放在“數(shù)據(jù)”前面,網(wǎng)絡(luò)管理員和首席信息官就必須面對(duì)很多全新的挑戰(zhàn)。
改變數(shù)據(jù)流
如今的數(shù)據(jù)無(wú)疑正在發(fā)生變化,數(shù)據(jù)量也正在呈指數(shù)級(jí)增長(zhǎng)。數(shù)據(jù)關(guān)系已經(jīng)從簡(jiǎn)單和已知走向復(fù)雜和未知,數(shù)據(jù)模型已經(jīng)從固定模式類型轉(zhuǎn)移到無(wú)模式類型。數(shù)據(jù)來(lái)源已經(jīng)從簡(jiǎn)單的數(shù)據(jù)輸入變成了來(lái)自各種來(lái)源的實(shí)時(shí)流,包括手持設(shè)備和機(jī)器傳感器。
大數(shù)據(jù)的形式尤其多樣。例如在網(wǎng)絡(luò)中,通話記錄看起來(lái)與信用卡交易不同。與傳統(tǒng)應(yīng)用中的結(jié)構(gòu)化數(shù)據(jù)不同,大數(shù)據(jù)包括半結(jié)構(gòu)化或非結(jié)構(gòu)化數(shù)據(jù),如文本、音頻、視頻、點(diǎn)擊流、日志文件,以及測(cè)量和傳輸?shù)乩砗铜h(huán)境信息的傳感器的輸出。
大數(shù)據(jù)環(huán)境改變了數(shù)據(jù)在網(wǎng)絡(luò)中的流動(dòng)方式。大數(shù)據(jù)產(chǎn)生的東西方向流量或服務(wù)器之間的流量遠(yuǎn)遠(yuǎn)大于南北或服務(wù)器到客戶端的流量,而且對(duì)于每一次客戶端交互,可能會(huì)有成百上千的服務(wù)器和數(shù)據(jù)節(jié)點(diǎn)交互。應(yīng)用程序架構(gòu)也相應(yīng)地從集中式模型發(fā)展到分布式模型。這與過去20年建立的傳統(tǒng)客戶機(jī)/服務(wù)器網(wǎng)絡(luò)架構(gòu)背道而馳。
大數(shù)據(jù)對(duì)網(wǎng)絡(luò)的影響
大數(shù)據(jù)系統(tǒng)從各種來(lái)源提取數(shù)據(jù),運(yùn)行在分布在多個(gè)網(wǎng)絡(luò)節(jié)點(diǎn)上的服務(wù)器集群上。這些集群以并行的向外擴(kuò)展方式運(yùn)行任務(wù)。流量模式可以從1對(duì)1(電話)、1對(duì)多(電視節(jié)目)、多對(duì)1(音樂會(huì)觀眾)和多對(duì)多(CB無(wú)線電),這是并行運(yùn)行的多個(gè)節(jié)點(diǎn)之間的單播和多播流的組合。網(wǎng)絡(luò)管理員需要處理這種流量模式的組合,其中一些模式創(chuàng)建一個(gè)流,一些模式創(chuàng)建多個(gè)流。
此外,當(dāng)數(shù)據(jù)被提供給計(jì)算節(jié)點(diǎn)時(shí),它會(huì)產(chǎn)生大量的網(wǎng)絡(luò)流量。分布式節(jié)點(diǎn)之間的數(shù)據(jù)洗牌和排序操作需要快速和可預(yù)測(cè)的傳輸。雖然分析系統(tǒng)使用直接附加的存儲(chǔ)進(jìn)行處理,但中間存儲(chǔ)階段的數(shù)據(jù)。
在分析過程中,數(shù)據(jù)需要在網(wǎng)絡(luò)中移動(dòng)和有效地操作。隨著新的數(shù)據(jù)集的增長(zhǎng)和源的添加,工作負(fù)載也會(huì)增長(zhǎng)??焖僭黾赢a(chǎn)能的需求也是如此。因此,在網(wǎng)絡(luò)架構(gòu)中優(yōu)先考慮本地、高性能、水平可擴(kuò)展性和直接服務(wù)器節(jié)點(diǎn)到服務(wù)器節(jié)點(diǎn)的連通性非常重要。
對(duì)新的網(wǎng)絡(luò)模式的需求
一種設(shè)計(jì)模型包括構(gòu)建在低端硬件上,并讓分析軟件對(duì)網(wǎng)絡(luò)問題做出反應(yīng),例如重新啟動(dòng)由于擁塞而超時(shí)的作業(yè)。該模型用于非實(shí)時(shí)處理,即完成時(shí)間不重要,數(shù)據(jù)主要來(lái)自一個(gè)來(lái)源。
另一個(gè)設(shè)計(jì)模型涉及構(gòu)建基于硬件的系統(tǒng),該系統(tǒng)提供確定性性能,以確保連續(xù)處理。該模型用于對(duì)來(lái)自多個(gè)來(lái)源的數(shù)據(jù)進(jìn)行近實(shí)時(shí)分析。
與此同時(shí),實(shí)時(shí)大數(shù)據(jù)系統(tǒng)受益于網(wǎng)絡(luò)節(jié)點(diǎn)以任意對(duì)任意模型相互連接的拓?fù)浣Y(jié)構(gòu),節(jié)點(diǎn)之間只進(jìn)行單一跳躍,為處理多個(gè)大數(shù)據(jù)流提供了一個(gè)專用系統(tǒng),具有低損耗和確定性性能。交換結(jié)構(gòu)可以提供這種模型。
交換結(jié)構(gòu)提供了整體系統(tǒng)帶寬和性能的優(yōu)勢(shì),特別是減少延遲。位置獨(dú)立性允許集群和數(shù)據(jù)從架構(gòu)中的任何位置獲得最佳性能。這種架構(gòu)還可以無(wú)縫地將新數(shù)據(jù)源合并到集群中,而無(wú)需重新連接,并極大地簡(jiǎn)化了系統(tǒng)的擴(kuò)展。它提供了收斂性,允許服務(wù)器集群和存儲(chǔ)區(qū)域網(wǎng)絡(luò)跨一個(gè)網(wǎng)絡(luò)進(jìn)行通信。資源作為一個(gè)實(shí)體進(jìn)行管理,策略可以很容易地跨整個(gè)交換基礎(chǔ)設(shè)施應(yīng)用。
實(shí)施大數(shù)據(jù)解決方案
大數(shù)據(jù)為企業(yè)提供了前所未有的獲取和分析數(shù)據(jù)的巨大機(jī)會(huì)。當(dāng)IT組織開始測(cè)試和開發(fā)他們的解決方案時(shí),網(wǎng)絡(luò)管理員必須考慮這些技術(shù)對(duì)他們的服務(wù)器、存儲(chǔ)、網(wǎng)絡(luò)和操作基礎(chǔ)設(shè)施的影響。企業(yè)如何才能最好地開發(fā)新的基礎(chǔ)設(shè)施來(lái)利用和分析不斷增長(zhǎng)的大數(shù)據(jù)流?在開發(fā)網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)時(shí)考慮以下問題:
●數(shù)據(jù)流的分析是實(shí)時(shí)進(jìn)行的嗎?
●是否有多個(gè)數(shù)據(jù)源,它們是靜態(tài)的還是流動(dòng)的?
●如果試點(diǎn)成功,集群需要有多大?
●增加更多的產(chǎn)能有多容易和快速?
●大數(shù)據(jù)應(yīng)用需要與其他應(yīng)用集成嗎?
回答這些問題將有助于構(gòu)建討論框架,它們將說明基礎(chǔ)設(shè)施將如何影響數(shù)據(jù)中心架構(gòu)和互連需求。
大數(shù)據(jù)使企業(yè)能夠制定新的戰(zhàn)略,提供實(shí)時(shí)業(yè)務(wù)分析和新的業(yè)務(wù)洞察,從而推動(dòng)業(yè)務(wù)的發(fā)展。然而,隨著企業(yè)看到的快速變化,有必要考慮為未來(lái)的業(yè)務(wù)需求提供規(guī)模、性能和空間的關(guān)鍵技術(shù),以滿足最高級(jí)別的投資保護(hù)、業(yè)務(wù)敏捷性和上市時(shí)間。