|
標(biāo)簽：服務(wù)器，云計(jì)算，大數(shù)據(jù)，數(shù)據(jù)中心，
我們所處的社會(huì)已經(jīng)從IT(Information Technology)時(shí)代全面跨入DT(Data Technology)時(shí)代，數(shù)據(jù)滲透到當(dāng)今每一個(gè)行業(yè)和業(yè)務(wù)職能領(lǐng)域，成為關(guān)鍵的生產(chǎn)要素之一。從Gartner發(fā)布的大數(shù)據(jù)技術(shù)成熟度曲線圖中可以看出，大數(shù)據(jù)已不在是停留在概念層面，而是正式進(jìn)入了產(chǎn)業(yè)化應(yīng)用進(jìn)程中。據(jù)統(tǒng)計(jì)，僅全球交通、教育、消費(fèi)、電力、能源、健康與金融等7大重點(diǎn)領(lǐng)域的大數(shù)據(jù)應(yīng)用潛在價(jià)值就在3.2萬億-5.4萬億元左右，大數(shù)據(jù)潛在發(fā)展空間巨大。
然而，從中國信息通信研究院的另一組數(shù)據(jù)表明，國內(nèi)實(shí)際的應(yīng)用情況尚有差距，據(jù)統(tǒng)計(jì)有44%的企業(yè)還沒有大數(shù)據(jù)部署和應(yīng)用，24%的部署了但未實(shí)現(xiàn)大數(shù)據(jù)應(yīng)用，只有1/3的企業(yè)初步應(yīng)用了大數(shù)據(jù)，是什么制約了大數(shù)據(jù)的快速普及之路? 中國工程院院士、中國互聯(lián)網(wǎng)協(xié)會(huì)理事長鄔賀銓院士在2017大數(shù)據(jù)產(chǎn)業(yè)峰會(huì)上表示："數(shù)據(jù)資源的流動(dòng)性和可獲取性是大數(shù)據(jù)應(yīng)用和產(chǎn)業(yè)發(fā)展的基礎(chǔ)，直接關(guān)系到大數(shù)據(jù)價(jià)值的實(shí)現(xiàn)情況。"
傳統(tǒng)的統(tǒng)計(jì)分析經(jīng)常是對(duì)單一數(shù)據(jù)源(營銷數(shù)據(jù)、行政報(bào)表、問卷調(diào)查、人口普查等)進(jìn)行深入的追蹤和分析。分析人員對(duì)數(shù)據(jù)的來源和結(jié)構(gòu)有一定的控制和深層的了解。但在大數(shù)據(jù)時(shí)代，數(shù)據(jù)源是多樣的、多種形態(tài)的，海量的數(shù)據(jù)常常是半結(jié)構(gòu)或無結(jié)構(gòu)的。從數(shù)據(jù)獲取到最終的數(shù)據(jù)價(jià)值呈現(xiàn)要經(jīng)歷數(shù)據(jù)從源頭接入、處理、存儲(chǔ)計(jì)算到分析挖掘、應(yīng)用、服務(wù)的完整數(shù)據(jù)生命周期。這就要求數(shù)據(jù)科學(xué)家和分析師駕馭多樣、多源的數(shù)據(jù)，將它們梳理后進(jìn)行挖掘和分析。在這個(gè)過程中，數(shù)據(jù)融合就成為不可或缺的一步。
所謂數(shù)據(jù)融合，是以產(chǎn)生決策智能為目標(biāo)將多種數(shù)據(jù)源中的相關(guān)數(shù)據(jù)提取、融合、梳理整合成一個(gè)分析數(shù)據(jù)集合，實(shí)現(xiàn)數(shù)據(jù)資源的流動(dòng)和易獲取，從而支撐多樣并呈碎片化的商業(yè)智能服務(wù)使用。來自賽迪智庫的調(diào)研，現(xiàn)實(shí)中實(shí)施的大數(shù)據(jù)項(xiàng)目至少有80%的時(shí)間和經(jīng)費(fèi)花在了數(shù)據(jù)準(zhǔn)備上，其中多源數(shù)據(jù)的融合是最耗費(fèi)資源的任務(wù)之一。紐約時(shí)報(bào)也曾報(bào)道： “數(shù)據(jù)科學(xué)家把高達(dá)80%的時(shí)間用于數(shù)據(jù)準(zhǔn)備而不是用來發(fā)現(xiàn)新的商業(yè)智能”。
伴隨著人們對(duì)數(shù)據(jù)應(yīng)用價(jià)值的不斷渴求，區(qū)別于傳統(tǒng)數(shù)據(jù)統(tǒng)計(jì)的需求，用戶對(duì)大數(shù)據(jù)的數(shù)據(jù)準(zhǔn)備有著更高的要求：
第一， 多源。除了眾所周知的數(shù)據(jù)開放度的影響之外，多源數(shù)據(jù)融合的另一個(gè)瓶頸在于如何打破原有垂直建設(shè)系統(tǒng)間的信息孤島、構(gòu)造統(tǒng)一的整體的數(shù)據(jù)平臺(tái)，把分散但相互有關(guān)聯(lián)的數(shù)據(jù)以整體的視角看待和思考并進(jìn)行管理，并且通過這樣的統(tǒng)一平臺(tái)，對(duì)上層碎片化的或需要快速迭代的大數(shù)據(jù)應(yīng)用進(jìn)行有效、良好的支撐。比如在數(shù)據(jù)抓取中，要充分考慮傳統(tǒng)企業(yè)已經(jīng)具備大量系統(tǒng)存在的情況，而對(duì)于這些系統(tǒng)在不干擾的情況下，如何能夠把數(shù)據(jù)準(zhǔn)確、高效、實(shí)時(shí)的拿得出來，快速認(rèn)清企業(yè)有什么樣的數(shù)據(jù)原材料。這在非常多的尤其是政府、大型企業(yè)里面是個(gè)很大的挑戰(zhàn)。另外，數(shù)據(jù)進(jìn)來之后，因?yàn)橄到y(tǒng)和系統(tǒng)之間的建設(shè)時(shí)間是不同的，數(shù)據(jù)的表現(xiàn)形態(tài)也是各異的，我們要對(duì)這些數(shù)據(jù)進(jìn)行橫向之間的處理并且能把這些數(shù)據(jù)關(guān)聯(lián)起來，讓分散的數(shù)據(jù)形成一個(gè)整體，這都是數(shù)據(jù)融合過程中所要解決的問題。
第二， 實(shí)時(shí)。萬物互聯(lián)的趨勢(shì)下，人們不僅對(duì)于數(shù)據(jù)的數(shù)量，也對(duì)數(shù)據(jù)的時(shí)效性提出了愈來愈高的要求，有一組數(shù)據(jù)表明12%的管理者都能認(rèn)識(shí)到數(shù)據(jù)對(duì)于企業(yè)或組織的巨大影響，然而，53%的管理者認(rèn)為太多的核心信息不能及時(shí)獲得。特別是在某些連續(xù)性業(yè)務(wù)運(yùn)轉(zhuǎn)的應(yīng)用場(chǎng)景下，比如通信、金融、安全領(lǐng)域等，需要通過大數(shù)據(jù)技術(shù)對(duì)業(yè)務(wù)數(shù)據(jù)進(jìn)行實(shí)時(shí)同步的收集、整合與挖掘分析，用以指導(dǎo)甚至是隨時(shí)根據(jù)數(shù)據(jù)變化而調(diào)整業(yè)務(wù)策略，而不是把業(yè)務(wù)系統(tǒng)停掉先分析再作出決策。對(duì)未來的預(yù)測(cè)遠(yuǎn)比做事后諸葛更能體現(xiàn)大數(shù)據(jù)的潛在價(jià)值。
第三， 海量。在DT時(shí)代，數(shù)據(jù)量急劇爆發(fā)，據(jù)IDC預(yù)測(cè)，目前全球每年數(shù)據(jù)的生產(chǎn)量是 8ZB( 1ZB=1024EB)，2020 年將達(dá)到 40ZB。我們已經(jīng)從“傳統(tǒng)互聯(lián)網(wǎng)”時(shí)代的“線上數(shù)據(jù)化”階段和“互聯(lián)網(wǎng)+”時(shí)代的“線下數(shù)據(jù)化”階段，快速進(jìn)入了“數(shù)據(jù)流通時(shí)代”，即線上線下全產(chǎn)業(yè)實(shí)現(xiàn)數(shù)據(jù)化，數(shù)據(jù)在產(chǎn)業(yè)鏈上下游甚至跨產(chǎn)業(yè)流通并創(chuàng)造價(jià)值的階段。在這一過程中，目前數(shù)據(jù)的生產(chǎn)速度和能力遠(yuǎn)遠(yuǎn)大于我們對(duì)其使用和價(jià)值變現(xiàn)的速度和能力。對(duì)數(shù)據(jù)業(yè)務(wù)價(jià)值的高期望值和落后的數(shù)據(jù)集成方案之間的矛盾日漸突出。互聯(lián)網(wǎng)、物聯(lián)網(wǎng)、云計(jì)算，我們的業(yè)務(wù)系統(tǒng)每時(shí)每刻都在產(chǎn)生著大量的不同來源的數(shù)據(jù)，如何及時(shí)、有效、全面的捕獲到這些數(shù)據(jù)是另外一個(gè)會(huì)直接影響數(shù)據(jù)價(jià)值體現(xiàn)的關(guān)鍵因素。
多源、實(shí)時(shí)和海量，是大部分大數(shù)據(jù)應(yīng)用中的普遍性要求，特別是在智慧城市等具有跨行業(yè)、跨系統(tǒng)、跨職能整合需要的信息化項(xiàng)目中，科學(xué)高效的數(shù)據(jù)融合方案至關(guān)重要。前不久，在“2017大數(shù)據(jù)產(chǎn)業(yè)峰會(huì)”上，湖北省升級(jí)政務(wù)云“楚天云”項(xiàng)目就憑借其創(chuàng)新的數(shù)據(jù)融合模式榮膺“2017年度政務(wù)大數(shù)據(jù)優(yōu)先應(yīng)用案例獎(jiǎng)”。作為“智慧湖北”建設(shè)的核心工程，“楚天云”是目前國內(nèi)安全等級(jí)最高、規(guī)模最大、技術(shù)領(lǐng)先的省級(jí)政務(wù)云之一，承載了湖北省的52個(gè)省直部門的330個(gè)應(yīng)用系統(tǒng)的各類海量政府核心數(shù)據(jù)。
在“楚天云”建設(shè)之初面對(duì)數(shù)量龐大的多個(gè)系統(tǒng)，數(shù)據(jù)的流通和融合面臨巨大的難題。在經(jīng)過充分的調(diào)研和技術(shù)對(duì)比后，“楚天云”選擇了數(shù)據(jù)交換樞紐平臺(tái)的思路，采用目前國內(nèi)領(lǐng)先的大數(shù)據(jù)技術(shù)廠商—翱旗科技的R7系列產(chǎn)品技術(shù)，把數(shù)據(jù)交換平臺(tái)架設(shè)于楚天云自身的IaaS云平臺(tái)之上，通過數(shù)據(jù)集成交互技術(shù)和數(shù)據(jù)資產(chǎn)管理技術(shù)，消除不同操作平臺(tái)、不同類型數(shù)據(jù)庫、不同結(jié)構(gòu)數(shù)據(jù)之間的堡壘邊界，真正做到數(shù)據(jù)層面的互通、整合、聯(lián)動(dòng)，實(shí)現(xiàn)了數(shù)據(jù)間的無障礙互通。同時(shí)，通過非侵入式、無代碼圖形化集中管控，為管理者和使用者提供了高度易用性和低成本的管理運(yùn)維模式。在“楚天云”的后續(xù)應(yīng)用中，將通過建設(shè)這一數(shù)據(jù)交換樞紐平臺(tái)，在省級(jí)范圍內(nèi)建立起一種數(shù)據(jù)大平臺(tái)與碎片化應(yīng)用結(jié)合的數(shù)據(jù)生態(tài)系統(tǒng)，構(gòu)建起從數(shù)據(jù)產(chǎn)生到數(shù)據(jù)應(yīng)用的整套機(jī)制，提高數(shù)據(jù)的活躍度和利用率，讓數(shù)據(jù)價(jià)值得以真正呈現(xiàn)。目前，建成后的“楚天云”數(shù)據(jù)交換樞紐平臺(tái)能夠達(dá)到秒級(jí)傳輸幾百G的數(shù)據(jù)量，業(yè)務(wù)端和數(shù)據(jù)平臺(tái)端數(shù)據(jù)幾乎同步，完全能夠滿足管理決策者對(duì)于海量數(shù)據(jù)實(shí)時(shí)交互的需求，使具體業(yè)務(wù)場(chǎng)景下的效率提升，縮短決策時(shí)間，讓大數(shù)據(jù)價(jià)值得以體現(xiàn)。從數(shù)據(jù)融合角度看，“楚天云”案例，在“智慧政務(wù)”領(lǐng)域?yàn)槠渌腔鄢鞘许?xiàng)目提供了可參考借鑒的成功實(shí)踐。
作為“楚天云”數(shù)據(jù)交換樞紐平臺(tái)的建設(shè)者之一，翱旗科技定位于數(shù)據(jù)基礎(chǔ)科學(xué)研究，并擁有領(lǐng)先自主核心技術(shù)，所研發(fā)的產(chǎn)品以通用化為基礎(chǔ)、自動(dòng)化為實(shí)現(xiàn)方式、智能化為目標(biāo)，在“數(shù)據(jù)采集與融合、數(shù)據(jù)管理、存儲(chǔ)、挖掘與分析、可視化”整個(gè)數(shù)據(jù)生命周期中形成了獨(dú)有的產(chǎn)業(yè)閉環(huán)。在“楚天云”項(xiàng)目中，翱旗以數(shù)據(jù)融合為核心思路，基于數(shù)據(jù)底層技術(shù)，針對(duì)任何數(shù)據(jù)類型，通過對(duì)數(shù)據(jù)的實(shí)時(shí)感知、處理和管理等賦能過程，將繁瑣、復(fù)雜、高難度、高風(fēng)險(xiǎn)的數(shù)據(jù)需求標(biāo)準(zhǔn)化和組件化，能夠完成對(duì)省級(jí)多源海量數(shù)據(jù)的融合管理，為“智慧湖北”提供數(shù)據(jù)層面的完全支撐。除了應(yīng)用于智慧城市項(xiàng)目中，翱旗科技還進(jìn)一步把數(shù)據(jù)融合技術(shù)進(jìn)行了產(chǎn)品化。據(jù)悉，2017年4月13日，翱旗科技將正式發(fā)布針對(duì)大數(shù)據(jù)領(lǐng)域的系列通用化產(chǎn)品，包括數(shù)據(jù)集成交互產(chǎn)品和分布式數(shù)據(jù)庫產(chǎn)品等，能夠把大數(shù)據(jù)領(lǐng)域的系列技術(shù)和服務(wù)轉(zhuǎn)化成標(biāo)準(zhǔn)化、通用化的產(chǎn)品，這在國內(nèi)尚屬首次。
最近幾年，像翱旗這樣的國內(nèi)外大數(shù)據(jù)技術(shù)公司開始紛紛將數(shù)據(jù)處理整合過程中相關(guān)技術(shù)集合、組合，提升后開發(fā)出專門用于數(shù)據(jù)融合的新工具。應(yīng)用這些直觀、可視、高效的軟件工具，數(shù)據(jù)準(zhǔn)備過程的工效大大提高，在一定程度上解決了數(shù)據(jù)融合的技術(shù)瓶頸。2016年Gartner公司數(shù)據(jù)管理和分析軟件工具的評(píng)估報(bào)告顯示，數(shù)據(jù)融合處理類自我服務(wù)式數(shù)據(jù)準(zhǔn)備軟件(Self-service Data Preparation)已成為發(fā)展最快的工具之一。伴隨著大數(shù)據(jù)應(yīng)用需求的日益深入和普及，面向解決數(shù)據(jù)融合問題的通用化技術(shù)產(chǎn)品無疑將迎來更多的發(fā)展機(jī)會(huì)。
|
