大數據時代來臨:逐步成主流
如今我們被稱為“大數據” 之物,曾今只是我們簡單的稱為“數據”。大數據不是一時流行,而是數據管理演變所產生的新興詞匯。大數據描述了數據增長的指數是多么巨大,為了能容納這些數據,我們努力提供存儲空間----大數據還能使用技術從新興數據中獲取信息,抓取新機遇。
通過這篇博文,你能夠了解大數據的最新變化。我將著重講述一些大數據案例分析,包括NoSQL 數據庫,Hadoop(分布式計算)平臺,預測分析等。尤其是數據可視化----它開辟了數據分析新領域----這是個經常出現的話題。
大數據有許多種的定義,Gartner將大數據形容為“容量大,速率高,且信息資產多樣,需使用全新處理方式,以提升決策力和洞察力,以及優化處理能力”,這是非常貼切的。首先,通過這些案例研究,我們將了解以下幾點:各機構如何通過新技術,迅速應對,并處理海量數據,并有效管理任意類型數據。
大數據的重大突破
為何在這個特殊時刻,大數據“翩然而至”?根本緣由在于網絡自身。網絡出現后,我們面對的對象已改變,不再是成千上萬客戶機應用用戶,使用由RDBMS(關系數據庫管理系統)支持的客戶機應用。如今,網絡應用對全世界客戶開放。通過使用這些網絡應用,成千上萬的用戶能夠產生成千上萬的數據。
數據規模之大,需要容量極大的系統才有空間容納,并為所有用戶提供服務----正是這一點,促進了NoSQL運動的發展。同時,還需要對這些半結構化的海量數據進行分析,以找出優化用戶體驗,以及貨幣化行為的方法。因此,Hadoop應運而生,MPP(大規模并行處理)分析數據庫逐漸進化,BI工具亦不斷推陳出新。
大數據發明者,以及大數據最早使用者們發現,傳統技術已滿足不了大數據需要。尤其是傳統技術成本過高,且需耗費較多精力,因此,他們轉而使用NoSQL,以及Hadoop。
比起使用傳統RDBMS,ETL(提取轉換加載),以及BI工具,這些用戶寧愿使用NoSQL,以及Hadoop,并放棄一些新功能。例如,若使用NoSQL系統,他們就將放棄ACID順從性。(ACID:指數據庫管理系統事務的四個特性:原子性,一致性,隔離性,持久性。);使用Hadoop,他們就將放棄傳統ETL功能,放棄[FS:PAGE]優質GUI(圖形用戶界面),以及實時查詢功能;使用BI,他們將放棄實時可視化,以及數據交互功能。這樣的例子不勝枚舉。至于這些公司認為這些犧牲值得與否,就因使用案例而異了。
逐步成為主流
最后,于大數據技術的早期用戶而言,他們終會希望能重新使用這些功能。大數據技術供應商能滿足他們的需求,在這之后,大數據就將不再是獨立的IT類別。
同時,數據增長速率將繼續加快。如今,網絡點擊流數據,系統事件,以及其它我們依賴的核心技術來源,為大數據處理提供了大量新生的,半結構化數據。在將來,移動設備,以及“物聯網”---物聯網-通過 RFID(無線射頻識別系統),以及其它傳感器進行連接----使我們能夠采集,并分析來自制造系統,運輸基本設施,醫療器械,以及你所能想到任何來源的海量數據。
因此,隨著大數據的持續發展,若僅關注早期的大數據應用,終將付出代價。那些我們與大數據聯系一處的新興技術,建立起了標準的數據管理體系,能夠應對隨后的數據大爆炸。
相關文章
《福布斯》:IBM或因大數據時代成為下一個谷歌
北京時間5月29日消息,《福布斯》雜志今日撰文稱隨著移動設備與物聯網的發展,海量數據不斷涌現。這意味著,企業能否有效地進行內部與外部數據的整合、分析對其發展具有重大影響。而這股浪潮也預示著新計算時代的到來。那么,在企業數據服務...
方中華:方正IT做醫療大數據時代領導者
“中國大數據浪潮已勢不可擋,方正IT要做中國醫療信息化的行業領導者。”最近,方正集團高級副總裁、方正信產集團CEO方中華在多次亮相中不無自豪地向外界推介方正IT多年來在智慧醫療方面所做的努力和取得的成果。
希捷錢亞歐:智能云存儲是大數據時代必需品
由工業和信息化部信息化推進司、商務部電子商務和信息化司指導,中國信息協會信息服務網絡委員會、Esri中國信息技術有限公司承辦的“2014中國城市信息化大會暨地理信息技術研討會南京站”在南京正式開幕。
解析大數據時代的數據庫集群技術
集群的存在意義是為了保證高可用、數據安全、擴展性以及負載均衡,作者從一個比較高的層面解讀了數據庫集群技術,從數據庫應用層面的Share-Disk集群直到集群的最高形式能夠提供負載均衡的集群。