[ 導讀 ] 據IDC報告顯示，2011年全球數據量達到了1.8ZB，相當于全世界的人每人手里有約5部Iphone手機的全部容量，而且全球數據量大約2年翻一番,到2020年將達到40ZB,非結構化數據約占90%。

　　這些浩瀚如宇宙的數據信息需要可靠存儲的同時，還需要被大量的使用者快速訪問，高效的檢索、分析與挖掘。因此，繼物聯網、云計算之后,”大數據”已迅速成為信息化技術發展的熱點，各行業對于大數據技術的應用也漸呈白熱化狀態。如何更方便管理大數據，如何更快速地將大數據技術應用到企業業務中，如何更有效實現企業大數據的價值成為了各大企業爭相競逐的熱點。
　　
　　賽思信安公司憑借在海量數據存儲、優化、安全與管理等領域的多年研發積累，推出了賽思大數據一體化解決方案，即Scistor®BDMS賽思大數據管理系統。該系統以其精簡、智能、高效、開放及本土化設計的五大創新理念，展現了先進的設計思路和獨特的技術魅力，攻破了多項國內數據存儲和計算領域的關鍵技術，如：分布式存儲、多源異構數據整合、重復數據刪除、并行計算等等，受到行業內廠商與專家的高度關注，賽思信安也一躍成為國內在大數據核心技術領域里具有自主創新能力的領先廠商。
　　
 　　下面，我們簡單介紹一下Scistor®BDMS賽思大數據管理系統軟件架構的幾個層次及主要技術特點。

Scistor®BDMS軟件架構

　　上圖可見，Scistor®BDMS賽思大數據管理系統架構分為四層。最底層為數據管理平臺，負責完成數據存儲與計算。其中ddfs采用的是賽思自主創新的高效數據消冗引擎，即賽思消冗技術。賽思消冗技術結合了定長分塊技術和變長分塊技術的優點，形成了文件感知消冗技術，一方面占用少量系統資源，另一方面達到很好的消冗效果；檢索引擎主要負責完成實時查詢與全文檢索，賽思檢索引擎支持多種檢索模式，一份數據既支持實時查詢，也支持離線分析，還支持全文檢索和MR并行計算；分析引擎主要負責數據離線分析；分布式計算引擎采用share-nothing架構，負責系統并行計算，實現并行計算編程模型和運行時框架，從而為數據分析層提供強大的計算能力。
　　
　　第二層為數據分析層，主要基于數據管理平臺提供的數據進行存儲與計算，在此基礎上完成數據的分析挖掘。第三層為數據展示層，該層主要為用戶提供經過檢索、分析后數據的在線展示，包括報表、趨勢等多形態效果展示。最上層為應用結合層，Scistor®BDMS提供多種二次開發接口，可以針對客戶不同業務應用定制不同的模板，形成具有各行業特色的大數據應用整體解決方案，滿足各行業用戶應用的不同需求。
　　
　　Scistor®BDMS賽思大數據管理系統與市場上幾款主流國外廠商的大數據產品相比，還具有以下特點：
　　
　　較原有Hadoop系統，Scistor®BDMS與Oracle數據庫很方便的結合。原有Hadoop支持簡單的sql語句查詢，基本為K-V查詢。BDMS查詢語義更為豐富，支持絕大多數標準SQL語句，支持組合查詢，支持模糊檢索，支持聚合查詢等；
　　
　　Scistor®BDMS可支持MapReduce分布式計算框架；
　　
　　原有Hadoop系統中不同組件，存放數據格式不一致，而Scistor®BDMS存儲格式統一，在一份數據上Scistor®BDMS同時可支持實時查詢，離線分析，全文檢索及MapReduce計算等；
　　
　　支持的檢索模式豐富，除了Hadoop的KV型檢索，還支持多維檢索、模糊檢索、正則表達式檢索；
　　
　　原有Hadoop組件Hive支持SQL語義稍微豐富點，但性能極低,Scistor®BDMS支持SQL語義豐富，而且查詢性能極高；
　　
　　融合了賽思的消冗技術，對數據存儲空間利用率及數據處理效率有比較明顯的提高；
　　
　　Scistor®BDMS對小文件存儲進行了優化，可以支持億級海量小文件高效的存放與讀取。
　　
 　　Scistor®BDMS賽思大數據管理系統可廣泛應用于政府、商業智能、金融、能源、互聯網/物聯網、教育科研、醫療衛生、智能交通、智慧城市等諸多領域。在這些應用中該系統首當其沖的可以解決其激增的多源異構數據的統一存儲與管理；其次是與行業應用相結合實現對其數據的快速檢索、分析與挖掘；再者是根據數據分析結果為用戶提供報表、趨勢等多形態效果展示，實現人與數據智能溝通，去除一個個的信息孤島，助力企業在大數據時代創造更高的商業和社會價值。

 

【聲明】物流產品網轉載本文目的在于傳遞信息，并不代表贊同其觀點或對真實性負責，物流產品網倡導尊重與保護知識產權。如發現文章存在版權問題，煩請聯系小編電話：010-82387008，我們將及時進行處理。