物聯網高速公路上,快數據如何驅動分析
大數據時代,快數據(fast data)有望給企業帶來新的機遇。智能手機、傳感器和社交媒體產生了上百億個數據節點,如果你沒有能力對這些數據節點以及物聯網作出響應,那快數據帶來的商機將與你擦肩而過。
對于很多商業分析應用程序,快數據的分析和處理是大數據項目中不可避免的難題。每當數據科學家從他們的大數據集(靜態的)挖掘出新內容時,業務人員立刻就會去想從中賺錢的方法,同樣,動態數據中巨大的經濟利益也會促使快數據在商業中受到更多的重視,相信未來快數據會在商業中發揮更大的作用。
TIBCO這個公司從字面上可以理解為“有信息總線的IT企業”,它旨在為各種企業系統(如股票市場和交易應用程序)之間提供高速、低延遲的連接。現在該公司致力于發展物聯網(IoT)和快數據相關的技術,并將其作為自己的“兩個第二優勢”。
TIBCO市場部門高級總監告訴我們:“快數據首先要解決的是數據訪問問題,即首先得訪問到數據,現在我們正努力捕獲所有不在防火墻保護范圍內的數據,不管來自社交網絡還是其他有API的來源。
例如,零售商使用BusinessWorks(該公司近期公布的旗艦版數據集成平臺)可以通過客戶的智能手機捕獲客戶地理位置數據,并且可以基于客戶地理數據使用實時商品推薦系統。“通過了解潛在客戶的信息,從他們的大數據中發現用戶愛好、特征,然后向客戶推薦他們有可能喜歡的牛仔褲品牌以及類似商品,將客戶介紹到商店,基于對客戶信息的掌握,交易成功率被大大提高了。
當挖掘社交媒體數據以獲得分析見解時,速度是至關重要的。有一篇報道談到過一個名字叫Blab的公司,該公司從社交媒體數據中提取信息,用以幫助廣告商或公關公司作主題預測,判斷哪些主題會有較好的傳播效果(像病毒一樣被傳播和擴散)、哪些會石沉大海。
Ugam是另一家物聯網公司,準確的說是一家分析應用開發商,這家總部在Texas的公司從物聯網和快數據中發現了商機,它通過分析來源于社交網絡的免費消費者數據,幫助零售商決定賣什么商品,以及將商品放在貨架的什么位置。當然,數據的來源也很重要,因此需要慎重選擇“監控”哪些社交網絡。
Ugam首席創新官Mihir Kittur告訴我們:“實際上,當想要從客戶那兒得到反饋來幫助商品定價、分類時,我們會覺得Twitter有點‘吵’,用戶的抱怨與普通的不相關信息摻雜在一起,數據太雜亂了。不過,Ugam也發現當把產品評論、Google+、Facebook以及Pinterest的數據整合到一起,可以為產品定價和分類提供更好的支持。
零售業的高速發展為研究快數據理論、了解其獲利能力提供了方便。但當考慮研究快數據為人們提供幫助時,沒有哪個行業能比得上醫療行業,TIBCO的研究人員致力于構建快數據應用,從醫院數字化設備產生的大量信息中發現潛在模式。
TIBCO的Been告訴我們:“我們的客戶希望能將醫療設備產生的數據整合到一起,這樣可以更早地診斷出疾病,更早地為病人提供正確的治療方案,通過大數據技術挖掘數據中潛在的信息,了解疾病的傳播,還可以通過對實時數據分析發現疾病的臨床癥狀。”
雖然如今的Hadoop已成為大數據代名詞,但Hadoop不可能解決一切大數據問題,尤其是針對快速數據來說。TIBCO對Hadoop就不太感冒,該公司的首席技術官Matt Quinn在公司上個年度用戶會議上就告誡人們不要過分依賴“大象”——Hadoop。
Hadoop由于缺乏交互性和實時功能常常被人們抱怨,不過Hadoop也在努力地添加一些新的實時分析功能,也許將來Hadoop也能成為一個快數據平臺,還有兩個優秀的大數據技術也值得考慮——Apache Spark和Apache Storm。
Spark一直被看作MapReduce的替代者,獲得了多方的追捧。Spark目前已成為Hadoop數據平臺中重要的數據分析工具,相比MapReduce,Spark不僅更易于編寫代碼(支持Java、Python和Scala),而且速度更快,同時,Spark還為SQL(Shark)預先構建了hook函數,具有實時流媒體(Spark流)、機器學習(MLLib)和圖處理(GraphX)等多種功能。
MapR作為Hadoop軟件供應商,一直努力改進Hadoop技術以增強快數據的處理能力,MapR最近宣布了它與Databricks合作——將內存Apache Spark技術整合到Hadoop產品中,MapR的競爭對手Cloudera也將Spark加入了Hadoop中,Hortonworks則一直為Spark提供支持,預計在今年將為Spark提供全面的支持。
Storm在應對快數據處理方面具有優越的性能,使其具有很多追隨者。很Spark一樣,Storm為用戶提供各類的語言支持,包括Ruby、Python、JavaScript、Perl、PHP。
LivePerson是一家使用Storm技術的公司,為用戶提供基于Web的通信軟件。在近期的一個視頻中,Ido Shilon、LivePerson平臺工程組的團隊領導,解釋了該公司如何重建其后端基礎設施,以及如何使產品有更好的彈性等問題。
LivePerson實時系統的核心技術是Storm和Apache Kafka,還有Couchbase NoSQL數據庫。作為其信息進程初始化的一部分,該公司致力于收集所有會話信息,比如網站用戶來自哪兒,他們使用什么瀏覽器,他們訪問過哪些頁面等等,這些信息先通過Kafka流式處理,然后用Storm進行分析,最后以文檔的形式存儲在Couchbase數據庫中。最終,這三款產品將構建出它們的“智慧庫”,用于分析信息。
隨著物聯網的發展,應對快數據的困難將越來越大。物聯網會給我們帶來更多的快數據,機器產生的數據量會超出我們想象,而且這些數據既不直觀也不易于使用,但這一切將為那些以數據驅動業務的公司帶來更強的競爭力。誰先做好準備,誰就能在競爭中獲得優勢。
相關文章
快速成功地連接物聯網產品的5個技巧
對于物聯網設備制造商來說,蜂窩物聯網是實現互聯網連接的最可靠和最容易獲得的方式之一。根據ABIResearch的數據,到2026年,全球蜂窩物聯網設備總數將達到57億。蜂窩物聯網的采用正在增長,因為它易于部署和擴展。您只需要一...
江西:到2023年底物聯網產業規模突破2000億元
5月19日,記者從江西省工信廳獲悉,為深入實施數字經濟做優做強“一號發展工程”,加快江西物聯網新型基礎設施建設,江西省工信廳、省委網信辦、省科技廳等9部門聯合出臺《江西省加快推進物聯網新型基礎設施建設實施方案》(以下簡稱《方案...
物聯網加速融入生活場景,智能家居設備能做什么?
智能設備和物聯網已經進入現代家庭生活的幾乎所有方面。從您的安全系統到冰箱,“智能”電器已成為新常態。但它們真的能讓你的家變得更好嗎?或者所有這些智能家電只是另一種時尚,從長遠來看,您最終會后悔花額外的錢?讓我們來看看在家里裝滿...
京東方:物聯網創新業務打開更多增長空間
從北京大興國際機場,到莫斯科城鐵列車,再到紐約商超門店,如今,物聯網創新解決方案已覆蓋全球眾多地區、涉及生活的方方面面,帶給人們全新的體驗。而這一改變的背后,正是京東方在物聯網領域取得的豐碩成果。夯實全球半導體顯示霸主地位...
5G如何改善物聯網部署的6個示例
隨著數字化轉型如火如荼地進行,連接的設備數量正在快速增長。IDC數據預測,到2025年,每分鐘連接的物聯網設備將達到152,200臺。雖然這將轉化為更多的數據,從而有更多的途徑來提高效率,但對于這種數據交換來說,一個強大的網絡...