美國中央情報局迎接大數據分析技術挑戰
與IT相似,情報機關也在努力通過創新獲得快速分析大量來自不同源頭的數據能力。
雖然最近一段時間以來,美國國家安全局及其它情報機關大規模收集個人數據的做法引發了廣泛爭議;但從技術角度來看,通過分析將數據轉化為可操作信息仍然是一項巨大挑戰,即使是最具權勢的機構在面對此類難題時也感到有些無可奈何。
在剛剛于紐約召開的安全創新網絡峰會上,中央情報局科學與技術部門副主任Dawn Meyerriecks致辭稱,處理所有業務相關數據對于任何機構而言都仍是一項重大挑戰。甚至在成功收集之后,機構成員以實時形式對數據進行分析都無法做到。
“要查看一遍下一分鐘在互聯網上傳輸的所有視頻,我們要花上整整五年時間,”Meyerriecks解釋道。“因此我們根本不具備處理全部現有數據的能力。”
因此,美國中央情報局正在集中資金投向分析應用程序及系統的研發領域,旨在幫助自身更便捷地對來自不同來源的數據加以分析——這是為了避免將浩如煙海的數據保存在有限的內部存儲體系當中,Meyerriecks告訴我們。
大多數研究與開發活動都通過in-Q-tel(一家由中央情報局創立的風險投資公司)以及情報高級研究項目活動機構(簡稱IARPA,由高級研究項目署建立)共同負責管理。
根據Meyerriecks的說明,以IARPA的“集團性偶然事件評估(簡稱ACE)”為例,該項目希望通過對先進分析技術的研究簡化數據分析流程。而IARPA的“知識發現與傳播”計劃則意在從適配器及語義技術角度出發讓數據發現及實施變得更加簡單,最終從中獲取更具價值的背景信息。
雖然中情局的運營規模明顯超過一般性企業,但德雷斯納咨詢服務公司首席研究官Howard Dresner表示自身所在機構的IT部門在深入探索大數據的過程中,同樣面臨諸多來自高級分析技術的挑戰。即使是將Hadoop作為數據存儲框架,來自數據收集與大規模數據關聯的成本仍然相當昂貴。
為了降低這部分成本,技術人員想出了各種辦法。如果分析能夠針對來自多種來源的大量數據,那么處理費用將大大減少。“沒人能有短期之內從根本上解決成本問題,”Dresner指出。“我們能做的只是首先通過標準化方式對數據進行索引。”
當然,系統集成商普遍將大數據看作一次重大的發展機遇。舉例來說,CSCS剛剛收購了數據分析即服務廠商Infochimps公司,從而通過Hadoop與NoSQL數據庫的結合實現數據整理。
根據CSC公司數據服務主管Travis Koberg的說法,系統集成商希望大數據分析領域能夠實現跨應用程序起效并進一步作用于內部及云計算平臺。“我們正努力為大數據打造一套工業強度級別的平臺,”Koberg指出。“但我們仍然堅信大部分應用程序都能成功實現聯合。”
最終形勢將發展到何種程度目前還不清楚。就現在來看,命運的指針正朝著云聚集數據緩緩移動。然而將全部數據加以聚合的成本將繼續增加,IT行業與情報機構已經清醒地意識到,只有技術突破才能幫助自己在無關數據保存位置的前提下實現大數據分析目標。
相關文章
物聯網和大數據將會如何影響著醫療行業
無處不在的高速網絡連接,以及內置智能傳感器的設備體積越來越小且越來越便宜雙重因素的推動下,極大地推動了IoT健康服務的普及應用。除了諸如Fitbits之類的“健康”設備可幫助提供有關我們健康的大量數據指標外,近年來,經過批...
華為徐直軍否認自建芯片制造工廠 透露有部分芯片獲得了美國許可
據媒體報道,9月24日晚間,華為輪值董事長徐直軍在全聯接大會上媒體交流中透露,汽車芯片低端芯片獲得了美國許可,主要是供應車業務的芯片。新浪補充報道稱,面臨芯片斷供,關于華為自建芯片制造工廠的傳聞不斷,徐直軍開玩笑稱,“現在假消...
大數據指導零售運營 重慶3年內將打造100個智慧菜市場
“今年內,中心城區各區都將高質量打造一個標準化智慧化示范菜市場。”重慶商務委市場體系建設處副處長葉創表示,鼓勵和支持各市場主體,積極探索開展智慧菜市場建設,力爭在未來三年內建成標準化、智慧化菜市場100家以上。隨著新技能解鎖、...
大數據等構成的人體信息物聯網將改變未來醫療模式
一條項鏈可以實時監測人體心肺功能、一個戒指可以監測呼吸脈搏等指標、一副眼鏡可以監測精神疾病患者狀況……記者20日從成都舉行的2021第二屆四川康復治療及產業論壇上獲悉,由大數據、云計算、有限傳輸與無線傳輸相結合構成的人體信息物...