從比特搬運工到大數據運營者
有人說,大數據就像20世紀的石油那樣,是一種戰略資源。但20世紀之前的歷史長河中,石油根本不是戰略資源,甚至連一般性的資源也算不上。改變石油命運的,是100多年前內燃機的發明。
走進“第四個”大數據時代
現在所說的大數據,都是指“數字化”的信息。如果把“數據巨大”、“類型繁多”、“單位價值下降”和“處理及時”的非數字化的信息也認為是大數據,就會發現在人類歷史上已經多次經歷過 “大數據”時代,而且每一次“大數據”時代,都導致人類社會的巨大變革。
第一次是語言的發明。語言可以讓思想交流融合,讓分工合作成為可能。但隨著“語言大數據”的發展和應用,語言作為唯一載體的缺點開始顯現。第一,地理范圍有限,經常僅在部落內傳遞;第二,對象范圍有限;第三,信息容易失真;第四,信息容易失傳。于是,彌補“語言大數據”缺陷的新信息技術——“文字大數據”時代開始出現和繁榮。
相對語言,無論是圖形文字、聲音文字還是數學符號,可以承載的信息量和信息類型更多,傳播范圍可以更廣、更加準確和更加便于傳承。有了文字,無法長久保存和必須同步傳播的口頭信息,變成了“永久性”、可異步存儲的符號記錄。
文字(包括數學符號)的產生和傳播,使生產力又一次得到了飛躍,并且催生了歷法、兵法、法律和禮儀等,加速了貿易的發展,人類又一次被淹沒在了“大數據”的洪流中。文字是“大數據”的載體,但文字的載體是烏龜殼、羊皮和竹簡,以及后來發明的紙張等,相對仍然比較昂貴。另外,這些類型的書籍需要靠人工抄寫或雕刻,費時費力而且常會出現錯誤,因此書籍仍然難以平民化,“文字大數據”傳播的范圍仍然很有限。
于是讓信息可以用“工業化”的方式存儲和傳播的印刷術出現了。印刷術結束了手稿時代,讓文化廣為傳播,再次擴充了信息的數量和組織,“大數據”時代又一次來臨。印刷術導致書籍和知識“泛濫”,直接引發了人類社會的巨大變革。
隨著工業革命的推進,產生了更大量和更多類型的數據處理需求,導致了信息采集、保存和處理作為獨立的一個行業——“信息產業”的出現和繁榮。電力革命后,整個社會經濟活動的重點,從材料的使用轉移到了對“大數據”的使用,企業也在紛紛取消內部動力生產部門的同時增加了信息處理部門。而近年來隨著智能手機、平板電腦、個人電腦、數碼相機、數字攝像機、POS機以及各種各樣的傳感器等終端逐步接入互聯網,氣候、天文、地質、生物、基因、軍事、商業和醫療等行業數據的普遍數字化和網絡化,以及博客、播客、微博、社會化網絡等的爆發式增長,數據越來越“大”,人類又一次遭遇了“大數據”時代。與此同時,隨著移動互聯網和社交網絡的飛速發展,單位信息的價值快速下降,人類被淹沒在了“信息垃圾”之中。
這次的大數據時代中,信息的產生、傳遞和保存不僅“工業化”了,而且“數字化”和“自動化”了,人類社會發展的核心驅動力,也從之前的“動力驅動”轉變為“數據驅動”。垃圾是放錯地方的寶物,因此必須誕生革命性的技術手段,將這個時代的“信息垃圾”換一個地方,換一種方式提供給我們。
歷史上的每次“大數據”時代,對人類社會的影響都是革命性的,這次也必將會是顛覆性的。
云計算是大數據的“內燃機”
數據早已有之,但一直以來是信息化的“副產品”,非戰略性資源,直到云計算的發明。云計算讓大數據應用平民化,在大數據應用在經濟上變得可行。云計算之于大數據,就像內燃機之于石油。如果不是基于云計算的數據處理,數據再大也不是大數據,只是“數據大”。
20世紀,因為內燃機的發明,石油上位成了戰略資源。從在戰爭中偶爾使用石油,發展到了為了石油而戰爭。內燃機之于石油,就像WWW之于TCP/IP、App Store之于智能手機、大數據之于云計算一樣,都是后者的“Killer App”。
上世紀70年代初,計算機的發展應用產生的“大數據”(相對那個年代的人,那個年代的工具)需要管理,于是數據庫管理技術誕生,業界開始了專業化開采數據資源的工作。當然早期的數據管理工具比較“原始”(相對現在),只擅長對付 “結構化”的數據資源。
資源的價值大小,很多時候取決于開采工具的經濟性。人們希望找到更先進的工具,能夠管理更復雜的數據類型,從數據中提煉出更多的應用價值,就像歷史上內燃機曾經把石油的用途從照明擴展到動力世界那樣。
2006年前后,業界領先的企業發明了一種叫云計算的新工具,不僅可以開采新型的數據資源(非結構化數據),而且還發掘出了一些重要的新用途(如精準營銷、趨勢預測等)。最重要的,這種工具的成本還很低。于是業界都夢想著,用云計算這個新工具,也去淘大數據的金。
全球云計算已發展到了理性務實的落地階段,而大數據還處于炒作階段。大數據技術還不成熟,技術解決方案還以定制為主,通用型解決方案尚不多見。大數據源還以內部和結構化為主,未發展到內外結合、結構化與非結構化結合的階段。
從應用看,當前的大數據應用以漸進改善型業務為主,以程序化營銷和個人大數據應用最為成功,其他“革命型”應用尚不多見。大數據應用在全球的發展,已形成了“互聯網公司領導、開源社區擴散和ICT制造商產品化”的三階段或三層次現象。
電信業需實現數據資產化
電信運營商擁有海量數據。電信網的數據流量已超過了全部流量的99%,另外電信運營商還擁有海量的用戶數據、信令數據、日志數據、流量數據、位置數據等。電信業發展大數據,機遇和挑戰并存。
與互聯網企業相比,電信業大數據資源在真實性和廣度方面優勢明顯,擁有真實的用戶身份錨點(姓名、電話等)、用戶賬戶信息和用戶行為信息。而作為比特管道的電信公司只能在“路邊”看用戶的流量去了哪里,哪家網店的流量多大,剩下的就是政策不允許知道的了,因此電信業的大數據也是粗粒度的。
但二者的這種比較優勢是動態變化的,互聯網企業正在通過搶占更多入口、向基礎設施滲透和建立大數據聯盟等策略獲取更多數據,以彌補自己的短板。
全球領先電信運營商的大數據應用,目前主要是對內優化業務,對外合作提供服務或提供商業的數據服務,并以位置服務居多。中國的電信運營商也紛紛效仿,但目前還是以內部優化為主,偶有外部合作,與國外相比還差一個量級。
電信業發展大數據時,微觀層面存在以下短板:一是網絡強而自身IT設施發展滯后,尤其是大數據需要依賴的云計算基礎設施尚不完善;二是電信業的傳統產業鏈是一個開環,研發等要靠外部力量,而互聯網公司的大數據應用自身就是閉環;三是電信運營商的海量數據目前還分散在很多部門和地區,缺乏整合,是“數據大”而不是大數據;四是人才缺乏,尤其是IT人才和高端人才;五是隱私保護政策限制,政府和社會對電信運營商的數據隱私保護要求,一直以來就高于互聯網企業,是不對稱的“管制”。
電信業發展大數據也意味著,首先需從追求精確、高可靠性等傳統觀念轉向追求效率和成本,即所謂的“去電信化”。在通信資源昂貴而稀缺的時代,電信業以提高通信資源利用率為核心目標,創造了繁榮,也創造出了“電信級”的概念。ATM、軟交換、NGN、IMS、IP 電信網等技術或概念,都以資源稀缺為前提的,它們都忘記了摩爾定律的存在,導致處境尷尬。相反,不以浪費資源“為恥”的IP、以太網、Web技術,卻因為摩爾定律而大行其道,因為它們更簡單,更有效率(即便是看似存在資源浪費的現象)。
其次,大數據需要電信業的思維革命。大數據強調的是從“流程電子化”轉向“數據資產化”,之前是信息化為傳統的流程和管理服務,現在是以數據資產為核心重構傳統的流程和管理。電信業如何從重資產公司,轉型成輕資產的大數據公司,尚需進一步探索。
第三,電信公司需要以互聯網開放、共享和合作的思維發展大數據業務。第一階段需要做好內部數據的整合和應用工作,將“數據大”發展到以自用為主的大數據應用;第二階段與其他企業的大數據源互通有無,兩兩或多方合作共享,讓數據的交換和合作產生更大價值;第三階段,爭取從大數據的比特搬運工,成長為大數據的運營者和服務者。
(大數據百科)大數據的發展歷程
一直以來,不斷增多的數據都是一項挑戰。19世紀末,人口普查員不知道如何統計和分類快速增長的美國人口。1890年的人口普查活動促使美國統計學家赫爾曼.霍爾瑞斯發明了電動讀卡器,由此開創了數據處理的新紀元,這項技術也成為IBM發展的基礎。
大規模的數據信息的價值早在二戰時期就被美國軍方認識到了,在戰爭中進行了大規模的數據搜集。在大數據處理和存儲技術方面,起初主要是為了滿足軍事方面的需求。后來隨著互聯網技術和超級計算機的出現,新的大數據處理問題陸續出現,例如數據集通常大大超出了主存儲器、本地磁盤,甚至遠程磁盤的承載能力。“9.11事件后,美國政府就開始涉足大數據挖掘領域,組建了用于篩選通信、犯罪、教育、金融、醫療和旅行等記錄來識別可疑人員的大數據庫。之后又呼吁統一組建一個基于“網絡的信息共享系統”應對大規模數據問題。
總的來看,對大規模信息的處理需求從根本上拉動了大數據相關技術的發展,雖然起初對大數據技術的推動力主要源于國家安全方面,例如大數據的存儲和處理技術、以及大數據分析算法的研發,但最終這些技術開始廣泛應用于教育、金融、醫療等各個行業。
相關文章
大數據等構成的人體信息物聯網將改變未來醫療模式
一條項鏈可以實時監測人體心肺功能、一個戒指可以監測呼吸脈搏等指標、一副眼鏡可以監測精神疾病患者狀況……記者20日從成都舉行的2021第二屆四川康復治療及產業論壇上獲悉,由大數據、云計算、有限傳輸與無線傳輸相結合構成的人體信息物...
依托大數據物聯網 開展防汛工作
記者從白云區綜合行政執法局獲悉,為確保轄區安全度汛,該局充分利用大數據、物聯網技術,開展職責范圍內防汛搶險的應急綜合調度、指揮、協調工作,以有效應對汛期突發事件、緊急或特殊情況。該局以白云區“數字城管”系統平臺為基礎,依托...
治理PM2.5推行智能型環保 云計算大數據首當其沖
兩會期間,全國人大代表、廣東省家電商會會長、TCL集團董事長李東生接受采訪時一句:“北京昨天的霧霾還很重,今天天氣很好,北京的天氣比較講政治。”的玩笑逗樂了在場所有記者。
大數據和分析解決方案如何在數字時代徹底改變業務?
如今的技術在不斷地發展。無論是自動駕駛汽車、機器人還是重型自動機械,技術只會隨著時間的推移而變得更好。然而,很多技術在很大程度上依賴于數據、各種規模和類型企業的信息,以及解釋這些數據和信息的高級分析技術。由于大數據在推動組織數...
互聯網趨勢下,物流倉儲如何“玩”好大數據
前段時間電商物流界兩位大佬的“數據之爭”在網上鬧得沸沸揚揚,其他因素先不說,單說引起此次紛爭的“大數據”,已經是互聯網時代一個不得不思考的問題。早已有人斷言:得數據者得天下。巨沃成立至今一直專注于倉儲物流供應鏈的管理與訴求...