[ 導讀 ] 10月25日，2012云計算架構師峰會在北京召開。近幾年，IT技術與互聯網的發展影響了整個產業的格局，帶來了全新、鮮活的業務模式。

今天首先很高興有這樣一個機會跟各位領導，還有IT界的同仁們一塊共享一下云計算作為現在IT新一輪的潮流。剛才北航的孫院長講了一句話，現在是IT界的亂世，亂世出英雄。我想大家也很清楚，隨著下一代IT趨勢作為互聯網新的IT技術的發展，大家現在確實進入到IT的新階段，在這個階段里，我想最主要的就是三個主要領域，第一個就是云計算，第二是物聯網，第三就是大數據。
　　
　　我想強調一下，其實從云計算來說，它最主要的帶給IT、帶給人類的三個主要的優勢，一個是它的經濟性，一個是它的快捷性，一個是它可以通過云計算來讓企業實現更多的創新。在這里，一個最主要的就是對資源的整合。大家聽到云計算里有一個最關鍵的詞，資源池，它等于把所有的資源數據通過云計算的技術、云計算的理念能夠整合起來，在這里面數據是非常非常主要的。云計算咱們剛才聽到了不管是IBM的同仁，孫博士講到了各種各樣的應用，其實所有的應用，數據是其中一個主要的核心，不管你是基礎設施、不管你的平臺、不管你的應用，沒有數據，你就是一個空的架子。從物聯網角度來說，它實際上主要是對目標的所有屬性進行采集，對這些屬性進行跟蹤、管理和分析，這些屬性是什么？就是數據。所以，在開場這一段我想說的，所有的這一切都是數據在云計算和物聯網里面最主要的，也是下一代IT趨勢的一個最主要的核心。我今天主要的重點是專注于大數據，大概從幾個方面，一個是大數據的概念，什么是大數據，為什么是大數據，現在大數據的重要性。接下來，從大數據的生命周期、主要的一些環節、主要有哪些技術去實現大數據給我們IT、給人類和企業所帶來的價值，微軟在這方面有哪些創新，我們在國內外有哪些案例，大概從這幾個方面來介紹。
　　
　　這個幻燈片剛才徐博士也播放過了，現在為什么在這個時間段大家進入了一個大數據的階段？我想主要的原因是很多的設備，不管是無線設備、公共互聯網，包括各種各樣社交網站、各種各樣互聯網的應用帶來的數據膨脹，包括云計算、包括硬件各個方面。隨著這些技術，隨著這些互聯網平臺，隨著設備不斷的成熟、不斷的擴大，由此而產生的數據就生長到了一個非常大的程度。同時，為什么大家說大數據這個概念？實際上在10年前，20年前，也有很多數據的膨脹，為什么現在我們要提到大數據是IT趨勢里很重要的一個環節呢？因為我想要做到對于數據的處理能夠更有效，你還需要硬件，在計算、在存儲、在各個方面有足夠的就緒，同時它的成本能夠降低。就像剛才徐博士講[FS:PAGE]的，如果說在10年前、20年前，1G硬盤需要花很多的錢，咱們也不需要去談大數據。云計算也好、大數據也好，其實最主要的給企業和政府帶來的利益就是它經濟上的價值。從這點來說，我想現在IT進入到了這么一個領域，通過有這么樣的一個不管是在硬件、在軟件各個方面就緒的這么一個階段。
　　
　　大家可能有一個很常見的問題，什么是大數據？從大和數據這兩個詞語里面大家可能有一個直觀體會，第一是數據，第二是大，這個大代表什么意思？從幾個方面，第一，所謂的大數據，主要的原因是隨著IT的發展，隨著互聯網的成熟，隨著剛才所講的各種各樣數據源的成熟，在這個世界上現在產生了各種各樣的數據，這些數據不光是它的數量的大小，同時是它的種類的繁多，不再像傳統那樣，很多結構化的數據，現在有各種各樣非結構化的數據，這些數據可以是視頻、可以是音樂、可以是文件、可以是各種版本的文件。這些東西隨著這些現有的技術，滋生出來各種各樣的數據，它就形成了一個大數據的“大”的概念，所以這個大不簡簡單單是尺寸的大小，表示了這個數據的復雜性。
　　
　　大家可以看到，通過這張圖，實際上在互聯網之前，主要的數據來源是企業內部的數據源，每一個企業有自己的IT中心，有面向企業的應用，通過ERP等各種各樣的數據。互聯網是一個非常大的創新，通過互聯網實際上對應用和數據提供了一個龐大的平臺，在互聯網上就滋生出各種各樣的數據，大家現在聽到過一個詞IT消費，我們每個人所接觸到的數據，或者你作為一個數據的發源體，所產生的數據是無窮無盡的。最近IDC有一個統計，到目前為止，整個世界的數據量是達到了一千個ZD，ZD是一個什么概念呢？ZD相當于10個億的PD，這個數據量已經膨脹到非常非常大的階段。在這個基礎上，同時，我想根據IDC的報告，在接下來的十年時間里面，這個數據還會繼續擴展，可能會擴展到一千個ZD的幾十倍，這就帶來了大數據它會給我們IT、會給我們企業帶來什么樣的價值，這一點實際上是大數據最關心的，也是大數據最主要的一個核心。如果我來定義大數據的話，我通過底下的這么一個圖表，其實大數據是一個產業鏈，也就是說數據現在在那里，很多可能是free的，有一千多個ZD的數據，你怎么利用這些數據去發掘它的潛能，必須要有產業鏈，從數據的產生到數據的采集，到數據的存儲，到數據的發送，到數據的處理，到數據的分析，到最后，通過你把這些數據產生出來的分析結果，如何用它去指導你的企業，并制定企業更好的方針和政策，所以它[FS:PAGE]是一個產業鏈的概念，在每一個環節都是不可缺少的。
　　
　　隨著大數據的趨勢和大數據的現狀，確實也給企業帶來了很多問題，包括一些挑戰，大數據在那里，我也知道它的價值，那么我怎么去通過大數據來發掘出它對我企業能夠制定更好的方針和政策，如何去更好的處理實時的數據，通過我剛才講的產業鏈，采集、存儲、處理、分析各個方面，最后如何通過更好的工具去分析，我把這些數據可視化。這些都是擺在企業面前的一個挑戰和創新。
　　
　　大數據確實是給企業、給世界、給IT，包括政府在內，提供了很多的機遇。其中之一，就是對于企業的決策，任何一個企業的決策，他通過什么去保證他能夠制定更好的方針和政策，我想這個東西不能只是拍拍腦袋，要根據一些真憑實據，現在有這么好的數據資源，怎么更好的利用，這是很重要的。大家可以看到，將近50%以上，現在在世界的各個企業的領導者都知道怎么去應用大數據來做企業規劃和戰略的制定。同時，大數據是一個產業鏈，這個產業鏈不光是虛擬的概念，它同時也帶動了不光是在軟件上，IT的服務、軟件的開發，包括硬件，我剛才講了，大數據離不開硬件的基礎、計算、存儲，也帶動了整個IT的商業發展。
　　
　　剛才講了一些概念，接下來我會從大數據的生命周期，我們微軟認為最主要的三個階段，來給大家做一些具體的介紹。這三個生命周期，第一，首先你要把這些數據采集起來，通過什么樣的方式。第二，這些數據要存儲，以什么樣的存儲技術，能夠保證它的安全性，它的不間斷性、可持續性、擴展性。在這個基礎上，當你也了數據以后，如何去把這些數據做處理，去豐富、去滿足你企業所想要的要求。最后，如何在這個基礎上，通過你已經處理好的、已經整合的、已經清理干凈的數據，來在上面做分析，來做格式化的展現。所以，這三個我想對于實現大數據的價值是非常非常重要的環節。
　　
　　說到存儲，大數據對存儲的要求是非常非常高的，我想從簡單的技術層面來說，你能夠存多大的數據量，你數據的安全性、不可間斷性、可持久性、擴展性，是這些數據存儲的基本技術。從另一點來說，大家又會面臨一個問題，也就是說現在大家說到云計算，一般來說，在一個IT的應用里，在數據存儲這塊無非有幾種方式，一種是傳統IT的方式，也就是說每一個企業郵自己的數據中心，這個數據中心既可以是傳統的物理機的模式，沒有采用云計算的技術，也可以是一個私有云，同時像徐博士也講了，微軟有自己的公有云，不光是微軟，還有業界的其他公司也有[FS:PAGE]公有云的這種模式，我也可以通過公有云來存儲管理我的數據。這里面有什么區別呢？我想給大家總結一下，比較大的區別，因為剛才徐博士也不斷強調安全，我想對于公有云的模式，實際上安全包括網絡上的速度可能是一個比起私有云和你自己的數據中心來講，是一個你需要考慮的因素。因為你一旦放在公有云上，你一旦開放了，你一旦通過很多的網絡，通過外網就會很必然的，特別是數據量很大，像大數據這么大的數據量，各種各樣復雜的數據，雖然能夠幫你節省管理和運營的成本，你不需要自己管理運營數據中心，但是也有它的弊病。從另一點來說，如果是你企業自己內部的一個內網監控下的私有云，或者傳統的數據中心來說，你可以通過你自己的控制，來保證它的安全，來提高你的效率，特別是數據中心的效率。
　　
　　從這個角度來說，混合云，在一種混合的模式下可能是一種最好的方式。也就是說對于大數據的處理，你可以根據企業的業務特性，來制定哪些應用、哪些數據需要通過私有云的方式，哪些需要放在公有云上，來利用公有云的優勢，這樣對于企業來說，最后是以私有云的方式來管理存儲大數據。
　　
　　從存儲的角度，我想再回到核心的技術，最主要的有兩點，第一，關系型的數據中心，第二，非關系型數據中心。比如說微軟SQLServer已經不簡簡單單針對結構化的數據，各種各樣的數據類型，SQLServer都有這個能力去處理存儲，甚至可以自定義自己的數據類型，有些數據類型可以通過它提供的技術自定義，同時因為它是關系型數據庫，對于剛才我講的大數據、復雜的數據，可以利用各種各樣的技術進行查詢、索引，比如剛才講的全文本的查詢、非結構化的屬性的查詢，都可以通過它提供的各種各樣的技術來管理、存儲，來更好的利用這些數據。
　　
　　另一點來說，叫非關系型數據存儲技術，它跟關系型的差別是什么呢？主要的重點是說我只是專注于數據的讀取，關系型的數據存儲非常復雜，對于非關系型的數據，比如說大的視頻、大的音頻，其實你更關心的只是我這個數據怎么存儲、怎么把它拿出來、做一些簡單的屬性上的查詢，不需要太復雜的關系型的操作。SQLServer的好處，從性能上、從效率上、從操作的簡單上，相應來說比關系型數據庫有它的優勢。但是從這點來說，我想這是兩個不同的技術。從微軟來說，SQLServer是微軟大數據平臺，特別是在存儲的角度。
　　
　　再講一下HADOOP，實際上HADOOP最主要的特性就是它提供了一種世界IT領先的技術，去如何通過這種并行的技術處理各種各樣[FS:PAGE]的數據，通過HADOOP自己存儲的空間，或者說跟微軟的存儲集成，但是最主要的它是世界領先的數據處理技術，一千個ZD的數據怎么去處理它，怎么樣利用現有的硬件資源去并行的處理，去達到智能性的處理，HADOOP無疑是現在非常領先的IT技術。從微軟的角度，我們利用大數據的平臺跟HADOOP的集成，更好的去為用戶提供這種靈活和方便的技術。
　　
　　我舉幾個例子，通過我們的活動目錄跟HADOOP的集成，能夠更好的提高HADOOP對數據的安全性，通過云計算主要的管理工具跟HADOOP的集成，能夠跟HADOOP為主的大數據的處理提供一套最先進、最靈活的管理方式。通過SQLServer，它的存儲也好、它的商業智能跟HADOOP的集成，能夠把HADOOP處理完的數據更好的展現給大家。所以，我們跟HADOOP的集成也是做到了淋漓盡致的地步，同時從微軟的角度，我們也提供了一個對于開元、更開放的平臺，跟世界IT領先技術進行了很好的結合。
　　
　　接下來有一個錄像，主要是SQLServer在5月份新發布的2012版本。這個錄像主要是從SQLServer大數據的存儲平臺和BI平臺的角度，包括跟HADOOP的集成，給大家有一個介紹，從我們的用戶在世界上的一些案例和這些特性，讓大家有一個逐步的了解。最主要的就是保證數據的不間斷性，這是一個大數據存儲必需的條件，大家想想，如果對一個企業來說，你這個數據的存儲要下線，對于用戶來說是一個什么樣的概念。HADOOP跟WindowsAzure的公有云，我們有一個HADOOPonWindowsAzure的集成，所以它在上面可以達到揮淋漓盡致的集成和應用。
　　
　　剛才講到數據的采集、數據的管理、數據的存儲，接下來，當你有了數據以后，如何去處理、去分析、去豐富，就像一個絞肉機一樣，剛才徐博士講到白菜架，我想怎么把白菜架上的白菜剁成餡包成餃子，接下來我會從這個方面給大家做一個介紹。
　　
　　數據的處理無非是幾個方面，你現在的數據存儲起來了，很龐大，雖然它們有一定的結構，存在關系型或者非關系型的數據庫里，已經也一定的模式，但是還是很雜亂。即使這些是跟企業相關的數據，如何把它細化，如何把它做成細碎的供企業真正應用的精神和技術上的食糧，我想在如何發現、如何組合、如何轉換、如何分類數據，都是下一方面要的主要方面。
　　
　　首先要了解這些數據的來源，它到底是什么樣的數據，是個人的、企業的、互聯網的，最后通過數據的整合和分析，你可以從數據里面提出精煉的你想要得到的價值。大家現在都知道應用商店的概念，應用商店什么意思？從微軟也好、[FS:PAGE]蘋果也好，業界都提供了應用商店的概念，在應用商店里，不光是用戶和企業都可以通過軟硬件的模式享受應用，同時也可以把自己的應用放在這個商店里共享，提供商業價值。在應用基礎上，由于大數據又帶來一個新的概念，就是數據商店，也就是剛才我講到的，從大數據的產業上來說，你需要一個數據商店的平臺，這個平臺能夠讓你去把你的數據，不管你是數據的供應商、集成商、采集商、開發商，你都可以通過這個平臺去把你的數據放到這個平臺上，去跟所有的企業、所有的伙伴共享。同時，你也可以享受在這個平臺上所擁有的各種各樣的資源。對微軟來說，我們在WindowsAzure平臺上，除了我們自己的應用商店以外，通過SQLServer的技術跟Azure的集成，跟HADOOP的集成，我們也創建了應用商店，它是一個非常好的模式，同時也是基于公有云上的數據商店這么一個平臺。
　　
　　當我對數據進行很好的處理和豐富以后，接下來要對大數據所做的事情，就是你如何根據企業的需要好好地進行分析，提供可視化的數據，來為這個企業服務。從這點來說，剛才我記得北航孫院長也講到人才，其實這個大數據不光是帶來了整個IT產業鏈的發展，同時也帶來了對新的人才的需要。大家可以看到最左邊的數據科學家，實際上數據科學家是隨著大數據而產生的，他不一定是一個IT專業人士，但是他要對這個企業有特殊的專業知識，他能夠知道擺在我這個白菜架上的這些白菜，哪些是企業需要的，哪些是需要留在那里的。所以，這個數據科學家我認為是伴隨著大數據產生出來的一個新的職能，是一個亂世出英雄的機遇。你要通過對商業智能各種各樣的工具、各種各樣產品的熟悉，來產生你的商業智能分析的模式，然后通過你的技術，把這些分析的模式，怎么把它通過可視化的方式展現給最終的用戶。所以，這三位人員實際上他是對整個大數據分析里面必不可少的三個職能。
　　
　　接下來這個錄像主要是給大家展示一下微軟SQLServer，我想大家需要看到的就是SQLServer2012在數據展示上有哪些新的技術，通過拉拽過程中，沒有用過一次鍵盤，最右邊是大數據各種各樣的分類。這是一個汽車租賃公司，他通過這些數據，通過拉拽的方式，產生各種各樣類型的展現模式，這些模式是通過Windows、Office等等來展現的，你可以在數據間根據你的需求來自動展現想要達到的數據模式。另外對于一個不懂IT的專業人員，你也是通過這種方式來實現你所要的數據展現。比如我我是一個企業的老總，我想看看這個季度的銷售量，哪些人想買什么樣的車[FS:PAGE]，我只要把這個拉拽到我的窗口，通過一年的分析，每一個季度的分析，甚至有動態的移動，來顯示不同季節之間的數據變化，非常非常酷，也是一個非常非常重要的在大數據里面的一個必不可少的階段里的一個重要的技術。
　　
　　我想總結一下從微軟的角度，剛才我講到大數據的生命周期，數據的采集、管理、存儲，數據的豐富、處理、數據的分析，我們微軟作為一個世界領先的軟件公司，我們都有哪些方面的技術、解決方案，能夠幫助企業和用戶來實現你這個大數據在產業鏈的每一個過程。從下到上，剛才我給大家也介紹了，以SQLServer這個大數據的平臺為主，通過跟HADOOP的集成，通過跟WindowsAzure公有云的集成，來實現在這個產業鏈里的每一個步驟，可以通過嵌入式的Windows放在每一個設備里。我舉個例子，通過Windows嵌入在每一個設備里，來提供每一個設備所產生的各種各樣的數據，比如說車載的設備，怎么能夠及時跟蹤這些數據，這個數據能夠通過微軟集成的技術，把它通過互聯網、通過網絡轉移的我的數據庫，各種各樣的數據源，不同的數據庫、不同的文件、HADOOP都可以通過微軟數據庫集成的技術把它通過數據的轉換，存儲到微軟的數據平臺上。在這個基礎上，通過跟HADOOP的集成，能夠利用HADOOP對大數據處理的優勢，在跟微軟各種各樣領先技術的結合展現分析，這樣就把整個數據的產業鏈提供了一個從底到上完全的解決方案，最后，通過剛才我給大家介紹的可視化的工具，也就提供了一種完整的產業鏈和一套非常合理有效的結構。
　　
　　微軟在大數據上，我們在最近這幾年在世界上的各個地區跟很多客戶也做了很多成功的案例，中國也是微軟很重要的市場，我們也做了很多相應的云計算、大數據的成功案例。接下來，我也想就這個機會給大家展示一段錄像，這是我們在中國的一個非常成功的與食品監控有關的案例，實際上它集成了云計算、物聯網還有大數據三個最主要的IT趨勢的核心。
　　
　　剛才這個短片我們管它叫豬肉云，成都是全國豬肉最主要的產地，我想給大家說的是，它實際上是給了一個很高的案例，在這個上面大家可以看到，這里面所用到的技術，云計算、虛擬化、高性能計算、管理、數據庫、大數據的平臺、BI商業智能的分析，包括云加端的概念，這是一個很典型的已經在實用，已經落地，已經被政府正式采用，為市民提供服務的一個很好的案例。
　　
　　最后，我想總結一下，大數據讓我們所有人都很興奮，但是，對于大數據來說，它還是面臨著一些挑戰，不管是云計算還是大數[FS:PAGE]據，我們進入到這個亂世，但是這個亂世還是有很多風險，也有很多未知的難題需要我們共同去解決。
　　
　　簡單總結一下，從大數據的角度有幾個比較主要的挑戰，第一就是專業人員，包括三個方面，數據分析師、商業智能分析人員包括計算機的開發人員，大家看到這個商業里面有很多東西，有基本的技術支撐平臺和技術，但是需要很多的開發和操作。第二，公共的常識，大家對大數據是一個什么理解，不同的人、不同的企業有不同的理解，怎么能夠統一他的理解，這個很重要。需求的差異，一個大型的企業和中小型的企業對大數據的要求和應用模式是不一樣的，怎么能夠按需來制定你的大數據技術和方案非常非常重要。最后，產業鏈的完整性，剛才我所講的，如果這個產業鏈缺一個環節，你都不叫大數據，所以，在你想利用大數據挖掘潛力的時候，你要想到這個產業鏈的每一個環節用什么樣的技術去解決。采集的短缺，真正去采集這些數據的企業人員到底有多少，有多少是一個專門的進行數據采集的，這還是一個未知數，而這一點是剛才我所講的產業鏈的第一位，接下來才是存儲，才去把這些數據整合起來。
　　
　　標準化，現在五花八門，各種各樣的技術，這些技術對大數據處理所帶來的劣勢是你要經過很多格式的遷移、各種各樣非標準化相互之間的集成，這樣在不同程度上，對數據的讀取中間有很多的環節，不管是存儲的技術、開發的技術、整合的技術，這一點也是一個非常大的挑戰。我想任何一個IT的新的技術，經過一段時間，大家都會照著一個標準化去發展，不管是像大家知道的互聯網、云計算、數據庫，雖然有各種各樣的廠家，但是大家還是有一個比較一致的標準，我想大數據將來也會朝著這么一個方向去制定它的基本標準。
　　
　　基礎設施，很簡單，我想如果沒有硬件、沒有網絡，沒有一套很完整的私有云或者公有云，這些東西如果不解決的話，你的數據只能擺在白菜架上，可能甚至擺在地上，因為你沒有這個白菜架。
　　
　　可視化工具非常非常重要，做了一系列的在這個產業鏈里的采集、存儲、處理。最后你需要把這些數據通過簡潔易懂的模式展示出來，你需要很好的工具快速的實現可視化，剛才我也給大家演示了微軟BI的可視化的工具，我想這個在業界還是一個非常領先的可視化工具。
　　
　　根據剛才我所講的，我也大概總結了從產業鏈最開始到最后的一個大概的解決方案的框架，從數據的采集，利用什么樣的技術，利用HADOOP、SQLServer的存儲，通過BI，通過這種可視化工具，最后怎么去展現，[FS:PAGE]這個數據里面有這種流媒體等等，我想這個也作為今天演講的一個總結。這里也有一些資源，我知道明天有一個分會場，我們有一個SQLServer的大數據專家，他也會專門對大數據和HADOOP的集成做一個非常詳細的討論。謝謝大家的聆聽！

【聲明】物流產品網轉載本文目的在于傳遞信息，并不代表贊同其觀點或對真實性負責，物流產品網倡導尊重與保護知識產權。如發現文章存在版權問題，煩請聯系小編電話：010-82387008，我們將及時進行處理。