微軟全球副總裁張亞勤說，大數據現在是一個很時髦的名詞，它是一個很重要的云計算的機遇，同時也確實是一個挑戰。從三高特點上看，包括高容量（過去兩年產生的數據基本是人類歷史兩年前數據的總和，且如今每兩年增加一倍。）、高素質（當下數據的產生越來越快，需要數據的時間和反映的速度也是越來越快）、數據類型多（比如說有時時的，非時時的，結構化的，非結構化的，也有從服務器來的，也有從商業公司來的，這么多不同的數據，對于過去的系統而言，前所未有，如何處理？）三個方面。

 　　也有一個挑戰，即各種不同的數據挖掘技術、商業智能的軟件系統對數據的解讀不一樣，會產生各種不同的結果，具有高度的可變性，最終會產生壓力。對此，我們需要將所采集的數據，即一種原始的信號，變成可用的數據、信息和知識，最后成為決策的依據。這整個的過程，絕不是一種數據挖掘和分析工具能解決的。

　　EMC基辛格：大數據和云計算概念不同但有交集

 　　“EMC正在處于轉型期，從過去到未來，這種變化讓EMC將是兩家完全不同的企業，”EMC信息基礎架構產品事業部總裁兼首席運營官帕特？基辛格一年后如約再次來到中國，“過去EMC只是一家存儲廠商，而未來EMC將引領信息基礎架構解決方案市場的發展，成為市場的領導廠商，而不再是一個跟隨者。”

 　　EMC信息基礎架構產品事業部總裁兼首席運營官帕特？基辛格

 　　EMC 2011年開局不凡，第一季度財報顯示EMC Q1綜合收入創紀錄達到46億美元，其中在在歐洲、中東和非洲地區、亞太地區和日本都取得出色業績。“其中大中華區業務增長態勢非常良好，在中國的市場份額在增加中，研發中心的能力也不斷壯大，其中包括Hadoop和Greenplum的研發工作也在中國進行。目前對大中華區EMC團隊的表現非常滿意。中國市場很大，所以要走的步伐還要更快一些。”基辛格如是評價。

 　　在剛剛結束的EMC World 2011上，EMC除了一直倡導的云計算外，還拋出了“大數據”概念，大數據構想是EMC帶來的全新理念，想要理解好這個概念首先要從“大”入手，“大”肯定是指大型數據集，一般在10TB規模左右，但在實際應用中，很多用戶把多個數據集放在一起，已經形成了PB級的數據量，而且這些數據來自多種數據源，并以實時、迭代的方式來實現。這種大數據趨勢應該是順勢而生，在醫療、地理信息、基因分析、電影娛樂行業都會存在大型數據，而EMC通過Avamar、Isilon、Greenplum等產品不是簡單把數據進行存儲[FS:PAGE]，除此之外還需要對數據進行分析，并且與業務流程聯系到一起以進行操作。

 　　在本次的EMC World 2011上，EMC針對常用于數據密集型分布式應用的Apache Hadoop開源軟件，宣布了一項有關軟件發布、集成和支持的全面戰略，為客戶提供了最強大、最高效率的方法，充分挖掘大數據的價值。這項戰略發布，將進一步鞏固EMC的領先地位。EMC今天還推出了世界上第一個定制的、高性能的Hadoop專用數據協同處理設備——Greenplum HD數據計算設備(Data Computing Appliance)。

 　　基辛格透露：“可以說Hadoop戰略代表著EMC進軍開源領域，同時還宣布了15家EMC Hadoop分銷商，更多的新產品和解決方案將在VMware大會上進行發布。”

 　　而在大數據市場，EMC也面臨著諸如IBM、微軟、甲骨文等實力強勁的競爭對手，其中，IBM在大數據領域對EMC威脅極大，對此，基辛格分析道：“IBM擁有非常豐富的資產，比如有DB2數據庫環境，而且IBM收購了很多企業，在整個硬件、軟件、解決方案都有非常強的研發力量。最近IBM在推進大數據項目，IBM也是Hadoop的分銷商，所以在大數據領域EMC和IBM有很多競爭。但我們的大數據戰略不同，EMC秉持著基于云、虛擬化、X86架構，而IBM是局限于大型機架構，不具有伸縮性，這將極大制約IBM架構的發展。”

 　　事實上，大數據和云計算是兩個不同的概念，但兩者之間有很多交集。簡單形容兩者的關系就是“大數據離不開云”，支撐大數據以及云計算的底層原則是一樣的，即規模化、自動化、資源配置、自愈性，這些都是底層的技術原則，實際上大數據和云計算之間存在很多合力的地方。

 　　云計算和大數據已經成為許多企業面臨的希望和挑戰。企業認為云計算是所有的數據問題的答案，其想法是利用公共云，最大限度地提高企業的成本效益，獲得更有彈性、有無限的可擴展性的解決方案。

 　　像大多數的技術解決方案一樣，這是談易行難的主意。在企業想將數據庫遷移到公共云之前，還有很多關鍵技術和戰略必須得到解決。

 　　挑戰一：整合

 　　第一個問題是整合。當整個公司的運行在一個特定的系統，并收集數以百萬計的數據，當涉及到一個新的系統，系統將如何收集這些數據，準確的翻譯，并與現有系統同步？

 　　規模較小或那些剛剛開始建立自己的系統的公司，可能要稍微簡單，但只是稍微——他們還要面臨帶寬限制和設置成本的問題。

 　　挑戰二：安全

 　　第二個挑戰是更為重要的—[FS:PAGE]—安全。私有云很明顯提供更好的安全性模型。這并不是說，沒有辦法保護你在公共云的數據，但它確實變得更加脆弱。

 　　挑戰三：關聯

 　　第三個是最關鍵的，至少對于企業主而言。這個問題就是業務相關性。

 　　到目前為止，許多云計算公司在兜售其技術，這并沒有什么錯。這是令人印象深刻并且真正改變游戲規則的。然而，任何一種技術是無用的，除非它服務于企業的目的。

 　　云計算公司經常說他們的產品是數據中心的業務。沒有業務是數據中心的，至少在企業主的心目中不是。

 　　企業所有的業務都是以錢為中心。他們可能把它稱為投資回報率(ROI)，收入，盈利，或他們甚至聲稱，一切都是為了顧客滿意度。一件事是肯定的，他們都將不會繼續運作，除非他們賺到足夠的錢。

 　　大數據和云計算，公共或私有的，是兩個偉大的概念，但是這兩個必須都是努力支持企業的。如何遷移到公共云，或者私有云來幫助企業業務？什么樣的數據將是企業希望的？系統將如何將這些數據轉化為洞察力，可以提高客戶滿意度，幫助獲取客戶，增加銷售？這些技術將如何幫助我發現，追求，和接近業務機會？

 　　這并不是說大數據和公共云不能牽手，或這兩個不值得它們現在所得到的關注。只是如同建筑，它們應該有一個正確的宏觀戰略貫穿于始終。

　　大數據: 發展還是變革？

 　　無論你是使用關系型數據庫系統、哈希表，還是其它結構來維護數據，你肯定對NoSQL和大數據有所耳聞。 目前，谷歌、雅虎和亞馬遜等公司都已經在開發或者使用大數據/NoSQL的解決方案。但除了一些非常具體的案例外，這些大數據的實現方案真的那么有用嗎？在近期的一篇文章中，凱捷咨詢公司的史蒂夫·瓊斯甚至指出有時候大數據可能就是一大騙局，或者至少還不能完全成為一種萬能藥，可以解決原有關系型數據庫管理系統實現方案中的各種問題，這些你可能都已經注意到了：

 　　我注意到市場上對大數據的宣傳已成泛濫之勢。有些公司將這種容量的爆炸式增長看作是歷史、新技術、新方法延續的一部分，只是發展而不是變革。誠然，Map Reduce技術很酷，但它的技術難度也遠勝于SQL和數據庫設計，因此這也意味著該技術遠不能成為一種商業上的萬能藥。

 　　史蒂夫接著指出，可用于存儲極為重要且有一定規模數據集的內存數據庫技術（基于關系型數據庫管理系統）不久將成為現實。他通過引用一篇文章來闡述自己的觀點，該文章討論了數年前，雅虎是如[FS:PAGE]何使用一種經過重大修改的Postgres實現來存儲2PB數據的：

 　　下面是大數據的要點：它95%以上都只是以指數級持續增長的數據，這是與增強的處理能力和存儲容量相匹配的，或者至少是隨之增長的。（……）當然，對索引的優化可能更難，并且你可能要將數據來回移動到固態硬盤上，但嚴格來說，這樣數據量就變得“更大”了，而不是一次簡單的數據移動。

 　　我們過去也從Mike Stonebraker這些人那里聽說過類似的事情，他表示許多用戶都將受益于諸如重新構建的關系型數據庫管理系統和列存儲等方法，從而盡可能多地利用主存和固態硬盤，同時仍能保持傳統較強的一致性、ACID語義，并在某些情況下可以使用SQL。但史蒂夫接著重新強調了Map Reduce技術，并且認為這一實現方案背后的模型需要你就如何存儲、查詢和操作數據有一種不同的思維方式，在某種程度上，用戶要將這種解決方案集成到他們現有的投資環境中就變得更加困難了。

 　　就像不會有那么多人能夠準確地用多線程的方式思考一樣，也不會有那么多人能夠用Map Reduce的方式思考。

 　　當我們經常聽到新的實現方案，或者廠商指望著能鼓動我們采用他們的解決方案時，這又把大數據置于何地呢？根據史蒂夫的觀點：

 　　我們發現人們使用大數據的方式和使用SOA一樣，貼個標簽，然后就宣稱 “集成了Hadoop”或“集成了社交媒體（social media）”，或者換個說法，“我們已經建立了一個連接器”。看看剛剛那個讓你大跌眼鏡的說法吧。它只是一種老式的學校企業應用集成（EAI）連接器，不過連接到新數據源或新ETL連接器而已。

 　　這可能算是一種籠統的說法，但也說明了一些事實。因為現在有過多的炒作，并且太多的廠商都在自己的實現方案上貼上了NoSQL/大數據的標簽，但其實這些實現方案對于手頭上的任務并不適合，那么在這種“新的數據解決方案”的背后是否有丟失核心信息的風險呢？正如史蒂夫所指出的，這種狀況可能跟SOA的早期應用狀況相似，那時各廠商都在自己的解決方案上貼上SOA的標簽，但實際上大多數方案都根本不是SOA。那么你如何準確衡量你需要的是大數據的解決方案，還是提供給你的是場大騙局（正如史蒂夫所言）呢？史蒂夫提出了一些建議，至少可以在評估廠商的解決方案時使用。其中包括：

 　　1.你可以用“大數據庫（Big Database）”來代替“大數據”嗎？如果可以，那它就只是一次更新。

 　　2.“高級”可以簡化成“我們剛剛獲得一個企業應用[FS:PAGE]集成連接器”嗎？

 　　3.是否與2009年的產品基本相同，只不過在新產品上貼上了大數據/NoSQL的標簽？

 　　4.有什么方法可以將處理流程移動到數據上進行，而不是到處移動數據嗎？這是過去包括Jim Grey在內的很多人都建議的做法。

 　　不幸的是這些“規則”都不具有科學性，并且都需要某種程度的主觀判斷。那么還有其它規則可用嗎？如果你已經從傳統的關系型數據庫管理系統遷移到別的平臺上，那么你是使用什么來決定遷移的必要性，以及如何選擇要遷移到的具體實現方案呢？這種遷移工作是否成功？如果不成功，又是為什么呢？

　　對于云計算，我們說更多地是從IT架構上來說，IT資源得到更高的利用率。它更多解決企業IT資源利用率不高，IT部署較為繁雜，以及IT管理較為復雜的問題。應該說，云計算讓企業的IT系統更加高校可控。這種高效可供，一定要為處理大數據而使用嗎？不一定！

 　　哪些行業會將云計算和大數據結合來使用。例如，騰訊、百度和淘寶等大型互聯網企業。首先他們的IT資源龐大，分布較為廣泛，而且異構系統較多，另外，基于互聯網的應用數據多是混合結構的數據。要及時準確地處理這些數據，就必須求助云計算的力量。

 　　所以，如何不讓大數據攪了云計算的好局，就得讓大數據在云計算的平臺上找到用武之地。那么，如果從這個角度來分析的話，大數據不但沒有攪局，而且還提云計算打開了應用需求的一個缺口。

 　　為什么這么說？云計算自從2007年誕生，2008年大談于國內媒體。一直是國內媒體的寵兒。真正得到企業CIO的擁戴，還很晚。

 　　國內媒體以及業界專家很多認為，2011年是云計算元年，而2012年被認為是云計算應用之年，但是從具體的成果來看，還遠遠不夠。

 　　2010年，國務院通過審批，在國內先建立五個云計算示范城市，如今這五個收到特殊照顧的云計算示范城市發展如何呢？北京的祥云計劃，上海的大云計劃，無錫到處興建云計算中心，好像已經成為IBM、微軟、英特爾和AMD等IT國際巨頭，華山論劍的地方了，并沒有多大實質性進展。而廣州和浙江更是收效甚微。

 　　發展云計算并不是發展房地產事業，非要比誰蓋的數據中心和機房多，非要比較誰吸引來的外商多。更主要的是將云計算新技術的落地與當地的IT需求直接掛鉤。

 　　在國外，很多云計算項目由政府牽頭，那是因為，政府希望整合政府職能部門的IT資源，通過統一的出口使用，以達到最終節省IT資源和電力資源的[FS:PAGE]目的。

 　　而國內發展云計算產業基地，更多的目的是房地產工程，政績。很多云計算數據中心建成了多年，沒有任何應用，大部分服務器常年關機。等著政府來人檢查，再開機驗貨。

 　　2012年6月20日左右，BSA機構對全球的云計算實力進行排名，結果中國成為云計算綜合實力倒數第四的國家。與古巴等國家排名接近。這不得不讓我們感嘆，這么多年，花費這么多金錢發展云計算，起到的作用在哪里呢？如果沒有，請國家放開手讓云計算“自由飛翔”。

【聲明】物流產品網轉載本文目的在于傳遞信息，并不代表贊同其觀點或對真實性負責，物流產品網倡導尊重與保護知識產權。如發現文章存在版權問題，煩請聯系小編電話：010-82387008，我們將及時進行處理。