物聯網大數據的性質

　　物聯網大數據與其他大數據類型明顯不同。要形成清晰的畫面，想象一個不斷生成數據的傳感器網絡。例如，在制造中，它可以是特定機械部分的溫度值，以及振動、潤滑、濕度、壓力等。因此，物聯網大數據是機器生成的，而不是由人類創造的。它主要代表數字的流動，而不是文本的塊。

　　現在，想象一下，每個傳感器每秒產生 5 次測量，總體而言，您安裝了 1，000 個傳感器。而這種大容量數據是不斷流動的（順便說一句，這樣的數據有一個特殊的名稱 – 流數據）。當然，純粹的數據收集不是你的最終目標 – 你需要有價值的見解，其中一些盡可能接近實時。如果壓力突然降到臨界水平，你就不會高興知道這一點，只有幾個小時。到那時，您的維護團隊可能已經在嘗試修理損壞的機械單元。

　　此外，物聯網數據是特定的位置和時間。雖然示例可能很多，但在這里我們僅會提到幾個示例：位置數據對于了解哪些傳感器傳達可能表示即將發生故障的讀數至關重要，而時間戳對于識別可能導致機械故障的特定模式至關重要。例如，每十秒鐘溫度值增加 5 F，但仍不會超過閾值，這導致壓力增加 1，000 Pa 一分鐘。

　　物聯網大數據的存儲、預處理和分析

　　當然，您的業務目標始終為解決方案的架構奠定基礎。盡管如此，物聯網大數據的性質在數據存儲、預處理和分析方面留下了印記。因此，讓我們仔細看看每個過程的具體功能。

　　物聯網大數據存儲

　　由于您必須處理大量不同格式的快速到達的結構化和非結構化數據，傳統的數據倉庫將無法滿足您的要求 – 您需要一個數據湖和一個大數據倉庫。數據湖可分為幾個區域，如著陸區（原始格式的原始數據）、過渡區（用于基本清理和過濾后的數據以及來自其他數據源的原始數據），以及分析沙盒（用于數據科學和探索活動）。需要一個大數據倉庫從數據湖中提取數據，進行轉換，并以更有條理的方式進行存儲。

　　物聯網大數據預處理

　　重要的是要決定您是想存儲原始數據還是已經預處理過的數據。事實上，正確回答這個問題是與物聯網大數據相關的挑戰之一。讓我們回到我們的示例中，傳感器每秒通信 5 個溫度值。一種選擇是存儲所有 5 個讀數，而另一個選項是只存儲一個值，例如每個聚合期的平均/中位數/模式為一秒。要清楚地看到這種方法對所需的存儲容量有何不同，您應該將傳感器的總數乘以預期的運行時間，然后乘以其讀取頻率。

　　如果您屬于70% 重視實時管理數據的組織，并且您的計劃的一部分是獲得實時見解，則無需將所有讀數發送到數據存儲，仍可以進行實時警報。例如，您的系統能夠吸收整個數據流，并且設置了觸發即時警報的關鍵閾值或偏差。但是，只有一些過濾或壓縮的數據被發送到數據存儲。

　　避免數據丟失的方法

　　還需要提前考慮，如果讀數流量因某種原因停止，假設傳感器暫時故障或與網關失去連接。

　　在這里，有兩種方法是可能的：

　　使用可靠的可靠算法來疏漏數據。

　　例如，使用冗余傳感器，有幾個傳感器來測量相同的參數。一方面，這增加了可靠性：如果一個傳感器發生故障，其他傳感器將繼續發送讀數。另一方面，這種方法需要更復雜的分析，因為傳感器可能會生成略有不同的值，而分析算法應該對此進行處理。

　　物聯網大數據分析

　　物聯網大數據需要兩種類型的分析：批量和流媒體。批量分析是所有大數據類型固有的，物聯網大數據也不例外。它被廣泛用于對捕獲的數據進行復雜的分析，以確定趨勢、相關性、模式和依賴性。批量分析涉及應用于歷史數據的復雜算法和統計模型。

　　流式分析完美地涵蓋了物聯網大數據的所有細節。它旨在處理在小時間間隔內生成的高速數據流，并提供近乎實時的見解。對于不同的系統，此“實時”參數會有所不同。在某些情況下，它可以用毫秒來測量，而在其他情況下，可以在幾分鐘內測量。為了盡快獲得見解，可以分析捕獲的數據在系統的邊緣，甚至在數據流處理器中。

　　總結一下

　　從本質上講，物聯網大數據是機器生成的、大容量的、流媒體的、位置和時間特定的。大數據咨詢實踐證明，在設計和開發物聯網解決方案之前考慮這些功能是多么重要。我們確信，您不希望在短短幾個月內耗盡存儲空間，或僅僅因為您的解決方案不支持流式分析，或面臨任何其他問題而錯過實時見解，而會破壞您的 IoT 解決方案的穩健性。為了避免這種情況，有必要明確確定您的短期和長期業務需求，并從多個選項中仔細選擇最佳的大數據架構和技術堆棧。