實時數據的生命週期

1 月 6

實時數據的生命週期

考慮到嵌入式設備與雲的集成,Raima CTO Wayne Warren區分具有持續價值的實時,可操作的信息和數據,並主張要實現雲的真正力量,企業必須利用收集和控制的力量網格邊緣的計算機。

實時數據的生命週期

雲的興起為各種規模的公司提供了輕鬆,有效,低成本地存儲,管理和分析數據的新機會。雲中的數據管理使這些公司能夠降低其內部系統的成本和復雜性,同時實際上獲得了對工廠和流程的更高可見性。同時,第三方服務機構應運而生,它們提供數據儀表板,這些儀表板通常使企業可以從遠程位置“實時實時控制”其資產,並提供歷史趨勢分析。

例如,考慮一家位於中心位置的公司,其關鍵資產位於完全不同或孤立的位置。監視關鍵操作數據以確保設備本身不趨於某些災難性故障,而某些性能數據以確保輸出達到最佳可能是有利的。總體而言,這可能是相對較少的傳感器,也許還有來自車載控制系統的一些診斷反饋。但是,直接獲取這些數據可能意味著要設置嵌入式Web服務器或建立某種形式的遙測,然後將這些數據導入管理軟件並以能夠對其採取行動的方式進行交付。

簡單地將那些相同的輸出提供給基於Cloud的數據管理提供商,然後登錄到提供可視化和控制,並帶有警報,操作,報告等功能的自定義儀表板,要容易得多嗎?並全部收取像徵性的月費。此外,由於幾乎無限的雲存儲空間,所有數據都可以存儲,挖掘,分析和分發為報告,這些報告提供了前所未有的可追溯性水平(對許多行業至關重要)和長期趨勢分析,可以真正幫助公司提高績效並最終提高盈利能力。

隨著數據輸出的增加,可以預期從雲返回的信息質量也將有所改善,這使我們能夠做出更好的運營決策,從而進一步提高性能似乎是合理的。在一定程度上,這是事實。但是,這條道路上也存在危險,因為隨著我們進入“大數據”時代,從背景噪聲中提取有意義的“可行信息”變得越來越困難。

曾經,數據分析師可能只是對生產線配額以及與工廠或資產正常運行時間的聯繫感興趣,而今天,他們可能也對訪問生產線上無數自動化設備生成的數據感興趣,因為原始數據可能充分掌握提高生產率,降低能耗,消除浪費,減少停機時間,提高整體設備效率以及最終提高利潤的關鍵。

我們確實在談論海量數據。物聯網和機器對機器(M2M)通信的興起,與最新的GSM網絡相結合,可提供高速,雙向傳輸,而不受範圍,功率,數據大小和網絡基礎設施的限制。在阻止傳統的遠程信息處理解決方案的過程中,近幾年來數據傳輸呈指數級增長。截止到2012年,全球每天創建的數據超過2.5 EB(2.5x10exp18),對於各個公司而言,生成數百GB的數據無疑並不罕見。

重要的是,不同類型的數據將具有不同的生命週期,這將影響如何管理該數據。例如,相量測量設備監視電網上的變量,以突出顯示頻率,功率,電壓等的變化,每月可能會生成幾TB的信息。當然,這是很多數據,並且混合了生命週期。指示趨勢的長期信息,以及可以標記出即時故障的實時數據。相比之下,複雜的產品測試可能在一小時或更短的時間內生成相同數量的信息,但是數據生命週期又將混合在一起。為測試提供通過/失敗輸出的複雜信息需要立即可用以優化生產週期,但隨後沒有價值,而出於可追溯性的原因,概述信息可能對於存儲很重要。

但是,常見的線程是正在生成大量數據。確實,這些信息太多了,以記錄的數量來衡量當今的數據已經不再有意義,而是以數據流的速度來衡量。實時數據-即捕獲的有關當前正在發生的事情的數據-可以大量,低成本地獲得。嵌入式和實時計算機上的傳感器能夠以超過我們使用能力的速度捕獲信息。這意味著任何給定數據量具有實際價值的時刻可能比我們實際利用它來得快。

如果我們唯一的響應只是將所有這些數據發送到雲,而又不考慮數據的生命週期,那麼雲就不過是一個可能沒有持續價值的數據的垃圾場。因此,至關重要的是要考慮實時數據的生命週期,以及如何在嵌入式設備和雲之間最佳地分配這些數據。為了真正優化雲資源,同時使有意義的操作決策能夠在本地做出,那麼,必須充分利用網格邊緣的嵌入式系統的功能。只有將數據收集,過濾和決策的責任下放到“物聯網”中部署的功能越來越強大的計算機上,我們才能對數據從創建到廢棄進行有效的管理。

嵌入式數據庫行業已經通過數據管理產品響應了這一要求,該產品在易於擴展的產品中提供了必需的性能和可用性。這些數據管理產品可以獲取捕獲的實時數據,對其進行處理(根據需要對數據進行匯總和簡化),然後進行分發以提供可視化和分析功能,從而可以做出有意義的決策。能夠在嵌入式系統中本地執行所有這些操作的能力-對當前僅具有實際價值的數據進行操作-對工廠和資產的性能產生巨大影響,而具有持續價值的數據可以被分類並發送到雲端。

例如,考慮對消費類產品進行測試,其中將產品的發聲或感覺作為衡量其質量的指標。這種質量測試在許多家用和汽車產品中很常見,它們具有固有的振動和聲音特性,可以用作機械完整性的指標。被測零件在測量數百萬個數據點時可能要經過一段時間的受控操作。需要將多種度量標準和算法應用於此數據以創建“簽名”,該“簽名”確定產品是否通過或未通過質量檢查。

Raima正是在這樣一個應用程序中工作的,在這個市場中,生產週期非常關鍵,並且每兩秒鐘就會生成新的數據集。必須實時處理實時數據以匹配所需的生產週期時間,同時提供可靠的通過/失敗信息。同時,重要的是長期匯總,管理和存儲必要的測試信息,以便在出現操作故障或客戶投訴時,可以根據測試歷史記錄快速檢查產品序列號。在考慮保修成本或什至需要召回產品時,能夠重新處理歷史數據非常重要。

這是數據生命週期的非常明顯的區別-可以長期匯總,分類和存儲(對雲而言是理想的)歷史數據,以及直接影響生產性能的實時數據。

在談到性能時,我們不必一定要確定性地考慮流數據的“實時”響應,但是我們必須具有“實時實時”響應,該響應必須足夠快才能處理快速出現的實時信息。並且生命週期短。數據庫可能需要跟上每分鐘可測量數千個事件的數據速率,而突發速率則要高出許多倍,並且必須能夠滿足特定條件時發出警報或觸發其他操作。這些條件可能涉及數據庫中是否存在數據,因此必須執行快速查找。它們還可能取決於數據庫中記錄之間的連接,因此數據庫系統需要能夠維護可以快速創建或查詢的關聯和查找。

現代計算機系統中的高速處理器起著一定的作用,但越來越多地滿足性能要求取決於可伸縮性,而可伸縮性來自於可跨多個CPU和多個處理器內核分配數據庫操作的能力。這不僅可以最大程度地利用可用資源,而且還為並行數據訪問打開了可能性,從而實現了非常快速的吞吐量。

考慮以風力渦輪機控制為例,在該示例中,操作員需要不斷監視變量,例如風速,振動和溫度。由於風力渦輪機通常位於偏遠地區並且無人值守,因此需要一個數據庫,該數據庫可以存儲大量數據(每天可能達到TB級),並且可以在沒有乾預的情況下繼續可靠地24/7運行。因此,數據存儲系統必須支持複製(從渦輪機控制器到風電場控制器)以及遠程安全訪問。

該數據庫在幾個不同級別上都是至關重要的。首先,它是風電場控制的核心,它通過風力渦輪機控制數據庫控制渦輪機,在該數據庫中插入一行設置渦輪機的運行狀態並描述當前風況的行,並將其複製到每個渦輪機控製程序中。這是基於生命週期非常短的實時數據。然後,對渦輪機本身進行狀態監控,提供有關資產運行的關鍵信息,並實現成本效益高的定期或先發製人的維護,從而最大限度地延長正常運行時間。數據流是實時的,具有大量數據,但是需要進行匯總和分析,以生成趨勢輸出和警報。最後,對歷史數據的存儲和監視將使開發更堅固,容錯能力更高的下一代風力渦輪機成為可能。此數據目前價值不大,但生命週期非常長-非常適合在雲中存儲。

Raima Embedded的RDM Embedded滿足了管理實時數據流的所有要求,提供了一個平台,使實時實時決策和長壽數據都可以分類然後發送到雲。數據庫引擎能夠可靠地存儲輸入數據,同時允許從遠程系統或通過複製讀取相同數據進行分析。

它與平台無關,可以在從流行的OS選項(例如MS Windows,Linux和iOS)到實時系統(例如Wind Rivers的VxWorks,QNX Neutrino和Green Hills INTEGRITY等)上的所有內容上運行。 RDM數據存儲引擎不僅支持多處理器和多核體系結構,還提供了一組數據組織功能,可用於控制內存,基於磁盤或遠程的存儲,以在嵌入式系統中提供最佳性能。應用。

重要的是,RDM可以在任何需要的地方提供數據。 RDM可以在網絡上的計算機之間以及通過Internet將數據複製到嵌入式網絡環境之外的系統。這可用於提高處理速度,數據備份安全性和系統範圍內的數據可用性。

儘管雲是存儲,管理和分析對時間不太敏感或具有持續價值的數據的理想環境,但是本地嵌入式數據庫可以更好地有意義地處理生命週期短得多的實時,對時間敏感的數據系統。只有公司能夠分析這些關鍵數據並對其採取行動,他們才能擁有真正優化工廠,過程和生產運營所需的信息。

在這個“大數據”時代,那些能夠從大量信息中獲得最大收益的企業將是那些能夠區分時間敏感數據和具有持續價值的數據,然後集成其嵌入式系統的企業。和基於雲的系統有效地確保適當的數據始終在正確的位置。只有通過擁抱網格邊緣的計算機系統的力量,公司才能真正優化雲資源的力量。

Get notified about new RDM updates

Be the first to know about new Raima Database Manager updates when they go live, use cases, industry trends and more.