過程工業(yè)公司收集制造數(shù)據(jù)已經(jīng)有幾十年了。隨著硬件和軟件的不斷發(fā)展進步，在制造企業(yè)內(nèi)會產(chǎn)生更多的數(shù)據(jù)，收集的數(shù)據(jù)用于描述過程工況、供應(yīng)鏈指標和其它生產(chǎn)信息。

然而，企業(yè)難以將大量數(shù)據(jù)轉(zhuǎn)換為有用的信息和見解。這樣可以提高過程裝置、工廠以及業(yè)務(wù)的可靠性、安全性。但隨著數(shù)據(jù)量的增長，隨之而來的挑戰(zhàn)也在不斷增加。

在計算機化、傳感器和無線技術(shù)不斷發(fā)展的基礎(chǔ)上，一場由工業(yè)物聯(lián)網(wǎng)(IIoT)推動的工業(yè)革命正在如火如荼的進行著——這極大地擴展了存儲和分析的數(shù)據(jù)類型和數(shù)量。

從歷史上看，過程生產(chǎn)制造商使用電子表格來組織以表格形式收集的數(shù)據(jù)。電子表格最初用于會計和財務(wù)，但它從來都不是大量時間序列相關(guān)數(shù)據(jù)的最佳處理工具。但是，它們允許構(gòu)建支持軟件的公式，以及進行跨多個工作表的計算。

因此，工程師們習慣采用電子表格用于項目的數(shù)據(jù)分析，但該過程會耗費大量的人力和時間。此外，使用電子表格在成果分享以及與他人合作方面有一定的困難。隨著企業(yè)積累的數(shù)據(jù)越來越多，他們希望找到更有效的方法在企業(yè)內(nèi)共享數(shù)據(jù)驅(qū)動的信息。

大數(shù)據(jù)帶來的挑戰(zhàn)

顯然，高級分析軟件是應(yīng)對這些挑戰(zhàn)和障礙的一個方法。為了理解這些先進特性，讓我們先看看電子表格的不足，以及如何通過分析解決方案應(yīng)對這些不足。

過程制造和監(jiān)控系統(tǒng)每天都會產(chǎn)生海量的數(shù)據(jù)，用于顯示過程工況、運行/產(chǎn)品流程和設(shè)備狀況。與控制系統(tǒng)有關(guān)的數(shù)據(jù)以不同的形式生成。一般是將與調(diào)查有關(guān)的所有數(shù)據(jù)收集到電子表格中，然后進行分析。從多個來源收集的大量數(shù)據(jù)，很快會削弱進行有效分析的能力。

在進行分析之前，必須對數(shù)據(jù)進行排序和清理，并減少電子表格中的數(shù)據(jù)點數(shù)量。儀表信號被重新格式化，以適應(yīng)電子表格行/列的模式（如圖1所示）。微軟Excel電子表格的上限約為100萬行。例如，常見的過程系統(tǒng)傳感器采樣頻率為每分鐘一次，相當于Excel中每年有50萬行。如果采樣頻率為每30秒一次，或者用戶想要查看兩年的數(shù)據(jù)，則不可能以適當?shù)姆直媛什榭此袛?shù)據(jù)。

圖1：時間是評估過程數(shù)據(jù)的關(guān)鍵因素，通常必須對信號數(shù)據(jù)重新格式化來統(tǒng)一格式，以便在電子表格中使用。

本文圖片來源：Seeq公司

此外，超過電子表格容量限制的文件可能會遇到性能問題。在多組數(shù)據(jù)和計算中的分層，可以同時打開大量大型文件，并鏈接到其它應(yīng)用程序和宏，這些都會妨礙電子表格的可用性。工程師或科學家的過程數(shù)據(jù)工作流，通常需要所有這些功能。使用電子表格用戶必須對數(shù)據(jù)段的類型和采樣做出妥協(xié)。

數(shù)據(jù)孤島

雖然與最大容量相關(guān)，但數(shù)據(jù)隔離是一個單獨的問題。例如，每次團隊成員訪問過程數(shù)據(jù)時，他們首先將其下載到一個單獨的、復制的文件中。這是一次性快照提取。如果數(shù)據(jù)發(fā)生更改或更新，則必須重新做查詢。這可能會對后續(xù)計算、清理和見解產(chǎn)生影響。大型文件很難在整個企業(yè)中共享并保持同步，尤其是在多個用戶查看相同數(shù)據(jù)集和數(shù)據(jù)源的情況下。

考慮到IIoT和云的應(yīng)用，創(chuàng)建更多和更大的數(shù)據(jù)庫是一個持續(xù)的趨勢。此外，并非所有數(shù)據(jù)、數(shù)據(jù)庫和用戶都位于同一個區(qū)域。遠程數(shù)據(jù)庫和用戶進一步使向用戶獲取適當數(shù)據(jù)的任務(wù)變得復雜。

一旦相關(guān)數(shù)據(jù)被集成到電子表格中，用戶如何找到數(shù)據(jù)驅(qū)動的信息？工程師們最感興趣的是數(shù)據(jù)在一段時間內(nèi)的行為以及與其它系統(tǒng)部件的關(guān)系。例如，溫度、壓力、原料質(zhì)量和轉(zhuǎn)化率，都隨時間變化并且彼此之間具有某種關(guān)系。

與任何分析一樣，用戶首先必須確定最感興趣的過程點，如最佳穩(wěn)態(tài)工況、關(guān)鍵設(shè)備振動趨勢、停機、排放事件和其它參數(shù)。對每個數(shù)據(jù)來講，時間都是其中的一個因素。工程師分析跨班次、周數(shù)、月或年份匯總的數(shù)據(jù)，以確定趨勢和根本原因。

要在電子表格中執(zhí)行此操作，用戶可以對列和行進行排序，以識別感興趣的數(shù)據(jù)點。這種排序/清理是通過電子表格自帶功能完成的，但微軟列出的Excel表格最常用的十大功能中，有70％是用于數(shù)據(jù)整理，并不包括數(shù)據(jù)分析，但問題是數(shù)據(jù)分析才是價值所在。

在開發(fā)電子表格應(yīng)用程序中，數(shù)據(jù)處理所花費時間占到50％到90％（如圖2所示）。電子表格算法可以對數(shù)據(jù)進行排序和切片，但數(shù)據(jù)處理/計算方法不透明，難以記憶，也難以與同事共享。

圖2：識別和共享源自電子表格分析所得的數(shù)據(jù)是一個費時、費力的過程。

例如，在裝置月度報告或季度排放評估中，必須重新查詢數(shù)據(jù)，并且手動復制或通過宏的自動化來實現(xiàn)。如果分析頻率不高，或由不同的人執(zhí)行，那么學習或重新學習電子表格數(shù)據(jù)的工作機理，可能需要很長時間。一些團隊有單獨的文檔來描述工作流程，但開發(fā)的宏缺乏透明性，這就會影響分析的復用性。

受限的合作

對大數(shù)據(jù)集進行排序和篩選后，如何共享和分發(fā)數(shù)據(jù)驅(qū)動的信息？從電子表格分析中提取信息并共享信息的功能有限，而且計算的不透明性，使協(xié)作和結(jié)果再現(xiàn)變得困難。此外，出于大小和簡化等方面的原因，通常共享的是圖片格式的分析結(jié)果，而不是電子表格本身。

此外，由于數(shù)據(jù)隔離和密集操作的限制，使用電子表格完成的工作成果必須集中放置，可訪問并提供嚴格的維護。一旦結(jié)果轉(zhuǎn)換成另一種形式并進行分發(fā)，這就變得很困難。報告和共享通常包括復制和粘貼工作，或插入/鏈接/查詢/重新查詢（文件崩潰）工作流。

高級分析軟件可解決電子表格在這些方面的限制，以提供更高效的分析，如下面的例子所示。

電子表格面臨的困境

一個谷物制造工廠的能源管理團隊正在負責尋找可降低能源消耗的潛在因素。谷物處理過程中的分批熏蒸步驟消耗了大量的過熱水。

該項目需要過程運營工程師與能源管理項目負責人之間的合作。過程運營和能源管理團隊在尋找節(jié)能措施方面面臨著挑戰(zhàn)。

分批熏蒸鍋爐需要消耗大量熱水以維持適當溫度。為了優(yōu)化能源消耗，提出了一種新的熱水添加歧管，該管具有控制淡水添加的軟件。通過更嚴格的溫度控制策略，可以減少前一批排出的流體，最大限度地減少熱水添加量，同時保持所需的熏蒸溫度。該程序通過減少新過熱水的添加量來節(jié)省能量。

為了針對上述問題開發(fā)數(shù)據(jù)驅(qū)動的解決方案，過程運營工程師將批處理數(shù)據(jù)從過程歷史記錄和執(zhí)行系統(tǒng)中導出到單獨的電子表格中。因為安裝了一個新的控制系統(tǒng)，所以工程師放棄了舊系統(tǒng)的數(shù)據(jù)并重新開始分析。數(shù)據(jù)量限制了導出功能，并要求將分析從一年縮小到最近一個季度。此外，歷史數(shù)據(jù)庫和執(zhí)行系統(tǒng)的時間序列數(shù)據(jù)不匹配也是一個問題。正是由于這些差異，需要對兩個系統(tǒng)之間的數(shù)據(jù)進行手動時間同步。通過最原始的方法，過程運營工程師從幾個批次中創(chuàng)建了一個壓縮的、低分辨率的數(shù)據(jù)視圖，并通過差值方法獲得一年的數(shù)據(jù)。

盡管過程工程師努力挖掘可用的配方熏蒸數(shù)據(jù)，但結(jié)果好壞參半。新的電子表格仍然太大，無法與能源管理團隊輕松分享。由于數(shù)據(jù)規(guī)格和復雜性，電子表格在包含計算和圖表后時不時的會崩潰。過程運營和能源管理團隊都投入了大量時間對數(shù)據(jù)操作進行篩選和排序，以期找到實際結(jié)果（如圖3所示）。

圖3：能源管理團隊和過程運營小組花費大部分時間來處理數(shù)據(jù)而不是分析數(shù)據(jù)，只有一個人能夠理解并使用電子表格來創(chuàng)建報告。

快速回顧顯示，過程工程師將大部分時間都用于清理、分類、篩選、復制和粘貼感興趣的數(shù)據(jù)到電子表格中。而只花了很少的時間對實際的運營變化進行分析，盡管這項任務(wù)仍然非常繁重。在項目執(zhí)行期間，負責的工程師晉升到了新職位，一名新工程師接管了這項任務(wù)。兩個過程工程師之間數(shù)據(jù)準備方法不同，也讓結(jié)果出現(xiàn)了差異。

這個案例歷史說明了使用電子表格分析過程數(shù)據(jù)時所面臨的挑戰(zhàn)。盡管工程師們付出了很多努力，但是過程運營小組和能源管理團隊不斷重復相同的步驟來整理數(shù)據(jù)。問題不在于缺乏數(shù)據(jù)，通常任何工業(yè)設(shè)施都是這樣的。相反，問題出在數(shù)據(jù)時間不同步、格式不統(tǒng)一、數(shù)據(jù)保存在不同區(qū)域。使用電子表格與不同部門共享數(shù)據(jù)也很困難，有效的可視化和報告工作幾乎是不可能的任務(wù)。

應(yīng)用高級數(shù)據(jù)分析

高級數(shù)據(jù)分析軟件可訪問其所在的數(shù)據(jù)。不需要復制和粘貼，因為該軟件整合了多個數(shù)據(jù)源的高分辨率數(shù)據(jù)（圖4）。簡單的查詢命令便于數(shù)據(jù)定位，并支持簡化排序、清理和組合歷史數(shù)據(jù)庫以及其它來源所需的數(shù)據(jù)。

圖4：使用高級分析軟件替換基于電子表格的分析，使能源管理團隊能夠快速獲得結(jié)果并分享見解。

高級分析軟件還支持基礎(chǔ)演算和工程師用于將數(shù)據(jù)轉(zhuǎn)換為趨勢以及相關(guān)數(shù)據(jù)可視匯總的其它數(shù)學函數(shù)。有價值的數(shù)據(jù)更容易整合和情景化以供將來建模使用。此外，新用戶只需要較少的培訓。

應(yīng)用高級分析軟件工具可加速數(shù)據(jù)清理、可視化、搜索、情境化和建模過程。使用這些工具，工程師能夠?qū)Ｗ⒂谥R獲取、協(xié)作和問題解決，而不是數(shù)據(jù)整理工作。（作者：MichaelRisse）