本文是一篇科技論文，發(fā)表在《指揮信息系統(tǒng)與技術(shù)》上，雜志是中國電子科技集團公司第二十八研究所主辦的學(xué)術(shù)性與技術(shù)性綜合科技刊物。主要刊登有關(guān)電子信息系統(tǒng)與技術(shù)的頂層設(shè)計、硬件研制、應(yīng)用軟件開發(fā)和系統(tǒng)集成等方面的理論、技術(shù)和應(yīng)用實踐類的論文。范圍涉及指揮自動化系統(tǒng)、軍航和民航空中交通管理系統(tǒng)、外軍C4ISR系統(tǒng)以及人(民)防應(yīng)急救援系統(tǒng)、城市及道路交通控制系統(tǒng)等。

　　關(guān)鍵詞：科技論文,數(shù)據(jù)處理,環(huán)境監(jiān)測

　　1監(jiān)測數(shù)據(jù)集標準化處理

　　1.1監(jiān)測任務(wù)名稱的標準化處理

　　以目前的全國業(yè)務(wù)化海洋環(huán)境監(jiān)測任務(wù)為基礎(chǔ)，對上報的監(jiān)測任務(wù)進行標準化命名，如海洋生物多樣監(jiān)測、海洋大氣監(jiān)測，對不同填報的名稱進行標準化處理。

　　1.2組織單位名稱的標準化處理

　　各地上報的組織單位比較混亂，有的上報了監(jiān)測機構(gòu)名稱，有的上報了其隸屬的行政部門名稱，不利于監(jiān)測任務(wù)的考核。根據(jù)國家海洋環(huán)境監(jiān)測工作任務(wù)以及各海區(qū)年度海洋環(huán)境監(jiān)測工作方案，目前組織單位主要包括國家海洋局局屬單位、3個分局、11個沿海省(自治區(qū)、直轄市)海洋行政管理部門和5個計劃單列市海洋行政管理部門，如國家海洋環(huán)境監(jiān)測中心、國家海洋局北海分局、遼寧省海洋與漁業(yè)廳、大連市海洋與漁業(yè)局，對不同填報的組織單位進行標準化處理。

　　1.3監(jiān)測區(qū)域名稱的標準化處理

　　由于各地方上報的監(jiān)測區(qū)域不夠規(guī)范，且很難表現(xiàn)出更多的區(qū)域信息，同時考慮到區(qū)域統(tǒng)計分析，因此需對監(jiān)測區(qū)域進行規(guī)范化命名。監(jiān)測區(qū)域命名結(jié)構(gòu)為：沿海地區(qū)/海區(qū)+沿海城市/特定區(qū)域+名稱，其中沿海地區(qū)/自然海區(qū)和名稱字段不能省略，沿海城市/特定區(qū)域字段若無可以省略。如，遼寧葫蘆島赤潮監(jiān)控區(qū)，廣東近岸、福建廈門近岸、東海近海及遠海，對不同填報的監(jiān)測區(qū)域名稱進行標準化處理。

　　1.4監(jiān)測要素名稱的標準化處理

　　每個監(jiān)測任務(wù)里包含了不同的監(jiān)測要素，且不同的任務(wù)可能會監(jiān)測相同的要素，因此需對監(jiān)測要素進行規(guī)范命名，以便對相同的要素進行統(tǒng)一分析、數(shù)據(jù)量統(tǒng)計等。以目前的業(yè)務(wù)化海洋環(huán)境監(jiān)測要素為基礎(chǔ)，對上報的監(jiān)測要素進行標準化命名，如水文氣象、海水水質(zhì)、沉積物質(zhì)量、浮游植物和浮游動物等，對不同填報的監(jiān)測要素進行標準化處理。

　　1.5監(jiān)測參數(shù)及單位的標準化處理

　　由于每個監(jiān)測要素需要監(jiān)測不同的監(jiān)測參數(shù)，如海水水質(zhì)需要監(jiān)測化學(xué)需氧量、氨氮和溶解氧等。而每個監(jiān)測參數(shù)的名稱在寫法上有不同的形式，如化學(xué)需氧量也可寫為COD，氨氮也可寫為氨-氮或NH4-N等，給數(shù)據(jù)的統(tǒng)計、評價帶來一定的不便，因此有必要規(guī)范不同監(jiān)測參數(shù)的名稱。另外，每個監(jiān)測要素的單位也需統(tǒng)一規(guī)范。如重金屬的鋅元素，有的上報其參數(shù)單位為mg/L，有的上報為μg/L。在數(shù)據(jù)統(tǒng)一進入標準數(shù)據(jù)庫時，需將單位統(tǒng)一。參照國際標準、國內(nèi)海洋環(huán)境監(jiān)測調(diào)查規(guī)范以及各地監(jiān)測機構(gòu)的填報習(xí)慣等，針對不同的監(jiān)測任務(wù)和監(jiān)測要素，對每個監(jiān)測參數(shù)的名稱及計量單位進行標準化處理。

　　1.6站位基礎(chǔ)信息的數(shù)據(jù)類型標準化處理

　　監(jiān)測數(shù)據(jù)的類型包括數(shù)值型、字符型、布爾型和百分比等。對站位基礎(chǔ)信息如站位編號、經(jīng)緯度、監(jiān)測日期、水深和層號等的數(shù)據(jù)類型進行規(guī)范。(1)站位編號。上報的站位編號大部分為字符型，但也有站位編號為1、2、3等，為數(shù)據(jù)庫的統(tǒng)一管理，需統(tǒng)一轉(zhuǎn)換為字符型。站位編號不規(guī)范主要有以下幾個方面：①站位編號英文大小寫不一致;②監(jiān)測機構(gòu)各自命名;③在站位編號上加“臨”“平行樣”和“空白樣”等字樣。參照目前海洋環(huán)境監(jiān)測站位編號規(guī)則，由任務(wù)編號、海區(qū)編號、類別編號和站位序號順次排列組成。對站位進行統(tǒng)一編號。對于歷史站位編號的確認，可通過核查相關(guān)的監(jiān)測數(shù)據(jù)、核實年度監(jiān)測方案、聯(lián)系地方監(jiān)測機構(gòu)等方式，將站位編號統(tǒng)一。(2)站位的經(jīng)、緯度。上報的經(jīng)緯度有兩種形式：一個是小數(shù)形式，另一個是度分秒形式。為便于計算機的計算方便，目前統(tǒng)一為小數(shù)形式。由于經(jīng)緯度的小數(shù)位數(shù)不一致，會導(dǎo)致部分空間定位有細微的差別。結(jié)合監(jiān)測任務(wù)計劃和實際監(jiān)測情況，統(tǒng)一經(jīng)緯度的有效位數(shù)，目前保留到小數(shù)點后6位。(3)監(jiān)測日期。上報的監(jiān)測日期格式不一致，主要形式為：“2011-08-20”“2011/8/20”、或為時間型等。現(xiàn)統(tǒng)一其形式為“2011-8-20”，年份：填滿4位;監(jiān)測月份：1—12，月信息小于10，前位無需補零。注意檢查，監(jiān)測年份是否為該年度;月份是否大于12;日期是否在該月的自然日以內(nèi)。(4)采樣深度與層號。部分地方監(jiān)測機構(gòu)在該填報“層號”的地方填寫了采樣深度，同時層號不統(tǒng)一，有的為中文———“表層”“中層”“底層”;有的為英文———“S”“M”“B”。《海洋監(jiān)測規(guī)范》中對水深和相應(yīng)的采樣層次進行了規(guī)范。對層號，統(tǒng)一用英文表示。其中：表層為S;底層為B;若只有一個中層用M表示，若為多個中層，則分別用M1、M2、M3等順延表示。另需檢查層號與層深的匹配情況，若層號為S(表層)，則采樣深度應(yīng)小于或等于2m;層號為B(底層)，則采樣深度大于3m。部分填報機構(gòu)填寫層號時，出現(xiàn)表層填寫“B”和底層填寫為“D”的現(xiàn)象，可能是按“表層”和“底層”的首拼音字母填寫造成的。

　　1.7監(jiān)測參數(shù)不規(guī)范類型的處理

　　監(jiān)測參數(shù)的不規(guī)范類型問題，主要應(yīng)注意以下幾點。(1)大于號、小于號。某些監(jiān)測參數(shù)如重金屬、大腸桿菌數(shù)等，其監(jiān)測參數(shù)值上報中含有大于號或小于號。此類數(shù)據(jù)通常不影響其評價等級的判定，但會影響該類參數(shù)最大值、最小值、均值等統(tǒng)計的結(jié)果。可研究該參數(shù)的理化性質(zhì)并聯(lián)系地方監(jiān)測機構(gòu)，確認該參數(shù)的具體值大小。其缺省解決方法是刪除大于號、小于號，以便該參數(shù)的統(tǒng)計及評價。(2)未、無、“-”等字樣。結(jié)合年度監(jiān)測任務(wù)，聯(lián)系地方監(jiān)測機構(gòu)，確認該監(jiān)測參數(shù)是未被監(jiān)測，還是低于檢出限。未監(jiān)測用空值表示;低于檢出限用“未檢出”表示。(3)空格及其他無效字符。上報的監(jiān)測數(shù)據(jù)中常含有空格及其他無效字符，使得計算機在識別、歸類等過程中出現(xiàn)異常。可核查監(jiān)測數(shù)據(jù)的內(nèi)容和性質(zhì)，確認為無效字符后，對數(shù)據(jù)值前、后含有的空格或其他無效字符進行刪除處理。對經(jīng)緯度空缺，可核查相關(guān)的原始上報數(shù)據(jù)集和年度監(jiān)測工作方案，或聯(lián)系地方監(jiān)測機構(gòu);對層號空缺，可根據(jù)水深判斷，或聯(lián)系地方監(jiān)測機構(gòu)補缺;對某些監(jiān)測參數(shù)值空缺，可結(jié)合年度監(jiān)測任務(wù)，聯(lián)系地方監(jiān)測機構(gòu)，確認該監(jiān)測參數(shù)是未被監(jiān)測，還是低于檢出限，再根據(jù)判斷結(jié)果給出規(guī)范填寫。

　　2監(jiān)測數(shù)據(jù)的齊全性檢驗

　　海洋環(huán)境監(jiān)測數(shù)據(jù)的齊全性檢驗，是以海洋環(huán)境監(jiān)測方案為依據(jù)，檢查監(jiān)測方案中規(guī)定的監(jiān)測數(shù)據(jù)是否全部上報完整。首先對國家海洋環(huán)境監(jiān)測工作任務(wù)以及各海區(qū)年度海洋環(huán)境監(jiān)測工作方案進行分析，對監(jiān)測工作方案進行信息解析，按空間維度、指標維度和時間維度對監(jiān)測任務(wù)進行細化，空間維度包括監(jiān)測站位、監(jiān)測區(qū)域、管轄區(qū)域等，指標維度包括監(jiān)測參數(shù)、監(jiān)測要素等，時間維度包括監(jiān)測時間等。其中監(jiān)測站位、監(jiān)測參數(shù)、監(jiān)測時間是空間維度、指標維度和時間維度的最小單元，通過對最小單元的數(shù)據(jù)量統(tǒng)計，可獲得其上一統(tǒng)計單元的數(shù)據(jù)情況。因此對海洋環(huán)境監(jiān)測方案的解析按監(jiān)測站位、監(jiān)測參數(shù)和監(jiān)測時間3個方面進行分解。對照監(jiān)測方案，檢查接收的數(shù)據(jù)是否存在區(qū)域、站位或頻次等有空缺監(jiān)測的情況。記錄缺失的原因：可能由于某些緣故未能進行監(jiān)測、地方調(diào)整了監(jiān)測方案或地方漏報。仔細核查年度監(jiān)測任務(wù)計劃，聯(lián)系地方監(jiān)測機構(gòu)確認。

　　3站位基礎(chǔ)信息數(shù)據(jù)質(zhì)量控制

　　3.1空間位置檢驗

　　空間位置檢驗主要針對調(diào)查單位在站位信息匯總過程中可能出現(xiàn)的錄入錯誤。將調(diào)查站位經(jīng)緯度轉(zhuǎn)換為十進制的單位后，通過利用GIS生成站位圖的方式檢查站位落點所在位置，看其是否落在規(guī)定的監(jiān)測區(qū)域，對于斷面上的調(diào)查站位，還要檢查其是否明顯偏離斷面沿線。同時還需檢查“相同的站位編號，經(jīng)緯度不同”和“不同的站位編號，經(jīng)緯度相同”等數(shù)據(jù)空間位置精度的問題。對于該類問題，可通過核查相關(guān)的監(jiān)測數(shù)據(jù)、核對年度監(jiān)測任務(wù)、聯(lián)系監(jiān)測機構(gòu)確認等方法，予以更正。

　　3.2站位基礎(chǔ)信息一致性的檢測

　　根據(jù)站位基礎(chǔ)信息一致性檢驗方法，即監(jiān)測區(qū)域、站位編號、站位經(jīng)緯度、監(jiān)測日期等基礎(chǔ)信息決定一條數(shù)據(jù)記錄，根據(jù)不同的監(jiān)測任務(wù)和監(jiān)測要素，分析站位基礎(chǔ)信息一致性是否符合。針對站位編號和經(jīng)緯度不一致的情況，從空間位置檢驗是否合理，并核實監(jiān)測方案進行解決。針對監(jiān)測日期相同且站位編號相同等情況，判斷兩條記錄的監(jiān)測參數(shù)值是否完全一致，若完全一致則認為是重復(fù)記錄;若不完全一致，可認為是平行樣記錄，并進一步核實。

　　3.3數(shù)據(jù)記錄重復(fù)的處理

　　海洋環(huán)境監(jiān)測數(shù)據(jù)的上報過程中存在很多重復(fù)的數(shù)據(jù)記錄，產(chǎn)生這種重復(fù)記錄的主要有如下原因。(1)地方上報數(shù)據(jù)時，重復(fù)上報了監(jiān)測數(shù)據(jù)集，如8月份上報了5月份和8月份兩份數(shù)據(jù);年底將全年的監(jiān)測數(shù)據(jù)再次上報。(2)不同監(jiān)測機構(gòu)報送的重復(fù)數(shù)據(jù)，如屬于上下兩級監(jiān)測機構(gòu)(省、計劃單列市)重復(fù)報送。(3)地方監(jiān)測機構(gòu)監(jiān)測人員填寫報表時，將某些記錄重復(fù)填寫。(4)地方監(jiān)測機構(gòu)監(jiān)測人員填寫報表時，將平行樣的數(shù)據(jù)填寫。(5)數(shù)據(jù)集合并時，將曾經(jīng)合并過的數(shù)據(jù)集再次合并。對于重復(fù)的記錄數(shù)據(jù)，在建立環(huán)境監(jiān)測數(shù)據(jù)庫中應(yīng)做剔除處理。

　　3.4平行樣的處理

　　平行樣數(shù)據(jù)只作為監(jiān)測數(shù)據(jù)質(zhì)量保證的輔助，在實際統(tǒng)計、評價和監(jiān)測數(shù)據(jù)時需區(qū)別對待。一般來說，只有少數(shù)站位上報的數(shù)據(jù)是平行樣。為了數(shù)據(jù)量統(tǒng)計、環(huán)境質(zhì)量評價等的需要，對于平行樣的記錄數(shù)據(jù)，可將監(jiān)測參數(shù)值進行求平均處理。

　　4監(jiān)測參數(shù)數(shù)據(jù)質(zhì)量控制

　　4.1值域一致性檢驗

　　在海洋環(huán)境監(jiān)測中，每個監(jiān)測參數(shù)有其對應(yīng)的經(jīng)驗值域范圍，通過值域檢測規(guī)則對填報的監(jiān)測數(shù)據(jù)按不同監(jiān)測要素分別對每個監(jiān)測參數(shù)值進行檢驗，對于超出值域范圍的值，需進一步分析該區(qū)域其他站位、其他頻次、周邊站位的參數(shù)值情況，并結(jié)合監(jiān)測任務(wù)性質(zhì)以及超出值域比例，從而判斷該參數(shù)值的可靠性。

　　4.2邏輯一致性檢驗

　　某些監(jiān)測參數(shù)間存在一定的邏輯關(guān)系，即監(jiān)測參數(shù)與監(jiān)測參數(shù)間存在某種相關(guān)關(guān)系，有些關(guān)系具有一定的規(guī)律性，根據(jù)邏輯一致性檢驗方法，對于不符合邏輯一致性的監(jiān)測數(shù)據(jù)記錄，應(yīng)進一步同監(jiān)測機構(gòu)進行核實。

　　4.3數(shù)據(jù)輸出

　　對文件進行批量檢驗處理，對于檢驗結(jié)果，給出合理且足夠詳細的錯誤提示，并保存質(zhì)檢日志，使得數(shù)據(jù)便于修改。為了區(qū)別一個數(shù)據(jù)是否進行了質(zhì)檢、是否通過質(zhì)檢，以及了解質(zhì)檢的情況，需要對質(zhì)檢過后數(shù)據(jù)增加一個質(zhì)量控制符號，簡稱質(zhì)量符。綜合參考“國標GB/T12460-2006海洋數(shù)據(jù)應(yīng)用記錄格式”以及“908海洋化學(xué)標準記錄格式”等質(zhì)量符格式。其中，“908海洋化學(xué)標準記錄格式”中質(zhì)量符2表示可疑傾向正確，3表示可疑傾向錯誤，本研究將這兩者綜合考慮，記為可疑;另外，“908海洋化學(xué)標準記錄格式”中質(zhì)量符8表示痕量，由于與“未檢出”有一定的重疊，因此本研究只采用“未檢出”。表1給出海洋環(huán)境監(jiān)測數(shù)據(jù)的質(zhì)量符及說明。一般來說，數(shù)值型的監(jiān)測參數(shù)數(shù)據(jù)，對其質(zhì)量檢驗出有問題的只能作為“可疑”處理，不宜隨意修改或刪除。除非經(jīng)過專家經(jīng)驗檢驗，并經(jīng)監(jiān)測單位核實，可明確其為錯誤的，其質(zhì)量符方可標注為“4”。對于監(jiān)測站位基礎(chǔ)信息，如監(jiān)測日期、站位編號、經(jīng)緯度、層號等，檢驗出有問題的，可根據(jù)檢驗情況，標注其質(zhì)量符為“4”或“3”等。按步驟完成監(jiān)測數(shù)據(jù)處理流程后，可分年度或季度對處理的文件形成數(shù)據(jù)處理報告，并制作經(jīng)標準化處理和質(zhì)量控制后的標準數(shù)據(jù)集。

　　5結(jié)束語

　　目前，全國業(yè)務(wù)化海洋環(huán)境監(jiān)測數(shù)據(jù)逐年積累，但監(jiān)測數(shù)據(jù)的處理尚未有一個通用的、規(guī)范化的處理技術(shù)流程，給監(jiān)測數(shù)據(jù)的處理帶來一定的困難。本研究從海洋環(huán)境監(jiān)測數(shù)據(jù)管理的角度，以各監(jiān)測機構(gòu)上報的海洋環(huán)境監(jiān)測數(shù)據(jù)為對象，研究了監(jiān)測數(shù)據(jù)集的處理技術(shù)流程及方法體系。這一處理技術(shù)流程及方法體系的推廣將會，進一步規(guī)范監(jiān)測數(shù)據(jù)的業(yè)務(wù)化處理流程，大大提高監(jiān)測數(shù)據(jù)的處理效率和水平，為海洋環(huán)境保護信息化持續(xù)健康發(fā)展提供高質(zhì)量的數(shù)據(jù)保障。