海量的環(huán)境數(shù)據(jù)也給傳統(tǒng)數(shù)據(jù)平臺帶來巨大挑戰(zhàn)。清華大學(xué)軟件學(xué)院大數(shù)據(jù)中心總工程師王晨指出，“十三五”期間，環(huán)保數(shù)據(jù)量還將呈爆發(fā)式增長，這給計算資源和存儲資源的擴(kuò)展性和高可用性帶來挑戰(zhàn)。另外，生態(tài)監(jiān)測網(wǎng)實時數(shù)據(jù)也給數(shù)據(jù)平臺帶來性能挑戰(zhàn)。
在內(nèi)蒙古的烏梁素海，通過污染源和地表水環(huán)境質(zhì)量的立體網(wǎng)格化的數(shù)據(jù)采集，全流域水質(zhì)情況一覽無余，影響每一個水質(zhì)斷面的主要污染企業(yè)也都清楚明了。
不僅在內(nèi)蒙古，“讓數(shù)據(jù)說話，用數(shù)據(jù)管理”的思路也已深入到全國各個地區(qū)的環(huán)保管理當(dāng)中，在上海、四川、無錫等地出臺的《環(huán)境信息化“十三五”規(guī)劃》中，推進(jìn)大數(shù)據(jù)監(jiān)管都被列入其主要任務(wù)之一。
今年是環(huán)境保護(hù)部發(fā)布的《生態(tài)環(huán)境大數(shù)據(jù)總體方案》實施的起步之年，生態(tài)環(huán)境大數(shù)據(jù)建設(shè)也開始從模糊走向明朗。11月24日至25日，2016全國環(huán)境信息技術(shù)與應(yīng)用交流大會在京召開，如何利用大數(shù)據(jù)推動環(huán)境監(jiān)管精準(zhǔn)化，為“智慧環(huán)保”提供決策服務(wù)，成為此次大會的主要議題。
環(huán)境監(jiān)管的“無形之手”
環(huán)境管理重在預(yù)防，未雨綢繆從源頭治污。提前預(yù)測環(huán)境污染風(fēng)險和污染源，將更加有針對性地幫助政府精準(zhǔn)治污，而大數(shù)據(jù)技術(shù)則成為環(huán)境監(jiān)管的“無形之手”。
國家信息中心信息化研究部大數(shù)據(jù)分析處副處長王建冬表示，大數(shù)據(jù)為政府治理提供了全新的視角和手段，大數(shù)據(jù)時代的到來，不僅僅意味著對數(shù)據(jù)處理技術(shù)和處理能力的提升，更重要的是全社會數(shù)據(jù)資源分布結(jié)構(gòu)的深刻變化——實時、交互、離散化、非結(jié)構(gòu)化的海量數(shù)據(jù)中，蘊(yùn)含著經(jīng)濟(jì)社會運(yùn)行的各種指標(biāo)和信號。
“對于環(huán)境管理來說，監(jiān)測體系是監(jiān)管的基礎(chǔ)，大數(shù)據(jù)應(yīng)用是監(jiān)管的靈魂，有了大數(shù)據(jù)就能使我們的監(jiān)管能力顯著提升。”內(nèi)蒙古自治區(qū)環(huán)保廳副廳長李劍表示，“用數(shù)據(jù)說話，摸清家底；用數(shù)據(jù)管理，監(jiān)察執(zhí)法。”成為強(qiáng)化環(huán)境監(jiān)管的重要支撐。
大數(shù)據(jù)時代的到來，傳統(tǒng)環(huán)境管理的思路方法也將被顛覆。“環(huán)境管理目標(biāo)從簡單的總量控制為主向污染治理、環(huán)境質(zhì)量改善轉(zhuǎn)變，從單一的污染防治向風(fēng)險防控、聯(lián)防聯(lián)控、流域共治轉(zhuǎn)變。”聚光科技信息開發(fā)中心總監(jiān)丁成富說。
而在太較計算機(jī)股份有限公司高級系統(tǒng)架構(gòu)師李華看來，相較于其他行業(yè)大數(shù)據(jù)應(yīng)用，環(huán)保方面的大數(shù)據(jù)具有先天的優(yōu)勢，其整體分析、應(yīng)用從一開始就具備了大數(shù)據(jù)體系的相關(guān)要素。
“環(huán)境保護(hù)大數(shù)據(jù)體系從一開始就可以針對某個方面進(jìn)行體系脈絡(luò)清晰的大數(shù)據(jù)分析，而不會出現(xiàn)數(shù)據(jù)網(wǎng)狀關(guān)聯(lián)，能夠很直接地針對一類數(shù)據(jù)整理出相關(guān)的分析，建設(shè)過程較為直觀。”李華說。
另外，李華表示，環(huán)保大數(shù)據(jù)還具有豐富的應(yīng)用主題，包括環(huán)境承載力分析、污染氣象關(guān)系分析、環(huán)境經(jīng)濟(jì)關(guān)系分析、污染物大數(shù)據(jù)分析、環(huán)保預(yù)警預(yù)測、污染排放治理等。
目前，環(huán)保大數(shù)據(jù)需求十分緊迫。因為環(huán)保部門相較于產(chǎn)生污染企業(yè)的管理部門而言相對弱勢，更迫切地需要科學(xué)、正確的數(shù)據(jù)來進(jìn)行事實的陳述說明，明確責(zé)權(quán)，進(jìn)行環(huán)保的整改調(diào)整，因此也更需要依賴基于大數(shù)據(jù)的信息化支撐。
海量數(shù)據(jù)帶來挑戰(zhàn)
環(huán)保大數(shù)據(jù)到底是什么數(shù)據(jù)？在清華大學(xué)軟件學(xué)院大數(shù)據(jù)中心總工程師王晨看來，環(huán)保大數(shù)據(jù)包含了大量未開發(fā)的環(huán)境信息資源，包括環(huán)境輿情、互聯(lián)網(wǎng)公開的數(shù)據(jù)；審批附件、圖片等非結(jié)構(gòu)化數(shù)據(jù)；生態(tài)物聯(lián)網(wǎng)的建設(shè)帶來海量半結(jié)構(gòu)化數(shù)據(jù)等。
然而，海量的環(huán)境數(shù)據(jù)也給傳統(tǒng)數(shù)據(jù)平臺帶來巨大挑戰(zhàn)。王晨表示，“十三五”期間，環(huán)保數(shù)據(jù)量還將呈爆發(fā)式增長，這給計算資源和存儲資源的擴(kuò)展性和高可用性帶來挑戰(zhàn)。另外，生態(tài)監(jiān)測網(wǎng)實時數(shù)據(jù)也給數(shù)據(jù)平臺帶來性能挑戰(zhàn)。而非結(jié)構(gòu)化數(shù)據(jù)、時間序列數(shù)據(jù)、關(guān)系型數(shù)據(jù)等多類型數(shù)據(jù)，也增加了數(shù)據(jù)處理及分析的復(fù)雜性。
來自重慶市環(huán)境保護(hù)中心的王陸瀟博士則指出，環(huán)保行業(yè)廣泛使用地理信息系統(tǒng)（GIS），盡管GIS軟件已實現(xiàn)關(guān)系數(shù)據(jù)庫管理系統(tǒng)的性能擴(kuò)展，能夠同時管理圖形、屬性數(shù)據(jù)、高程數(shù)據(jù)等，并已實現(xiàn)了多比例尺空間數(shù)據(jù)的存儲，但該數(shù)據(jù)存儲模式已經(jīng)觸碰到瓶頸，并且會導(dǎo)致地理信息系統(tǒng)空間數(shù)據(jù)自動綜合能力與效率低下。此外，GIS的客戶機(jī)服務(wù)器架構(gòu)決定了數(shù)據(jù)共享、數(shù)據(jù)存儲、同步性更新及更新效率等能力較弱。
而從政府頂層設(shè)計層面來看，環(huán)境大數(shù)據(jù)也面臨重重難點(diǎn)。清華大學(xué)環(huán)境學(xué)院環(huán)境管理與政策教研所主任常杪表示，地方政府在環(huán)境大數(shù)據(jù)建設(shè)中會面臨規(guī)劃設(shè)計、設(shè)備技術(shù)選型、數(shù)據(jù)收集等難點(diǎn)。
以規(guī)劃設(shè)計為例，“規(guī)劃設(shè)計并不是對現(xiàn)有業(yè)務(wù)系統(tǒng)的簡單加和，而應(yīng)當(dāng)在需求明確的情況下，融合現(xiàn)有的傳感技術(shù)、互聯(lián)技術(shù)、數(shù)據(jù)挖掘技術(shù)等，開發(fā)出能經(jīng)濟(jì)、有效解決實際問題的系統(tǒng)。”常杪表示，如何設(shè)計出能集成海量、多源、異構(gòu)數(shù)據(jù)且實現(xiàn)數(shù)據(jù)動態(tài)更新的數(shù)據(jù)中心框架，如何實現(xiàn)數(shù)據(jù)標(biāo)準(zhǔn)統(tǒng)一，以完成環(huán)境數(shù)據(jù)的統(tǒng)一規(guī)劃、集成和管理，提高數(shù)據(jù)產(chǎn)品加工和服務(wù)能力等，都是規(guī)劃設(shè)計的難點(diǎn)問題。
如何“慧”集數(shù)據(jù)
預(yù)計未來5年，環(huán)保監(jiān)管數(shù)據(jù)將實現(xiàn)精準(zhǔn)化，“智慧環(huán)保”將使得環(huán)境管理更精明，居民更有獲得感、資源利用更高效、生態(tài)環(huán)境更宜居。
環(huán)境保護(hù)部信息中心總工程師、環(huán)境信息化分會秘書長魏斌指出，數(shù)字變革和數(shù)字顛覆對人類的發(fā)展影響遠(yuǎn)遠(yuǎn)超出我們的想象。信息技術(shù)不斷突破原有技術(shù)架構(gòu)和發(fā)展模式，步入體系化創(chuàng)新和群體性突破的新階段。
而對于環(huán)境信息化建設(shè)，魏斌指出，其建設(shè)和發(fā)展模式亟待改變，信息碎片化、應(yīng)用條塊化、服務(wù)割裂化等問題都需要從根源上加強(qiáng)統(tǒng)籌，實現(xiàn)信息共享，系統(tǒng)互聯(lián)互通。
那么，如何充分挖掘數(shù)據(jù)的價值，從而為“智慧環(huán)保”服務(wù)呢？
以大氣環(huán)境監(jiān)測領(lǐng)域為例，中科宇圖資源環(huán)境研究院院長劉銳提出一種基于多源數(shù)據(jù)融合的監(jiān)測方法——首先搭建集成工作站、服務(wù)器等硬件支撐平臺以支撐項目的建設(shè)和運(yùn)營，其次根據(jù)數(shù)據(jù)資源的來源和分析需求，智能利用跨領(lǐng)域研究實踐的技術(shù)優(yōu)勢，以互聯(lián)網(wǎng)全域數(shù)據(jù)為基礎(chǔ)，基于Hadoop的分布式存儲及計算框架，研究大氣環(huán)境監(jiān)測預(yù)警大數(shù)據(jù)應(yīng)用關(guān)鍵技術(shù)，建立大氣數(shù)據(jù)分析環(huán)境和聯(lián)合監(jiān)測環(huán)境。
劉銳還提出了機(jī)器學(xué)習(xí)的概念，基于大數(shù)據(jù)技術(shù)的預(yù)報預(yù)警模型，機(jī)器學(xué)習(xí)通過模擬或?qū)崿F(xiàn)人類的學(xué)習(xí)行為，以獲取新的知識或技能，重新組織已有的知識結(jié)構(gòu)使之不斷改善自身的性能。
另外，李華表示，大數(shù)據(jù)支撐環(huán)境是應(yīng)用成敗的關(guān)鍵，基于大數(shù)據(jù)基礎(chǔ)服務(wù)可提供用戶大數(shù)據(jù)采集、存儲、計算能力；通過太較環(huán)保大數(shù)據(jù)平臺則可以實現(xiàn)大數(shù)據(jù)的分析挖掘與可視化，具備一站式數(shù)據(jù)應(yīng)用能力。
在王晨看來，環(huán)保大數(shù)據(jù)管理系統(tǒng)研發(fā)的要點(diǎn)還包括高吞吐量、事務(wù)處理模型全局一致、專業(yè)化查詢和分析引擎、系統(tǒng)易管理和維護(hù)、容錯和故障恢復(fù)等，“效能＋易用性”才是關(guān)鍵所在。
（原標(biāo)題：大數(shù)據(jù)推動“智慧環(huán)保”落地）