海量的環(huán)境數(shù)據(jù)也給傳統(tǒng)數(shù)據(jù)平臺帶來巨大挑戰(zhàn)。清華大學軟件學院大數(shù)據(jù)中心總工程師王晨指出，“十三五”期間，環(huán)保數(shù)據(jù)量還將呈爆發(fā)式增長，這給計算資源和存儲資源的擴展性和高可用性帶來挑戰(zhàn)。另外，生態(tài)監(jiān)測網(wǎng)實時數(shù)據(jù)也給數(shù)據(jù)平臺帶來性能挑戰(zhàn)。
　　

　　　　
　　在內(nèi)蒙古的烏梁素海，通過污染源和地表水環(huán)境質(zhì)量的立體網(wǎng)格化的數(shù)據(jù)采集，全流域水質(zhì)情況一覽無余，影響每一個水質(zhì)斷面的主要污染企業(yè)也都清楚明了。
　　
　　不僅在內(nèi)蒙古，“讓數(shù)據(jù)說話，用數(shù)據(jù)管理”的思路也已深入到全國各個地區(qū)的環(huán)保管理當中，在上海、四川、無錫等地出臺的《環(huán)境信息化“十三五”規(guī)劃》中，推進大數(shù)據(jù)監(jiān)管都被列入其主要任務之一。
　　
　　今年是環(huán)境保護部發(fā)布的《生態(tài)環(huán)境大數(shù)據(jù)總體方案》實施的起步之年，生態(tài)環(huán)境大數(shù)據(jù)建設也開始從模糊走向明朗。11月24日至25日，2016全國環(huán)境信息技術(shù)與應用交流大會在京召開，如何利用大數(shù)據(jù)推動環(huán)境監(jiān)管精準化，為“智慧環(huán)保”提供決策服務，成為此次大會的主要議題。
　　
　　環(huán)境監(jiān)管的“無形之手”
　　
　　環(huán)境管理重在預防，未雨綢繆從源頭治污。提前預測環(huán)境污染風險和污染源，將更加有針對性地幫助政府精準治污，而大數(shù)據(jù)技術(shù)則成為環(huán)境監(jiān)管的“無形之手”。
　　
　　國家信息中心信息化研究部大數(shù)據(jù)分析處副處長王建冬表示，大數(shù)據(jù)為政府治理提供了全新的視角和手段，大數(shù)據(jù)時代的到來，不僅僅意味著對數(shù)據(jù)處理技術(shù)和處理能力的提升，更重要的是全社會數(shù)據(jù)資源分布結(jié)構(gòu)的深刻變化——實時、交互、離散化、非結(jié)構(gòu)化的海量數(shù)據(jù)中，蘊含著經(jīng)濟社會運行的各種指標和信號。
　　
　　“對于環(huán)境管理來說，監(jiān)測體系是監(jiān)管的基礎，大數(shù)據(jù)應用是監(jiān)管的靈魂，有了大數(shù)據(jù)就能使我們的監(jiān)管能力顯著提升。”內(nèi)蒙古自治區(qū)環(huán)保廳副廳長李劍表示，“用數(shù)據(jù)說話，摸清家底；用數(shù)據(jù)管理，監(jiān)察執(zhí)法。”成為強化環(huán)境監(jiān)管的重要支撐。
　　
　　大數(shù)據(jù)時代的到來，傳統(tǒng)環(huán)境管理的思路方法也將被顛覆。“環(huán)境管理目標從簡單的總量控制為主向污染治理、環(huán)境質(zhì)量改善轉(zhuǎn)變，從單一的污染防治向風險防控、聯(lián)防聯(lián)控、流域共治轉(zhuǎn)變。”聚光科技信息開發(fā)中心總監(jiān)丁成富說。
　　
　　而在太較計算機股份有限公司高級系統(tǒng)架構(gòu)師李華看來，相較于其他行業(yè)大數(shù)據(jù)應用，環(huán)保方面的大數(shù)據(jù)具有先天的優(yōu)勢，其整體分析、應用從一開始就具備了大數(shù)據(jù)體系的相關(guān)要素。
　　
　　“環(huán)境保護大數(shù)據(jù)體系從一開始就可以針對某個方面進行體系脈絡清晰的大數(shù)據(jù)分析，而不會出現(xiàn)數(shù)據(jù)網(wǎng)狀關(guān)聯(lián)，能夠很直接地針對一類數(shù)據(jù)整理出相關(guān)的分析，建設過程較為直觀。”李華說。
　　
　　另外，李華表示，環(huán)保大數(shù)據(jù)還具有豐富的應用主題，包括環(huán)境承載力分析、污染氣象關(guān)系分析、環(huán)境經(jīng)濟關(guān)系分析、污染物大數(shù)據(jù)分析、環(huán)保預警預測、污染排放治理等。
　　
　　目前，環(huán)保大數(shù)據(jù)需求十分緊迫。因為環(huán)保部門相較于產(chǎn)生污染企業(yè)的管理部門而言相對弱勢，更迫切地需要科學、正確的數(shù)據(jù)來進行事實的陳述說明，明確責權(quán)，進行環(huán)保的整改調(diào)整，因此也更需要依賴基于大數(shù)據(jù)的信息化支撐。
　　
　　海量數(shù)據(jù)帶來挑戰(zhàn)
　　
　　環(huán)保大數(shù)據(jù)到底是什么數(shù)據(jù)？在清華大學軟件學院大數(shù)據(jù)中心總工程師王晨看來，環(huán)保大數(shù)據(jù)包含了大量未開發(fā)的環(huán)境信息資源，包括環(huán)境輿情、互聯(lián)網(wǎng)公開的數(shù)據(jù)；審批附件、圖片等非結(jié)構(gòu)化數(shù)據(jù)；生態(tài)物聯(lián)網(wǎng)的建設帶來海量半結(jié)構(gòu)化數(shù)據(jù)等。
　　
　　然而，海量的環(huán)境數(shù)據(jù)也給傳統(tǒng)數(shù)據(jù)平臺帶來巨大挑戰(zhàn)。王晨表示，“十三五”期間，環(huán)保數(shù)據(jù)量還將呈爆發(fā)式增長，這給計算資源和存儲資源的擴展性和高可用性帶來挑戰(zhàn)。另外，生態(tài)監(jiān)測網(wǎng)實時數(shù)據(jù)也給數(shù)據(jù)平臺帶來性能挑戰(zhàn)。而非結(jié)構(gòu)化數(shù)據(jù)、時間序列數(shù)據(jù)、關(guān)系型數(shù)據(jù)等多類型數(shù)據(jù)，也增加了數(shù)據(jù)處理及分析的復雜性。
　　
　　來自重慶市環(huán)境保護中心的王陸瀟博士則指出，環(huán)保行業(yè)廣泛使用地理信息系統(tǒng)（GIS），盡管GIS軟件已實現(xiàn)關(guān)系數(shù)據(jù)庫管理系統(tǒng)的性能擴展，能夠同時管理圖形、屬性數(shù)據(jù)、高程數(shù)據(jù)等，并已實現(xiàn)了多比例尺空間數(shù)據(jù)的存儲，但該數(shù)據(jù)存儲模式已經(jīng)觸碰到瓶頸，并且會導致地理信息系統(tǒng)空間數(shù)據(jù)自動綜合能力與效率低下。此外，GIS的客戶機服務器架構(gòu)決定了數(shù)據(jù)共享、數(shù)據(jù)存儲、同步性更新及更新效率等能力較弱。
　　
　　而從政府頂層設計層面來看，環(huán)境大數(shù)據(jù)也面臨重重難點。清華大學環(huán)境學院環(huán)境管理與政策教研所主任常杪表示，地方政府在環(huán)境大數(shù)據(jù)建設中會面臨規(guī)劃設計、設備技術(shù)選型、數(shù)據(jù)收集等難點。
　　
　　以規(guī)劃設計為例，“規(guī)劃設計并不是對現(xiàn)有業(yè)務系統(tǒng)的簡單加和，而應當在需求明確的情況下，融合現(xiàn)有的傳感技術(shù)、互聯(lián)技術(shù)、數(shù)據(jù)挖掘技術(shù)等，開發(fā)出能經(jīng)濟、有效解決實際問題的系統(tǒng)。”常杪表示，如何設計出能集成海量、多源、異構(gòu)數(shù)據(jù)且實現(xiàn)數(shù)據(jù)動態(tài)更新的數(shù)據(jù)中心框架，如何實現(xiàn)數(shù)據(jù)標準統(tǒng)一，以完成環(huán)境數(shù)據(jù)的統(tǒng)一規(guī)劃、集成和管理，提高數(shù)據(jù)產(chǎn)品加工和服務能力等，都是規(guī)劃設計的難點問題。
　　
　　如何“慧”集數(shù)據(jù)
　　
　　預計未來5年，環(huán)保監(jiān)管數(shù)據(jù)將實現(xiàn)精準化，“智慧環(huán)保”將使得環(huán)境管理更精明，居民更有獲得感、資源利用更高效、生態(tài)環(huán)境更宜居。
　　
　　環(huán)境保護部信息中心總工程師、環(huán)境信息化分會秘書長魏斌指出，數(shù)字變革和數(shù)字顛覆對人類的發(fā)展影響遠遠超出我們的想象。信息技術(shù)不斷突破原有技術(shù)架構(gòu)和發(fā)展模式，步入體系化創(chuàng)新和群體性突破的新階段。
　　
　　而對于環(huán)境信息化建設，魏斌指出，其建設和發(fā)展模式亟待改變，信息碎片化、應用條塊化、服務割裂化等問題都需要從根源上加強統(tǒng)籌，實現(xiàn)信息共享，系統(tǒng)互聯(lián)互通。
　　
　　那么，如何充分挖掘數(shù)據(jù)的價值，從而為“智慧環(huán)保”服務呢？
　　
　　以大氣環(huán)境監(jiān)測領(lǐng)域為例，中科宇圖資源環(huán)境研究院院長劉銳提出一種基于多源數(shù)據(jù)融合的監(jiān)測方法——首先搭建集成工作站、服務器等硬件支撐平臺以支撐項目的建設和運營，其次根據(jù)數(shù)據(jù)資源的來源和分析需求，智能利用跨領(lǐng)域研究實踐的技術(shù)優(yōu)勢，以互聯(lián)網(wǎng)全域數(shù)據(jù)為基礎，基于Hadoop的分布式存儲及計算框架，研究大氣環(huán)境監(jiān)測預警大數(shù)據(jù)應用關(guān)鍵技術(shù)，建立大氣數(shù)據(jù)分析環(huán)境和聯(lián)合監(jiān)測環(huán)境。
　　
　　劉銳還提出了機器學習的概念，基于大數(shù)據(jù)技術(shù)的預報預警模型，機器學習通過模擬或?qū)崿F(xiàn)人類的學習行為，以獲取新的知識或技能，重新組織已有的知識結(jié)構(gòu)使之不斷改善自身的性能。
　　
　　另外，李華表示，大數(shù)據(jù)支撐環(huán)境是應用成敗的關(guān)鍵，基于大數(shù)據(jù)基礎服務可提供用戶大數(shù)據(jù)采集、存儲、計算能力；通過太較環(huán)保大數(shù)據(jù)平臺則可以實現(xiàn)大數(shù)據(jù)的分析挖掘與可視化，具備一站式數(shù)據(jù)應用能力。
　　
　　在王晨看來，環(huán)保大數(shù)據(jù)管理系統(tǒng)研發(fā)的要點還包括高吞吐量、事務處理模型全局一致、專業(yè)化查詢和分析引擎、系統(tǒng)易管理和維護、容錯和故障恢復等，“效能＋易用性”才是關(guān)鍵所在。
　　
　　（原標題：大數(shù)據(jù)推動“智慧環(huán)保”落地）