小男孩‘自慰网亚洲一区二区,亚洲一级在线播放毛片,亚洲中文字幕av每天更新,黄aⅴ永久免费无码,91成人午夜在线精品,色网站免费在线观看,亚洲欧洲wwwww在线观看

分享

海洋論壇▏淺談大數(shù)據(jù)背景下海洋地理信息系統(tǒng)的發(fā)展

 西北漢子boy 2021-04-24

2015年10月國務院正式印發(fā)的《促進大數(shù)據(jù)發(fā)展行動綱要》,是我國促進大數(shù)據(jù)發(fā)展的第一份權威性、系統(tǒng)性文件,從國家大數(shù)據(jù)發(fā)展戰(zhàn)略全局的高度,提出了我國大數(shù)據(jù)發(fā)展的頂層設計和總體部署,是指導我國未來大數(shù)據(jù)發(fā)展的綱領性文件。國際數(shù)據(jù)資訊公司IDC預計2020年全球數(shù)據(jù)量將達到35ZB的體量,其中20%將在中國產(chǎn)生??梢灶A見大數(shù)據(jù)的發(fā)展對各行各業(yè)的推進以及人們認識事物的方式都將產(chǎn)生深遠的影響,越來越多的國家、研究機構都認識到,大數(shù)據(jù)蘊藏費巨大的價值和潛力。

海洋地理信息系統(tǒng)MGIS是指海底、海面、水體、海岸帶及海上大氣等自然環(huán)境與人類活動為研究對象的海洋領域研究的工具和工作平臺,對多種海洋空間數(shù)據(jù)進行收集、存儲、整合、處理和管理,為平臺使用者提供空間分析、模擬預測、可視化表達以及決策輔助等服務。為更好適應海洋數(shù)據(jù)爆炸式增長,實現(xiàn)海洋數(shù)據(jù)的實時共享,MGIS已與web技術緊密結合,為用戶提供快速便捷的數(shù)據(jù)服務。大數(shù)據(jù)的認知方式有別于傳統(tǒng)思維,大數(shù)據(jù)是以“全面而非抽樣”“效率而非精確”“相關而非因果”的理念解決問題。海洋信息化是國家信息化的重要組成部分,充分利用大數(shù)據(jù),挖掘海洋大數(shù)據(jù)對國計民生的最大價值,是海洋信息化戰(zhàn)略努力的方向。而海洋地理信息系統(tǒng)作為海洋數(shù)據(jù)管理、處理分析和共享的有力工具和平臺,將大數(shù)據(jù)關鍵技術“分布式存儲”和“分布式處理”應用MGIS平臺,打造全時、全信息、高效率的海洋地理信息平臺,更好地為海洋信息化戰(zhàn)略服務。

圖片
圖片

一、大數(shù)據(jù)時代

圖片

各種類型傳感器的應用,世界各大IT巨頭對大數(shù)據(jù)的深度開發(fā),萬物物聯(lián)的時代即將到來。隨著物聯(lián)網(wǎng)、互聯(lián)網(wǎng)、云計算等技術的迅速發(fā)展,人、機、物三元世界的高度融合,引發(fā)了數(shù)量模指數(shù)級的增長,數(shù)據(jù)量積累到一定程度其資源性愈加凸顯,開發(fā)價值愈加大,大數(shù)據(jù)已深入到生活的方方面面,世界已進入大數(shù)據(jù)時代,大數(shù)據(jù)被稱為將引發(fā)生活、工作和思維變革的一次革命。

⒈大數(shù)據(jù)的特點

隨著對大數(shù)據(jù)研究的深入,大數(shù)據(jù)不僅僅是數(shù)據(jù)“大量化(Volume)”,而且包含了“快速化(Velocity)”“多樣化(Varirty)”和“價值化(Value)”等多種屬性。大數(shù)據(jù)每年以50%的速度增長,遵循大數(shù)據(jù)“摩爾定律”,大數(shù)據(jù)具有多維性質,而不同維度之間有著天然的聯(lián)系;大數(shù)據(jù)類型多樣,其中只有10%是結構化數(shù)據(jù),90%為是非結構化數(shù)據(jù),非結構化數(shù)據(jù)與人類密切相關;目前數(shù)據(jù)從生產(chǎn)到消耗的時間窗口非常短,為了獲得更多的決策支持,就要求大數(shù)據(jù)的處理速度足夠快;大數(shù)據(jù)是全面而非抽樣的,全信息記錄,使得大數(shù)據(jù)具有價值密度低、但商業(yè)價值高的特點。

⒉大數(shù)據(jù)面臨的挑戰(zhàn)

大數(shù)據(jù)的到來催生出新的科學范式,圖靈獎獲得者Jimgray博士將人類的科學研究史總結為4種范式,即實驗研究階段、理論研究階段、計算研究階段和數(shù)據(jù)驅動研究階段。可以看出,大數(shù)據(jù)正在引發(fā)科學研究思維與方法的變革。雖然大數(shù)據(jù)提出較早,但普遍進入大眾視野是最近10年才開始的,大數(shù)據(jù)技術已取得了較大的發(fā)展,但也面臨著以下幾個方面的挑戰(zhàn)。 

⑴數(shù)據(jù)采集

“大數(shù)據(jù)技術”顧名思義不難發(fā)現(xiàn),數(shù)據(jù)是其根本,數(shù)據(jù)采集是大數(shù)據(jù)技術的第一步。目前通常采用的數(shù)據(jù)采集技術是利用ETL工具將多源異構數(shù)據(jù)源中的關系數(shù)據(jù)、平面數(shù)據(jù)文件等,抽取到臨時中間層后進行清洗、轉換、集成,最后加載到數(shù)據(jù)倉中,成為聯(lián)機分析處理、數(shù)據(jù)挖掘的基礎,實時采集的數(shù)據(jù)可作為流計算的輸入,進行實時處理分析。大數(shù)據(jù)多樣化給數(shù)據(jù)的轉換、集成帶來了挑戰(zhàn),如何正確地轉換和完整的集成是數(shù)據(jù)采集需要面臨的問題。

⑵數(shù)據(jù)儲存和管理

傳統(tǒng)的數(shù)據(jù)庫追求高度的數(shù)據(jù)一致性和容錯性,擴展性不足,在面對非結構化和半結構化的數(shù)據(jù)時,存儲能力一般。利用分布式文件系統(tǒng)、數(shù)據(jù)倉庫、關系數(shù)據(jù)庫、N0SQL數(shù)據(jù)庫和數(shù)據(jù)庫等,實現(xiàn)對結果化、半結構化海量數(shù)據(jù)的存儲和管理。當前,已有的存儲技術的提升較數(shù)據(jù)量的增長落后很多,設計合理的分層存儲架構成為大數(shù)據(jù)存儲的關鍵。

⑶數(shù)據(jù)處理與分析

目前大數(shù)據(jù)處理和分析所采取的關鍵技術是利用分布式并行編程和計算框架,結合機器學習和數(shù)據(jù)挖掘算法,實現(xiàn)對海量數(shù)據(jù)的處理和分析。大數(shù)據(jù)的多樣性、多源異構性加大了數(shù)據(jù)集成和處理的難度,開展大數(shù)據(jù)不同類型格式向標準化格式轉化研究,建立大數(shù)據(jù)多源融合體系。

⑷數(shù)據(jù)隱私和安全

在從大數(shù)據(jù)挖掘潛在的巨大商業(yè)價值和科學研究價值的同時,需要關注數(shù)據(jù)隱私和數(shù)據(jù)安全的問題。如何構建隱私數(shù)據(jù)保護體系和數(shù)據(jù)安全體系,有效保護個人隱私和數(shù)據(jù)安全是人們更為關心的問題。此外,還有需要面臨的挑戰(zhàn),如打破數(shù)據(jù)壁壘,實現(xiàn)數(shù)據(jù)共事;廣泛的技術培訓,培養(yǎng)大數(shù)據(jù)人才;宣傳大數(shù)據(jù)思維,用大數(shù)據(jù)思維看待問題,正確認識數(shù)據(jù)驅動的方法。

圖片

二、大數(shù)據(jù)下海洋地理信息系統(tǒng)的發(fā)展

圖片

⒈海洋地理信息系統(tǒng)概述

地理信息系統(tǒng)(GIS)是海岸帶資源與環(huán)境綜合管理的方便有效的技術手段,基于海洋的特點,如海水的流動性,海水深度明顯的周期變化有別于陸地,有較強的時間性,海洋地理信息系統(tǒng)(MGIS)需要處理空間和時間同步的數(shù)據(jù)。

海洋環(huán)境的復雜多樣,需要綜合管理社會、經(jīng)濟、資源、環(huán)境等多樣性數(shù)據(jù),要求MGIS具有多功能性和智能化的特點。MGIS綜合性地跨學科融合了海洋學、遙感、測繪學、計算機科學、信息科學、社會學、生態(tài)學以及災害學等目前相關的研究者大多基于自身所在的學科背景,將MGIS作為一種輔助分析或決策的具來使用,而將多學科、多背景系統(tǒng)融合的研究則鮮有研究。在大數(shù)據(jù)時代,MGIS將會迎來快速而創(chuàng)新性的發(fā)展,使MGIS更廣泛地適應海洋科學發(fā)展的特點和構建“數(shù)字海洋”的信息系統(tǒng)。 

⒉海洋時空大數(shù)據(jù)倉庫

時空規(guī)律蘊含在數(shù)據(jù)之中,集成的數(shù)據(jù)越多,發(fā)掘出規(guī)律的可能性越高。以往的學者認為海洋數(shù)據(jù)包含海洋水文、海泮生態(tài)環(huán)境、海洋氣象氣候、海洋化學、海洋經(jīng)濟、海洋物理等方面經(jīng)典的大數(shù)據(jù)。2010年前后以物聯(lián)網(wǎng)、云計算和大數(shù)據(jù)為標志,開啟第三次信息化浪潮,海洋大數(shù)據(jù)已經(jīng)不再限于海洋自然科學數(shù)據(jù),與海洋相關的社會數(shù)據(jù),如網(wǎng)絡社交新媒體等也應納入海詳大數(shù)據(jù)的范疇。MGIS與大數(shù)據(jù)技術相結合,使海洋信息數(shù)據(jù)的建庫和管理向科學化、便捷化、實肘化、智能化和應用社會化的方向發(fā)展。

數(shù)據(jù)是運用大數(shù)據(jù)技術的基礎,構建海洋時空大數(shù)據(jù)倉庫是MGIS在大數(shù)據(jù)時代發(fā)展的基石。以大數(shù)據(jù)的采集和存儲模式為基礎,結合MGIS數(shù)據(jù)的特點,將數(shù)據(jù)分為傳統(tǒng)MGIS時空數(shù)據(jù)集、多源傳感器與遙感數(shù)據(jù)和多源泛在時空信息資源3類。將時空數(shù)據(jù)以場景為基礎,構建多尺度圖元鑲嵌的幾何模型,通過増量和快照相結合的方式,表達緩慢變化的自然場景。對于社會和自然變化較為劇烈的過程,如涉海安全事故、風暴潮、海嘯等突發(fā)事件, 以離散事件、過程快照和流媒體等不同類型來進行表達,使泛在時空信息聚合。通過時間、地點、事件等關鍵要素,建立與自然表達場景的映射與關聯(lián)。海洋時空大數(shù)據(jù)倉庫構建的組織關系如圖1所示。 

圖片

1  海洋時空大數(shù)據(jù)倉庫

⒊基于大數(shù)據(jù)的多環(huán)境多層次智能決策預警系統(tǒng)

傳統(tǒng)的MGIS應用已經(jīng)十分廣泛,用于海洋功能區(qū)的管裡和規(guī)劃、海岸帶的管理和規(guī)劃、海洋環(huán)境的管理和保護、海洋資源的開發(fā)管理與保護、海洋環(huán)境的監(jiān)測、評價與預報, 海洋防務數(shù)據(jù)的管理、分析和輔助決策等方面。技術的革新有助于提高人們對問題的認知水平, 從不同的角度和層次看待問題,獲得更好的解決問題的途徑。技術最終是要服務于應用,大數(shù)據(jù)技術與海洋地理信息系統(tǒng)相結合的落腳點、未來的發(fā)展方向將是構建多環(huán)境要素的多層次的實時的決策預警系統(tǒng)。依據(jù)大數(shù)據(jù)的“相關而非因果”思維,在多樣而全面的數(shù)據(jù)倉庫中,應用多環(huán)境模態(tài)發(fā)現(xiàn)深度學習模型,快速而準確地找到規(guī)律,預測事物的進一步發(fā)展,為決策者提供依據(jù)。為建立該預警系統(tǒng),首先,在MGIS平臺上構建海洋環(huán)境、大氣環(huán)境、生態(tài)環(huán)境、經(jīng)濟環(huán)境、社會環(huán)境等海洋時空大數(shù)據(jù)倉庫,以大數(shù)據(jù)云計算為支撐,集成多源時空數(shù)據(jù)資源和集成,實現(xiàn)尺度適應的高性能多模態(tài)數(shù)據(jù)訪問機制;其次,使用耦合時空多尺度過程模型與算法,建立時空模態(tài)發(fā)現(xiàn)的高性能計算框架,挖掘出多環(huán)境變量多層次時空響應關系;最后構建實時高效的多源數(shù)據(jù)采集和處理系統(tǒng),耦合多主題多因子海洋環(huán)境問題時空預測的深度神經(jīng)網(wǎng)絡預測模型庫,研究建立典型情景與專家交互式情景設定雙驅動的環(huán)境預警鏈,實現(xiàn)面向海洋環(huán)境問題的多層次智能決策預警系統(tǒng)?;诖髷?shù)據(jù)的多環(huán)境多層次智能決策預警系統(tǒng)的框架見圖2。 

圖片

2  基于大數(shù)據(jù)的多環(huán)境多層次智能決策預警系統(tǒng)

⒋大數(shù)據(jù)下海洋地理信息系統(tǒng)面臨的挑戰(zhàn)

大數(shù)據(jù)時代,海洋地理信息系統(tǒng)主要面臨以下3個挑戰(zhàn)。首先是思維的轉變,當今海洋學問題主流處理方式仍然是模型驅動,而數(shù)據(jù)的極大豐富使人們可以不用模型和假設,實現(xiàn)從模型驅動到數(shù)據(jù)驅動的思維轉變,以大數(shù)據(jù)思維解決MGIS中遇到的新型問題,從復雜的時空數(shù)據(jù)中挖掘出隱含的規(guī)律和知識。其次是數(shù)據(jù)和技術的共享,海洋數(shù)據(jù)的敏感性和大數(shù)據(jù)關鍵技術的壟斷性是阻礙大數(shù)據(jù)發(fā)展的最大障礙。最后是多學科復合型人才的培養(yǎng),大數(shù)據(jù)和云計算技術的提升,使全要素的數(shù)據(jù)驅動成為可能,擁有多學科背景,具備跨學科綜合能力的人才更為急需。 

圖片

三、結語

圖片

結合大數(shù)據(jù)的概念和特點,探討了海洋地理信息系統(tǒng)未來可能的發(fā)展趨勢,以海洋地理信息系統(tǒng)為平臺,建立海洋時空大數(shù)據(jù)倉庫,以大數(shù)據(jù)、云計算和深度學習算法為技術支撐, 將基于大數(shù)據(jù)的多環(huán)境多層次智能決策預警系統(tǒng)作為應用的落腳點。最后認為思維轉變、技術壁壘和人才培養(yǎng)等3個方面是大數(shù)據(jù)和海洋地理信息系統(tǒng)將要面臨的問題。

【作者簡介】本文作者/陳鵬 王少朋 李玉婷 陳坤 劉逸潔,分別來自南京師范大學虛擬地理環(huán)境教育部重點實驗室和國家海洋信息中心。文章來自《海洋信息》(2019年第2期),參考文獻略,用于學習與交流,版權歸作者及出版社共同擁有,轉載也請備注由“溪流之海洋人生”微信公眾平臺整理。

圖片
圖片
圖片

    本站是提供個人知識管理的網(wǎng)絡存儲空間,所有內容均由用戶發(fā)布,不代表本站觀點。請注意甄別內容中的聯(lián)系方式、誘導購買等信息,謹防詐騙。如發(fā)現(xiàn)有害或侵權內容,請點擊一鍵舉報。
    轉藏 分享 獻花(0

    0條評論

    發(fā)表

    請遵守用戶 評論公約

    類似文章 更多