本文作者：劉海燕、劉曉民、魏加華、田坤、陳文磊 單位：清華大學(xué)水沙科學(xué)與水利水電工程國家重點(diǎn)實(shí)驗(yàn)室、內(nèi)蒙古農(nóng)業(yè)大學(xué)水利與土木建筑工程學(xué)院、北京中水新華國際咨詢工程有限公司

國內(nèi)外組件化流域集成技術(shù)的發(fā)展及存在問題

流域模型的組件根據(jù)模型的求解方式分為3類,分別是前處理組件、計算引擎組件、后處理組件。其中,前處理組件為模型的計算準(zhǔn)備提供功能支持,后處理組件為模型的計算結(jié)果分析提供功能支持,計算引擎組件是集成模型系統(tǒng)的核心。目前,國內(nèi)外很多流域集成模型或者模型集成系統(tǒng)均采用了組件化方法,下面對國內(nèi)外的典型流域集成模型/系統(tǒng)加以評述。

1國外組件化流域集成技術(shù)的發(fā)展

國際上較為知名的流域集成模型包括:丹麥水文研究所開發(fā)的MIKESHE和MIKEBASIN等系列軟件、美國農(nóng)業(yè)部開發(fā)的SWAT模型以及在此基礎(chǔ)上發(fā)展出的多種集成模型、美國環(huán)保署開發(fā)的平臺式系統(tǒng)BASINS、美國地質(zhì)調(diào)查局在MODFLOW基礎(chǔ)上發(fā)展的地表水與地下水耦合模型GSFLOW、美國水文工程中心的HEC-HMS模型、美國BrighamYoung大學(xué)環(huán)境模型研究實(shí)驗(yàn)室開發(fā)的專業(yè)水文模擬處理軟件WMS模型系統(tǒng)、英國Wallingford公司所研發(fā)的InfoWorksRS以及近年來發(fā)展起來的ParFlow等。下面主要介紹其中6種模型。

MIKEBASIN模型。MIKEBASIN是一個基于ArcGIS&reg的流域水資源規(guī)劃管理工具,在流域(區(qū)域)尺度基礎(chǔ)上,解決水量的優(yōu)化配置、用水戶連接、水庫調(diào)度規(guī)則及水質(zhì)模擬等問題的綜合性水資源數(shù)學(xué)模型軟件,分NAM(降雨徑流)和MIKEBA2SIN(水資源配置)兩個模塊[11212]。MIKEBASIN采用COM/.NET編程功能,提供二次開發(fā)及擴(kuò)展空間,具有綜合性與可移植性的特點(diǎn),通用性強(qiáng),適于大、小流域和行政區(qū)域各種復(fù)雜條件水資源問題研究。該軟件基于GIS平臺,建模快速,數(shù)據(jù)前處理靈活,后處理以多種形式直觀表達(dá),易于分析、統(tǒng)計等。

MIKESHE模型。作為一個綜合性的水文模擬系統(tǒng)和進(jìn)行大范圍陸地水循環(huán)研究的有力工具,MIKESHE側(cè)重地下水資源和地下水環(huán)境問題分析、規(guī)劃和管理。該模型軟件包含了模擬坡面漫流、非飽和流、溶質(zhì)輸移、農(nóng)業(yè)設(shè)施、總蒸發(fā)等數(shù)值模塊。MIKESHE將水文循環(huán)的各物理過程分別獨(dú)立模型模擬,通過多模型之間的數(shù)據(jù)交換來模擬各水文循環(huán)過程。模型軟件采用組件式結(jié)構(gòu),將每一個子過程分別設(shè)計成一個軟件模塊,每一模塊僅執(zhí)行一個子過程的計算。子模塊可單獨(dú)使用,也可以根據(jù)需要進(jìn)行耦合或者疊加。同時,MIKESHE模型軟件具有標(biāo)準(zhǔn)的OpenMI(OpenModelInterface,開放式模型接口)接口,為該模型軟件與其他模型集成提供了標(biāo)準(zhǔn)接口[13]。MIKESHE模型軟件具有高度靈活性、通用性以及簡單操作性。但是,該軟件過于龐大和復(fù)雜,不易掌握和運(yùn)用,尤其是整個安裝過程較為復(fù)雜,良好使用對計算機(jī)性能的要求較高[14215]。

SWAT(SoilandWaterAssessmentTool)模型。SWAT模型是一個具有物理機(jī)制的分布式流域水文模型。該模型在Windows操作系統(tǒng)上利用VisualBasic并結(jié)合GRASS和ArcView進(jìn)行開發(fā),整合了ARS(AgriculturalResearchService)和SWRRB模型(SimulatorforWaterRe2sourcesinRuralBasins)的特征,采用了先進(jìn)的模塊化設(shè)計思路[16217]。該模型模擬的各環(huán)節(jié)都有對應(yīng)的子功能模塊,模型運(yùn)行采用命令行代碼結(jié)構(gòu)來控制相關(guān)模塊的調(diào)用,命令行的控制由一個包含命令和代碼的特定格式配置文件完成。SWAT模型自問世以來得到了廣泛的認(rèn)可,但是在集成調(diào)用的過程中存在如下問題[18219]。(1)SWAT模型采用與GIS軟件緊密集成的方式,模擬過程中的前處理(空間離散化、空間參數(shù)化)、運(yùn)行及調(diào)試均以擴(kuò)展模塊方式在GIS環(huán)境下實(shí)現(xiàn),因此如果需要將其作為定量評價工具集成到特定的流域管理系統(tǒng)中,那么就意味著同時需要集成整個GIS軟件系統(tǒng),所以集成效率低且浪費(fèi)資源。(2)由于SWAT模型的空間運(yùn)行單元采用多層次組織,模型運(yùn)行需要的基礎(chǔ)數(shù)據(jù)結(jié)構(gòu)復(fù)雜,類型多樣,所以要想單獨(dú)開發(fā)模型運(yùn)行的前處理模塊,實(shí)現(xiàn)的難度較大。

InfoWorksRS模型。InfoWorksRS(河流系統(tǒng)軟件)主要用于河網(wǎng)及明渠等的水動力學(xué)模型計算。它前處理集成了兩種GIS組件,即MapInfo公司的MapX和Esri公司的Mapobject,為用戶提供了直觀的圖形用戶界面。InfoWorksRS采用分布式體系結(jié)構(gòu),既支持單用戶應(yīng)用,也可支持工作組多用戶應(yīng)用[20221]。該軟件在應(yīng)用中對數(shù)據(jù)的數(shù)量和質(zhì)量要求較高,相對于國內(nèi)現(xiàn)在較為滯后和不太規(guī)范的水文基礎(chǔ)數(shù)據(jù)庫而言,軟件在應(yīng)用和推廣方面會受到一定的影響。

WMS(WatershedModelingSystem)模型。WMS(專業(yè)水文模擬處理軟件系統(tǒng)),以通用的數(shù)據(jù)接口集成了HEC、NFF、TR220、TR255、RationalMethod和HSPF大量的傳統(tǒng)集總式水文模型和基于物理基礎(chǔ)的分布式水文模型Gssha,能夠提供流域內(nèi)水文所有過程的模擬。WMS并內(nèi)嵌了完整的GIS工具,可以實(shí)現(xiàn)流域描繪和各種GIS功能分析[22]。目前該軟件已被引入國內(nèi),并在部分研究中得到了應(yīng)用。

HEC2HMS模型。HEC2HMS(水文模型系統(tǒng)是美國水文工程中心降雨徑流模型),模型主要由C,C++和Fortran語言混編而成[23225]。該HEC-HMS模型具有模塊化的結(jié)構(gòu),研究者可以依據(jù)所研究流域的情況,采用不同的產(chǎn)流和匯流方案進(jìn)行分布式、半分布式或集總式模擬。組件化技術(shù)在國外研究的流域集成模型中已經(jīng)得到了廣泛的應(yīng)用,促進(jìn)了國外的流域集成模型的發(fā)展。我國也引進(jìn)了其中一些模型并在流域管理方面應(yīng)用。但是,如上所述,這些集成模型也存在一些問題,并不是完全適應(yīng)我國的流域管理,在應(yīng)用時,也需要對其進(jìn)行改進(jìn)以適應(yīng)應(yīng)用的環(huán)境。

2國內(nèi)組件化流域集成技術(shù)的發(fā)展

在我國,一些集成模型/集成系統(tǒng)也應(yīng)用了組件技術(shù)進(jìn)行模型集成。雷曉輝等[26]開發(fā)了基于開源GIS軟件MapWindow的模型軟件系統(tǒng)MWEasyDHM。該系統(tǒng)集成前處理、模型計算、參數(shù)識別、統(tǒng)計分析、結(jié)果展示等功能,是一個低成本的分布式水文模型軟件系統(tǒng),整個平臺的開發(fā)語言包括:C++,C#,VB.Net和Fortran等。該模擬模型采用模塊化編程思想,集成多種產(chǎn)匯流計算方式,具有較強(qiáng)的可擴(kuò)展性。陳秀萬等[27]采用面向?qū)ο蟮姆椒?基于UML、ATLCOM、ArcEngine、OpenGL等技術(shù)實(shí)現(xiàn)了一個基于動態(tài)響應(yīng)單元的組件化分布式水文模型系統(tǒng))DRUMS(ADynamicalResponseUnitsbasedDistributedHydrologicalModelSys2tem)。DRUMS為多尺度下水文模型庫系統(tǒng)的實(shí)現(xiàn)提供了一個開放的、可擴(kuò)展的實(shí)現(xiàn)框架。該系統(tǒng)具有開放的接口,靈活的擴(kuò)展性,在此基礎(chǔ)上可以構(gòu)建不同的專業(yè)領(lǐng)域應(yīng)用。禹雪中等[28]根據(jù)淮河流域洪水特征和水系構(gòu)成,分析了水文學(xué)與水力學(xué)模型在洪水過程、洪水要素和空間范圍方面的集成方式,采用了數(shù)據(jù)-模型-應(yīng)用3層結(jié)構(gòu)的總體集成框架,通過模型應(yīng)用過程的模塊化處理和數(shù)據(jù)有效交換,建立了集模擬、率定和預(yù)報功能于一體的綜合計算平臺。

黃河數(shù)學(xué)模擬系統(tǒng)V1.0采用基于.NET的3層架構(gòu)進(jìn)行組織,同時考慮通過企業(yè)服務(wù)總線(ESB)等產(chǎn)品實(shí)現(xiàn)與J2EE等架構(gòu)的有效集成,同時利用COM組件和設(shè)置公共接口,有效地耦合各類數(shù)學(xué)模型,實(shí)現(xiàn)數(shù)學(xué)模型與GIS的集成,基本解決了各類模型前后處理和可視化的問題。但是,目前的系統(tǒng)屬于單機(jī)軟件,對使用人員的專業(yè)技術(shù)水平要求較高[29]。夏潤亮[30]等在黃河數(shù)學(xué)模擬系統(tǒng)V1.0基礎(chǔ)上,基于ArcGISServer開發(fā)了分布式數(shù)學(xué)模型公共后處理平臺,以Web服務(wù)方式耦合發(fā)布各類圖層數(shù)據(jù),可便捷地在線展示數(shù)學(xué)模型計算成果。同時利用VTK組件實(shí)現(xiàn)了數(shù)學(xué)模型計算結(jié)果的動態(tài)渲染,把復(fù)雜的數(shù)字表現(xiàn)形式轉(zhuǎn)化成為便于領(lǐng)導(dǎo)決策的可視化動態(tài)表現(xiàn)形式,將傳統(tǒng)面向科研人員的單機(jī)數(shù)學(xué)模型后處理系統(tǒng),轉(zhuǎn)向?yàn)轭I(lǐng)導(dǎo)決策服務(wù)的網(wǎng)絡(luò)發(fā)布平臺。周振紅等[31]將Fortran計算程序做成動態(tài)鏈接庫,采用組件化編程的方式解決數(shù)據(jù)傳輸與控制的問題,建立了基于組件的水力數(shù)值模擬可視化系統(tǒng)。水利部珠江水利科學(xué)研究院[32]研制了水資源實(shí)時監(jiān)控管理系統(tǒng)基礎(chǔ)平臺(WaterWM),該平臺對水文產(chǎn)匯流模型、水量水質(zhì)模擬模型等采用COM組件技術(shù)進(jìn)行了模塊封裝,可快速完成各種一維水量水質(zhì)模擬分析計算。魏鋒等[33]采用C/S結(jié)構(gòu)開發(fā)黃河小花間分布式模型洪水預(yù)報系統(tǒng),并使用COM組件技術(shù)進(jìn)行模塊化設(shè)計以及用戶界面和業(yè)務(wù)邏輯分離的開發(fā)策略,有效解決了不同語言混合編程的問題。文獻(xiàn)[34237]應(yīng)用組件和WebService技術(shù)及面向服務(wù)的體系結(jié)構(gòu)(SOA)對模塊進(jìn)行封裝并發(fā)布服務(wù),形成洪水預(yù)報模型組件庫,其組件化過程見圖1。

首先,根據(jù)洪水預(yù)報模型的計算過程進(jìn)行組件化拆分;然后,運(yùn)用組件技術(shù)、WebService技術(shù)、面向服務(wù)的體系結(jié)構(gòu)等組件封裝技術(shù)將劃分好的模塊封裝洪水預(yù)報模型組件;第三,對封裝后的組件存入組件庫,用戶定制組件庫中的組件并將其在可視化界面中搭建洪水預(yù)報模型;最后對系統(tǒng)進(jìn)行構(gòu)建。

從上述文獻(xiàn)中可以看出,模型組件化后需將這些組件集成在一起,為將這些模型更好地集成,2005年歐洲的Open2MI系統(tǒng)提出了開放式模型接口(OpenModelInterface)和模型組件(ModelComponent)的概念。在這個標(biāo)準(zhǔn)框架下的各種軟件之間有共同的接口協(xié)議。因此在這個標(biāo)準(zhǔn)的平臺上,各種模型可以以組件形式相互耦合組成一個模型系統(tǒng),可以多方位考察整個流域的模擬問題[38]。目前,全球數(shù)十家水環(huán)境系統(tǒng)模型軟件供應(yīng)商都把自己軟件計算引擎不同程度地接入了OpenMI標(biāo)準(zhǔn)接口,成為OpenMI兼容軟件[39242]。但是,OpenMI標(biāo)準(zhǔn)需要徹底改變數(shù)學(xué)模型的計算和邏輯過程,對原模型改動很大,而且需要模型開發(fā)者熟悉C#編程語言,使用起來很不方便。另外,OpenMI的各模型組件間通過請求數(shù)據(jù)形成一種/鏈?zhǔn)?計算過程,在某一時刻只有一個模型組件在計算,不符合計算機(jī)發(fā)展要求模型計算并行化的趨勢。郭延祥[43244]等針對OpenMI存在的問題,設(shè)計了一套將普通模型變?yōu)槟Ｐ徒M件方法,該方法不受模型的網(wǎng)格劃分方法、模擬對象、模型開發(fā)語言和操作系統(tǒng)的限制;僅在原模型的時間循環(huán)中插入過程函數(shù)即可,對原模型改動很小;便于實(shí)現(xiàn)分布式計算和并行計算。該模型方法為通過組合簡單模型來模擬復(fù)雜問題提供了一條有效途徑。

3國內(nèi)流域模擬模型集成研究存在的主要問題

(1)通用性與靈活性較差,普適性有待提高。由于缺乏從軟件工程的角度進(jìn)行系統(tǒng)架構(gòu)設(shè)計致使模型集成系統(tǒng)的可擴(kuò)展性與開發(fā)效率都較低,同時,我國早期的涉水模型大部分是針對一個功能模塊對應(yīng)一個或者有限個用戶,也使得在全國范圍內(nèi)對同一問題進(jìn)行著低水平的重復(fù)開發(fā),模型有很多,但是普適性有待提高。

(2)不同來源的兼容數(shù)學(xué)模型兼容性較差,組件化程度不夠,模型接口不開放,模型平臺標(biāo)準(zhǔn)化不足。

(3)大多數(shù)模型采用Fortran語言編寫,采取面向過程的結(jié)構(gòu)化編程,將一個大的計算任務(wù)分解成一系列子任務(wù),每個子任務(wù)又由很多的子程序和函數(shù)組成,這種模型的模型程序缺點(diǎn)較多,如代碼管理不方便、復(fù)用性差、系統(tǒng)圖形化用戶界面(GUI)程度低等。

(4)模型主要面向科學(xué)研究,并非針對具體的流域管理進(jìn)行設(shè)計,很難直接應(yīng)用于流域管理業(yè)務(wù)中。

(5)開發(fā)出的模擬模型的表達(dá)與求解復(fù)雜性以及模型參數(shù)的設(shè)置和率定的困難性,對于非專業(yè)人員是難以逾越的障礙,這在一定程度上制約了數(shù)學(xué)模型的發(fā)展與應(yīng)用不適合非專業(yè)人員使用。

(6)流域模擬模型集成系統(tǒng)日益注重與GIS進(jìn)行集成,各類遙感觀測為模型系統(tǒng)提供了高分辨率輸入,但是現(xiàn)有模型大多數(shù)沒有使用遙感數(shù)據(jù)以及進(jìn)一步同化遙感數(shù)據(jù),降低了模型數(shù)據(jù)分析與決策的能力。這些均使得我國流域模擬模型集成系統(tǒng)的研制比較落后。因此,針對上述問題,研究使用方便,具有通用性、可擴(kuò)展性、實(shí)用性強(qiáng)的流域模擬模型集成系統(tǒng)是很有必要的。

流域模擬模型集成技術(shù)研究展望

流域模擬模型集成系統(tǒng)是一項高難度的復(fù)雜系統(tǒng)工程,研究內(nèi)容涉及面廣,總體上還不成熟。以云計算、Web210為標(biāo)志的第三次信息技術(shù)浪潮的到來為研究具有實(shí)用性和通用性的水利數(shù)學(xué)模型平臺帶了良好的契機(jī)[45246]。根據(jù)目前流域模擬模型集成技術(shù)研究現(xiàn)狀和存在的主要問題,需要深入研究的重點(diǎn)包括以下幾個方面。

(1)將各種數(shù)學(xué)模型開發(fā)成易于集成的標(biāo)準(zhǔn)組件既是發(fā)展的趨勢,也是當(dāng)今數(shù)學(xué)模型應(yīng)用開發(fā)的一個重要任務(wù)。研究各類模型的信息交互、傳輸方式、集成結(jié)構(gòu)、參數(shù)管理、協(xié)同調(diào)用、輸出結(jié)果等內(nèi)容,將模型組件化并建立流域模型組件庫,集成化軟件組件的公共開放環(huán)境。通過標(biāo)準(zhǔn)數(shù)據(jù)接口整合各類異構(gòu)模型組件,以開放式建模接口標(biāo)準(zhǔn)和通用組件架構(gòu)模式,搭建開放、開源的模擬平臺,使預(yù)報結(jié)果更加豐富。

(2)隨著云計算、Web2.0的發(fā)展,研究不同要素、不同過程模型在云中集成所涉及的技術(shù)難點(diǎn)和模型結(jié)構(gòu)、數(shù)據(jù)接口等具體問題,構(gòu)建基于云計算模式的流域模擬模型平臺成為水利數(shù)學(xué)模型平臺開發(fā)的最新趨勢。

(3)流域模擬模型平臺化是流域模型與信息技術(shù)相結(jié)合的產(chǎn)物。設(shè)計程序結(jié)構(gòu)靈活,利于擴(kuò)充和兼容性模型應(yīng)用平臺化已成為趨勢。目前,國外的流域模擬模型平臺居于領(lǐng)先地位。為解決我國模型平臺低水平重復(fù)開發(fā)問題,應(yīng)該認(rèn)真研究國外優(yōu)秀平臺,注重頂層設(shè)計,分析系統(tǒng)結(jié)構(gòu)、核心算法、數(shù)據(jù)流程、數(shù)據(jù)存儲結(jié)構(gòu)、前后處理方法,并抽象出模型系統(tǒng)的共性點(diǎn)形成技術(shù)開發(fā)規(guī)范,在技術(shù)傳承積累的基礎(chǔ)上漸次推進(jìn)我國流域模擬模型的發(fā)展[47]。