復(fù)雜工程建模和模擬的驗證與確認(rèn)

王瑞利+溫萬治

摘要： 綜述國內(nèi)外建模和模擬（Modeling and Simulation，M&S）的驗證與確認(rèn)（Verification and Validation，V&V）的相關(guān)概念、術(shù)語、規(guī)范、置信度評估方法和應(yīng)用等方面的發(fā)展和研究進(jìn)展，概括M&S的V&V中的幾個關(guān)鍵問題，構(gòu)建復(fù)雜工程M&S的V&V的知識指南，為M&S的V&V技術(shù)真正走向應(yīng)用提供參考.

關(guān)鍵詞： 復(fù)雜工程； 建模和模擬； 驗證與確認(rèn)； 置信度評估； 知識指南

中圖分類號： TB115文獻(xiàn)標(biāo)志碼： A

Abstract： The development and research advances of Verification and Validation（V&V） of Modeling and Simulation（M&S） in China and abroad are reviewed， including concepts， terminologies， specifications， and confidence evaluation methods and applications； a few key issues in V&V of M&S are summarized； a knowledge guide of V&V of M&S for complex engineering is given， which provides reference for the practical application of V&V of M&S.

Key words： complex engineering； modeling and simulation； verification and validation； confidence evaluation； knowledge guide

0引言

在科學(xué)和工程設(shè)計過程中，理論、實驗和數(shù)值模擬是3種基本研究手段.現(xiàn)代計算機(jī)硬件和軟件能力的飛速發(fā)展為強(qiáng)化高性能、大規(guī)模數(shù)值模擬研究提供前所未有的條件，數(shù)值模擬的重要性愈加顯著.數(shù)值模擬中建模和模擬（Modeling and Simulation，M&S）本身的可信度評估是高置信度數(shù)值模擬的核心，直接影響基于數(shù)值模擬和少量試驗支撐的復(fù)雜系統(tǒng)的可靠性認(rèn)證.驗證和確認(rèn)（Verification and Validation ，V&V）是復(fù)雜工程系統(tǒng)可靠性認(rèn)證中M&S置信度評估的重要手段.近年來，隨著數(shù)值模擬系統(tǒng)日益廣泛應(yīng)用，V&V的重要性愈來愈為數(shù)值模擬系統(tǒng)開發(fā)者和使用者所重視，對V&V概念、理論、標(biāo)準(zhǔn)和相關(guān)方法的研究已成為復(fù)雜工程M&S可信度評估的重要內(nèi)容.1復(fù)雜工程M&S的V&V現(xiàn)狀

1.1國外研究現(xiàn)狀和發(fā)展趨勢

數(shù)值模擬在工業(yè)設(shè)計、產(chǎn)品性能分析和優(yōu)化設(shè)計中的地位日顯重要，國外尤其是美國非常重視M&S的V&V的概念、術(shù)語、規(guī)范、可信度評估方法和應(yīng)用等的研究.

1.1.1概念、術(shù)語和規(guī)范

早在20世紀(jì)六七十年代，美國計算機(jī)仿真學(xué)會（Society for Computer Simulation，SCS）成立模型可信性技術(shù)委員會（Technical Committee on Model Credibility，TCMC），專門進(jìn)行與M&S置信度評估相關(guān)的V&V方法的概念、術(shù)語和規(guī)范的研究.在20世紀(jì)90年代確定的V&V哲學(xué)觀點(diǎn)無法對工程和技術(shù)領(lǐng)域的仿真結(jié)果進(jìn)行可信性評估.20世紀(jì)90年代以后，由于M&S置信度評估在國家重大工程的研發(fā)和設(shè)計中的重要性越來越強(qiáng)，國外許多政府、民間部門和學(xué)術(shù)研究機(jī)構(gòu)先后成立相應(yīng)的組織或協(xié)會，以制定各自的M&S置信度評估及V&V的概念、術(shù)語和規(guī)范.美國幾大工程協(xié)會不斷組織人力、投入資金開展M&S置信度評估概念、術(shù)語和規(guī)范的研究.自1984年美國電器與電子工程師協(xié)會（Institute of Electrical and Electronics Engineers，IEEE）出版V&V相關(guān)術(shù)語至今，V&V相關(guān)概念、術(shù)語、規(guī)范一直都在完善.這些術(shù)語隨后被美國核科學(xué)協(xié)會（American Nuclear Society，ANS）和國際標(biāo)準(zhǔn)化組織（International Organization for Standardization，ISO）采用，建立各自領(lǐng)域的標(biāo)準(zhǔn).美國航空航天學(xué)會（American Institute of Aeronautics and Astronautics，AIAA）組織各個不同行業(yè)的代表進(jìn)行研究，于1998 年起草計算流體動力學(xué)驗證和確認(rèn)的指南；2010年以來在此領(lǐng)域一直很活躍的OBERKAMPF等[1]對此進(jìn)行系統(tǒng)總結(jié)，綜述機(jī)械工程領(lǐng)域現(xiàn)代數(shù)值模擬中M&S的V&V的發(fā)展，詳細(xì)全面論述M&S的V&V的基本概念、原理、步驟和系統(tǒng)的發(fā)展過程.1996年，美國國防部（Department of Defense，DoD）的國防建模與仿真辦公室（Defense Modeling Simulation Office，DMSO）成立軍用仿真V&V工作技術(shù)支持小組，專門制定驗證、確認(rèn)和認(rèn)證（Verification，Validation and Accreditation，VV&A）技術(shù)發(fā)展的政策與規(guī)范，并逐漸形成系統(tǒng)仿真領(lǐng)域的VV&A體系.[2]1998年，美國能源部（Department of Energy，DoE）的3大實驗室逐漸將V&V引入武器庫存管理計劃，給出M&S中準(zhǔn)確度、誤差、不確定度和確認(rèn)域的概念內(nèi)涵、M&S的V&V涉及的幾個重要模型（客觀世界、概念模型、物理模型和計算模型等）以及M&S的V&V活動的關(guān)系，其目的是通過V&V量化物理建模中模型的不確定度和程序研制中數(shù)值算法的誤差，增強(qiáng)高置信度的數(shù)值模擬能力.1998年，美國機(jī)械工程師協(xié)會（American Society of Mechanical Engineers，ASME）Journal of Fluids Engineering雜志成立協(xié)調(diào)小組.該小組的工作重點(diǎn)是推動對數(shù)值模擬中誤差估計，不確定度量化、驗證和確認(rèn)以及置信度評估方法的討論.該小組組織一系列ASME論壇和研討會討論上述主題，并逐步編寫和頒布系列V&V標(biāo)準(zhǔn)：2006 年頒布關(guān)于“計算固體力學(xué)V&V的指南”，即ASME V&V 102006 Guide for Verification and Validation in Computational Solid Mechanics；2009年頒布“計算流體力學(xué)和傳熱學(xué)的V&V標(biāo)準(zhǔn)”，即ASME V&V 202009 Standard for Verification and Validation in Computational Fluid Dynamics and Heat Transfer；2012年頒布“計算固體力學(xué)V&V概念的案例說明”，即ASME V&V 10.12012 An Illustration of the Concepts of Verification and Validation in Computational Solid Mechanics.ASME經(jīng)過二十幾年的發(fā)展，在復(fù)雜工程M&S的V&V的概念和方法上取得顯著成果，但仍將M&S的V&V涉及的概念在不同領(lǐng)域的本地化作為研究核心，至今仍在結(jié)合實際應(yīng)用研究完善相關(guān)概念、術(shù)語和規(guī)范.

1.1.2M&S置信度評估方法

迫于核武器禁止試驗的壓力，美國核武器認(rèn)證工作的基礎(chǔ)由以核試驗為主轉(zhuǎn)移到以計算仿真為主，提出核武器儲存管理計劃（Stockpile Stewardship Program，SSP），并由此產(chǎn)生武器認(rèn)證新方法——裕度和不確定性量化（Quantification of Margins and Uncertainties，QMU）方法.1998年美國提出的加速戰(zhàn)略計算創(chuàng)新計劃（Accelerated Strategic Computing Initiative，ASCI）和隨后提出的先進(jìn)模擬和計算（Advanced Simulation and Computing，ASC）計劃一直強(qiáng)調(diào)M&S置信度評估方法和數(shù)值模擬中誤差估計，將不確定度量化方法作為成功實施計劃的關(guān)鍵之一.對于數(shù)值模擬中的誤差和不確定度，在1986年，ROACHE等[3]就意識到數(shù)值計算中不確定度對數(shù)值模擬結(jié)果評估的重要性，要求論文對計算結(jié)果的精度必須給出必要的量化信息.雖然該要求順應(yīng)數(shù)值模擬發(fā)展的需求，但在執(zhí)行過程中仍遇到極大阻力.1993年9月，ASME Journal of Fluids Engineering雜志再次就數(shù)值模擬準(zhǔn)確度的控制明確提出10條要求[4]：（1）必須描述計算方法的基本特點(diǎn)；（2）計算方法空間至少為2階精度；（3）必須評估固有的或顯式的人為黏性，使之最小化；（4）必須有網(wǎng)格獨(dú)立性或收斂性說明；（5）必須給出適當(dāng)?shù)牡諗啃孕畔?；?）在瞬態(tài)計算中必須評估相對誤差并使之最小化；（7）必須詳細(xì)說明初邊值的數(shù)值實現(xiàn)和精度；（8）已有程序的引述必須全面；（9）對特殊問題可采用標(biāo)準(zhǔn)算例進(jìn)行確認(rèn)；（10）可采用可靠的試驗結(jié)果確認(rèn)數(shù)值解.這些要求被認(rèn)為是數(shù)值計算類論文發(fā)表廣泛采用的規(guī)則，基本涵蓋驗證、確認(rèn)和文檔等方面內(nèi)容.[5]1993年美國航空航天局戈蘭研究中心負(fù)責(zé)執(zhí)行面向應(yīng)用的計算流體力學(xué)研究國家項目（National Project for Application oriented Research in CFD，NPARC），開展軍事背景很強(qiáng)的航天和航空領(lǐng)域相關(guān)M&S置信度評估研究.該項目給出數(shù)值計算的不確定度采用網(wǎng)格收斂指數(shù)方法，確認(rèn)活動采用不同的層級：單元層級（Unit Case）、標(biāo)準(zhǔn)算例層級（Benchmark Case）、子系統(tǒng)層級（Subsystem Case）以及全系統(tǒng)層級（Complete System Case）.20世紀(jì)90年代末，基于M&S的特點(diǎn)、近似（方程、求解和程序等）和效果（誤差、量化和范圍等）等，將V&V引入復(fù)雜工程M&S可信性和數(shù)值模擬預(yù)測能力評估中.NPARC每年召開為期2天的學(xué)術(shù)研討會，交流、評估V&V的最新進(jìn)展，所有信息均在專門網(wǎng)站公開發(fā)布.2000年以來，美國3大國家實驗室在軟件質(zhì)量保證（Software Quality Assurance，SQA）、精確解方法（Exact Solution Methods，ESM）、人工構(gòu)造解（Method of Manufactured Solution，MMS）、程序?qū)Ρ龋–odetoCode Comparisons，CCC）和網(wǎng)格收斂指數(shù)方法（Grid Convergence Index，GCI）等M&S可信性評估驗證技術(shù)方面取得很好的效果.[67]2005年，美國3大國家實驗室在M&S置信度評估的驗證技術(shù)方面實現(xiàn)某些自動化，如誤差分析的自動化、不對稱檢測自動化和自適應(yīng)加密網(wǎng)格情形下的分析檢測自動化等.2009年HELTON基于Richardson外推法與GCI方法，采用雙層概率抽樣方法，對誤差的累積分布函數(shù)（Cumulative Distribution Function，CDF）和互補(bǔ)累積分布函數(shù)（Complementary Cumulative Distribution Function，CCDF）進(jìn)行統(tǒng)計分析，給出M&S誤差和不確定性敏感度的評估方法.此方法為獨(dú)立因素或獨(dú)立參數(shù)影響M&S置信度的評估提供較好的方法.為了解多因素耦合對M&S置信度的評估，2006年美國將多項式混沌（Polynomial Chaos，PC）方法[8]引入M&S不確定度評估中，發(fā)展多因素耦合影響M&S置信度、數(shù)值模擬中誤差估計以及不確定度量化和傳播的評估方法.至今，發(fā)展M&S不確定度量化和多因素敏感性分析方法仍是M&S置信度評估研究的核心.

1.1.3M&S置信度評估體系的應(yīng)用

近幾年，美國核武器3大實驗室針對一些ASC多物理過程M&S的應(yīng)用程序，繼續(xù)實施V&V的過程，以評估程序的預(yù)測能力.如美國勞倫斯·利弗莫爾國家實驗室（Lawrence Livermore National Laboratory， LLNL）開發(fā)通用有限元軟件ParaDyn；桑迪亞國家實驗室（Sandia National Laboratories，SNL）研制的氦氣流的時間過濾NS閉合方程的簡單湍流模型計算軟件SIERRRA/Fuego，首先用氦氣流的試驗作為SIERRRA/Fuego確認(rèn)的問題，用側(cè)風(fēng)試驗裝置（Crosswind Test Facility，CTF）上電偶熱響應(yīng)試驗對預(yù)測模擬Fuego程序進(jìn)行不確定性量化和確認(rèn)過程.SNL開發(fā)多物理、海量并行計算環(huán)境中的用于設(shè)計優(yōu)化、參數(shù)估算、不確定性量化和靈敏度分析的多級并行目標(biāo)定制工作框架DAKOTA[9]，氣體動力學(xué)激波反射問題模擬程序ALEGRA和封閉流模型GOMA等，開展程序V&V活動，取得很好的成果.2006 年LLNL完成第一個多物理機(jī)理內(nèi)爆反應(yīng)程序的置信度評估活動應(yīng)用程序，其中單物理過程的測試算例來自美國核武器3大實驗室共同開發(fā)的標(biāo)準(zhǔn)算例庫Benchmark Problems[10]，多物理機(jī)理耦合算例源自于JOWOG 42測試算例庫.M&S可信度評估體系的完善和發(fā)展仍然是其應(yīng)用研究的瓶頸，并且在基準(zhǔn)解程序庫建設(shè)方面提出更多更復(fù)雜的測試問題，希望能提高美國模擬程序中M&S的質(zhì)量和置信度.

從幾個公開的網(wǎng)站看，針對NASA湍流模型及CFD在線、流體、湍流和燃燒數(shù)據(jù)庫，歐洲研究團(tuán)體都在建立公開模型測試庫.

SNL于2006年12月完成核彈頭W76和W80火燒實驗?zāi)Ｐ偷拇_認(rèn)工作，并給出安全裕量和不確定度.項目評審委員會認(rèn)為：這是歷史上第一次將QMU分析方法用于核戰(zhàn)斗部的評估，而早先的評估主要是基于專家判斷和少量的試驗數(shù)據(jù)；可以通過QMU過程為武器系統(tǒng)認(rèn)證提供額外的量化證據(jù)，有能力根據(jù)核武器安全要求認(rèn)證不確定度和安全裕量.2006年在SNL召開的會議上提出模型確認(rèn)的3個挑戰(zhàn)問題[11]，包括熱傳導(dǎo)、靜力學(xué)和動力學(xué)等，用以集中探討模型確認(rèn)的各種解決方法.

值得關(guān)注的是建立測試、考核和評估應(yīng)用程序的標(biāo)準(zhǔn)模型（Benchmark Problems）庫和開展校準(zhǔn)應(yīng)用程序的基準(zhǔn)試驗（Benchmark Experiment）研究是未來實施M&S的V&V的關(guān)鍵.

1.2國內(nèi)研究發(fā)展?fàn)顩r

國內(nèi)在應(yīng)用軟件M&S領(lǐng)域也開展大量關(guān)于軟件的VV&A的工作，并取得一系列成果.哈爾濱工業(yè)大學(xué)院士王子才等[12]和楊明等[13]在復(fù)雜仿真系統(tǒng)建模算法評估方面開展大量研究，提出VV&A發(fā)展的關(guān)鍵問題.西安空軍工程大學(xué)導(dǎo)彈學(xué)院在軍事仿真系統(tǒng)VV&A的概念、術(shù)語和原則、可信度評估及模型驗證方法等方面取得很好的成果.[1415]這些軟件大多為控制軟件，即在算法和軟件實現(xiàn)正確的情況下給定輸入就會產(chǎn)生準(zhǔn)確可知的確定性輸出，而基于微分控制方程組物理建模的科學(xué)和工程數(shù)值計算，因M&S本身存在不確定性，無法知道復(fù)雜工程領(lǐng)域的準(zhǔn)確計算結(jié)果.西安第六三一研究所在航空動力學(xué)CFD的驗證、確認(rèn)和置信度分析等方面開展大量工作，并在外流問題數(shù)據(jù)庫建立方面取得可喜的成果.[1619]中國空氣動力研究與發(fā)展中心對計算流體力學(xué)的驗證、確認(rèn)和實踐應(yīng)用軟件的不確定度與真值估算方面進(jìn)行研究.[20]中國航空工業(yè)航空氣動力數(shù)值模擬重點(diǎn)實驗室和中國航空研究院數(shù)值模擬技術(shù)研究應(yīng)用中心在CFD模擬置信度評估和V&V涉及的相關(guān)概念、術(shù)語以及V&V在航空氣動力數(shù)值模擬置信度評估方法研究方面開展大量工作，包括SQA，MMS，誤差分析和不確定度量化等方法.[2122]中國船舶科學(xué)研究中心在船舶動力學(xué)CFD不確定度分析方法方面展開大量工作，并將V&V技術(shù)應(yīng)用到船舶水動力學(xué)數(shù)值模擬置信度評估中，取得較好的結(jié)果.[23]華北電力大學(xué)在CFD誤差分析及網(wǎng)格收斂性方面開展研究工作.[24]2005年，中國工程物理研究院總體工程研究所及北京應(yīng)用物理與計算數(shù)學(xué)研究所展開對V&V的概念和知識體系的研究，在V&V基本框架和用于測試程序的基準(zhǔn)模塊庫等方面開展工作.[25]在一些高校和研究所也有一些零散的工作.[2627]

總體來說，我國對M&S置信度評估及V&V的研究仍處于起步階段，表現(xiàn)為研究工作比較分散、缺乏規(guī)模，大量工作都是結(jié)合調(diào)研開展的前期研究，尚未建立關(guān)于M&S置信度評估及V&V的概念體系，對可信度評估理論和方法也沒有形成統(tǒng)一的標(biāo)準(zhǔn).在M&S的開發(fā)過程中對置信度評估及V&V工作的重要性和必要性缺乏認(rèn)識.特別是國內(nèi)還沒有類似于美國TCMC這樣的專門機(jī)構(gòu)負(fù)責(zé)協(xié)調(diào)，更沒有組織國家級團(tuán)隊對M&S置信度評估及V&V技術(shù)進(jìn)行專門研究，使得這方面的研究工作進(jìn)展緩慢.我國至今還沒有M&S的V&V的標(biāo)準(zhǔn)/規(guī)范，使得M&S的開發(fā)者、應(yīng)用者和管理者在進(jìn)行M&S置信度評估工作過程中無章可循、無法可依，例如對于M&S的VV&A的中文解釋就有“校核、驗證與確認(rèn)”“校核、驗證與驗收”“驗證、證實和認(rèn)可”“確認(rèn)、驗證和認(rèn)可”和“驗證、確認(rèn)與認(rèn)證”等多種不同的提法.在復(fù)雜武器系統(tǒng)，國內(nèi)僅基于過去的一些做法，嘗試一些置信度評估方法，真正應(yīng)用于實際模型V&V的工作研究甚少，M&S置信度評估體系幾乎是“零狀態(tài)”.

2M&S的驗證與確認(rèn)進(jìn)展

2.1M&S可信度評估與V&V的關(guān)系

復(fù)雜工程數(shù)值模擬涉及兩大重要過程：一是建模，二是模擬.復(fù)雜工程系統(tǒng)可靠性認(rèn)證中M&S， V&V及評估和認(rèn)證的過程見圖1.

2.2.3驗證

驗證是通過將數(shù)值解與解析解或高精度解（經(jīng)驗解）進(jìn)行比較，對數(shù)值誤差進(jìn)行量化，以確定計算軟件是否正確求解方程，是一種數(shù)值分析活動.驗證包括程序驗證與解法/方法驗證.

程序驗證分為SQA和數(shù)值算法驗證.解法/方法驗證分為GCI驗證和計算敏感性分析.SQA的關(guān)鍵任務(wù)是建立合理的M&S及程序研制的流程、標(biāo)準(zhǔn)/規(guī)范，以控制、監(jiān)督、約束和指導(dǎo)程序的研制過程，提高程序的質(zhì)量和編碼的正確率；采取若干有效方法，檢測、辨別和消除程序中的缺陷和錯誤，確定程序能按要求正確運(yùn)行，沒有編碼錯誤.在復(fù)雜工程應(yīng)用軟件中，軟件質(zhì)量保證主要關(guān)注作為軟件產(chǎn)品的程序應(yīng)具有計算機(jī)科學(xué)和軟件工程意義上的可靠性和健壯性，常采用靜態(tài)分析、動態(tài)檢驗（回歸測試、黑盒測試和白盒測試等）和正式分析等方法對軟件質(zhì)量進(jìn)行分析和測試.數(shù)值算法驗證是對實施算法的流程（偽代碼或顯示求解公式）和基本特性的正確性檢查，主要關(guān)注如何正確地程序化數(shù)值算法以及實施數(shù)值算法本身能否保持算法基本理論（時空離散形式、精度、對稱性、守恒性和收斂性等）的正確性.數(shù)值算法驗證的目的主要是提供充足的證據(jù)證明程序化的數(shù)值算法執(zhí)行正確且有預(yù)期的功能，常采用精確解方法、人為解方法[2829]和高精度程序解比較等方法或手段.

解法/方法驗證主要是用數(shù)值模擬結(jié)果與精確解、人為構(gòu)造解和高精度數(shù)值解進(jìn)行比較，量化其數(shù)值誤差和不確定度.其核心是進(jìn)行網(wǎng)格收斂指標(biāo)驗證以確定實際的收斂階，通過分析對比實際收斂階與理論收斂階判斷程序是否存在錯誤或缺陷.另一方面是對數(shù)值模擬影響因素進(jìn)行敏感性分析，以辨識和量化誤差、不確定度和置信度.數(shù)值模擬驗證包括方法理論/網(wǎng)格收斂指標(biāo)驗證與計算敏感性分析.基本理論驗證技術(shù)主要是分析方法的特性，量化各種誤差和不確定度，常采用GCI方法.GCI主要采用Richardson外推法建立估算網(wǎng)格誤差.常用的做法是針對計算問題建立多套計算網(wǎng)格，原則上要求多套網(wǎng)格自相似，即體現(xiàn)Δt和Δx為逐漸縮小的趨勢，然后通過計算L1，L2和L∞范數(shù)進(jìn)行網(wǎng)格收斂性分析以確定實際的收斂階.該方法需要知道問題的精確解或采用固定不變的網(wǎng)格，對定常問題或單獨(dú)考核格式的精度行之有效.計算敏感性分析利用典型物理問題作為分析模型，結(jié)合已有的實驗信息，分析論證數(shù)值模擬計算結(jié)果中由計算模型、計算參數(shù)和數(shù)值方法等引入的不確定度，以及數(shù)值計算中網(wǎng)格參數(shù)（網(wǎng)格類型、尺寸和規(guī)模等）、計算格式和參數(shù)（時間步長、黏性等）、計算過程中的誤差時空演化特征分析等.一般用概率和非概率方法辨識與量化誤差、不確定度和置信度.在一般情況下，將計算敏感性分析和網(wǎng)格收斂指標(biāo)相結(jié)合，采用在計算條件變化的情形下對同一被模擬量進(jìn)行多次抽樣即復(fù)現(xiàn)性數(shù)值模擬分析方法辨識和量化誤差、不確定度和置信度.目前，用CDF方法可以量化數(shù)值計算的誤差和置信度，該方法的優(yōu)點(diǎn)是既能綜合分析所有誤差源，又能通過概率分布函數(shù)給出數(shù)值計算誤差的不確定度.

2.2.4確認(rèn)

確認(rèn)是對數(shù)值模擬結(jié)果、試驗數(shù)據(jù)和真實行為三者之間進(jìn)行相互比較，進(jìn)而量化物理模型的精度.其計算結(jié)果用于確定模型與其試驗之間是否存在可接受的吻合度.確定可接受吻合度的關(guān)鍵在于試驗結(jié)果與模擬結(jié)果的一致程度，即數(shù)值模擬在多大范圍內(nèi)可接受地再現(xiàn)建模人員對感興趣世界的真實過程，其結(jié)果在多大范圍內(nèi)可接受地再現(xiàn)試驗結(jié)果.確認(rèn)是將數(shù)值模擬結(jié)果與試驗結(jié)果進(jìn)行比較，對模型的不確定度進(jìn)行量化以確定計算模型是否能正確描述客觀世界，是一種建模活動（簡單地說就是是否正確求解正確方程）.因其主要采用對比方式，所以要求對試驗和數(shù)值模擬的結(jié)構(gòu)、條件等輸入/輸出描述清楚，主要包括：（1）針對具體物理模型，構(gòu)建驗證層次圖；（2）確認(rèn)試驗（單一試驗、基準(zhǔn)試驗、子系統(tǒng)試驗和全系統(tǒng)試驗等）；（3）數(shù)值模擬結(jié)果與試驗數(shù)據(jù)對比，以確定模型的適應(yīng)性.

2.2.5基準(zhǔn)數(shù)據(jù)庫

在V&V活動中產(chǎn)生大量數(shù)據(jù)資源和文檔，包括驗證涉及的文檔、需要的基準(zhǔn)模型和確認(rèn)文檔、區(qū)域的基準(zhǔn)問題等，如何有效管理和利用這些數(shù)據(jù)資源或文檔是基準(zhǔn)數(shù)據(jù)庫要解決的主要問題.在V&V過程中要逐漸建立V&V的基準(zhǔn)數(shù)據(jù)庫，通過數(shù)據(jù)庫推斷M&S應(yīng)用軟件的置信度或給出在什么范圍內(nèi)置信度是多少，并作為預(yù)測分析的依據(jù).

2.3M&S的V&V的知識指南

V&V貫穿于復(fù)雜工程M&S的整個過程，即貫穿于數(shù)值模擬應(yīng)用程序研制的整個生命周期.M&S的V&V的知識指南見圖4.復(fù)雜工程可靠性認(rèn)證中M&S的V&V的知識體系包括4個方面的內(nèi)容：驗證、確認(rèn)、預(yù)測和決策等.驗證需要解決的問題是程序是否能正確求解方程，確認(rèn)需要解決的問題是程序是否能正確求解出方程，即驗證要回答數(shù)值模擬程序是否能正確求解數(shù)學(xué)模型或給出求解模型的誤差、不確定性大小及使用范圍，確認(rèn)要通過數(shù)值結(jié)果與物理模型試驗的對比回答物理模型是否反映真實客觀世界或反映真實客觀世界的程度.預(yù)測是利用V&V的應(yīng)用程序?qū)ξ粗獑栴}的模擬過程，包括問題、計算和結(jié)果評估等.決策是為開展可靠性認(rèn)證規(guī)劃、提供資源和利用各種信息對系統(tǒng)可靠性給出結(jié)論.

3問題和建議

通過闡述應(yīng)用程序M&S的V&V的含義，明確V&V的過程、步驟及其技術(shù)，初步建立程序模擬誤差、不確定度及置信度評估方法，給出用于數(shù)值模擬程序M&S結(jié)果的部分驗證技術(shù).

復(fù)雜工程M&S的V&V相當(dāng)重要，涉及的核心問題較多.

（1）M&S的V&V術(shù)語概念體系和置信度評價體系.包括相關(guān)基本概念、術(shù)語和方法的描述，基于數(shù)值模擬和認(rèn)知不確定性的復(fù)雜系統(tǒng)可靠性評估方法、流程和規(guī)范.目前研究從方法學(xué)向?qū)嵗?本地化和實用方法轉(zhuǎn)變.

（2）檢驗數(shù)值模擬方法求解系統(tǒng)/過程控制方程（組）正確性的驗證和測試方法研究，包括數(shù)值分析基本理論，網(wǎng)格收斂指標(biāo)驗證，偏微分方程精確解析解、半解析基準(zhǔn)解、高精度基準(zhǔn)解、人為構(gòu)造解和不同程序計算結(jié)果對比以及軟件質(zhì)量保證等程序正確性驗證和測試方法.目前亟須發(fā)展M&S可信度評估中誤差和不確定度量化、傳播及多因素敏感性分析方法.

（3）檢驗數(shù)值模擬中物理模型準(zhǔn)確性的確認(rèn)考核方法，包括分層實（試）驗設(shè)計方法、系統(tǒng)試驗及其數(shù)據(jù)不確定度分析方法、計算結(jié)果與試驗數(shù)據(jù)對比的不確定度分析方法以及計算結(jié)果預(yù)測的置信度評估方法研究.重點(diǎn)應(yīng)該發(fā)展確認(rèn)域到應(yīng)用域的預(yù)測方法.

參考文獻(xiàn)：

[1]OBERKAMPF W L， ROY C J. Verification and validation in scientific computing[M]. New York： Cambridge Univ Pr， 2010.

[2]CARTER A B. DoD Modeling and Simulation （M&S） Verification， Validation， and Accreditation （VV&A）， DoD Instruction 5000.61[R]. Department of Defense Instruction， USA， 1996.

[3]ROACHE P J， GHIA K， WHITE F M. Editorial policy statement on the control of numerical accuracy[J]. ASME J Fluids Eng， 1986， 108（1）： 2.

[4]FREITAS C J. Editorial policy statement on the control of numerical accuracy[J]. ASME J Fluids Eng， 1993， 115（3）： 339340.

[5]ROACHE P J. Quantification of uncertainty in computational fluid dynamics[J]. Annu Rev Fluid Mech， 1997（29）： 123160.

[6]ROY C J. Grid convergence error analysis for mixedorder numerical schemes[J]. AIAA J， 2003， 41（4）： 595604.

[7]ROY C J. Review of code and solution verification procedures for computational simulation[J]. J Comput Phys， 2005， 205（1）： 131156.

[8]KNIO O M， le MARTRE O P. Uncertainty propagation in CFD using polynomial chaos decomposition[J]. Fluid Dynamics Res， 2006， 38（9）：616640.

[9]GRIFFIN J D， ELDRED M S， GIUNTA A A， et al. DAKOTA， a multilevel parallel objectoriented framework for design optimization， parameter estimation， uncertainty quantification， and sensitivity analysis： version 4.0 reference manual ， SAND20064055[R]. 2006.

[10]OBERKAMPF W L， TRUCANO T G. Verification and validation benchmarks [J]. Nucl Eng & Des， 2008， 238（3）： 716743.

[11]HILLS R G， PILCH M， DOWDING K J， et al. Validation challenge workshop[J]. Comput Methods Appl Mech & Eng， 2008， 197（2932）： 23752380.

[12]王子才， 張冰， 楊明. 仿真系統(tǒng)的校核、驗證與驗收（VV&A）：現(xiàn)狀與未來[J]. 系統(tǒng)仿真學(xué)報， 1999， 11（5）： 321325.

[13]楊明， 張冰， 馬萍， 等. 仿真系統(tǒng)VV&A發(fā)展的五大關(guān)鍵問題[J]. 系統(tǒng)仿真學(xué)報， 2003， 15（11）： 15061508.

[14]吳曉燕， 趙敏榮， 劉興堂， 等. 仿真系統(tǒng)可信度評估及模型驗證方法研究[J]. 計算機(jī)仿真， 2002， 19（3）： 2527.

[15]吳曉燕， 許素紅， 劉興堂. 仿真系統(tǒng)VV&A標(biāo)準(zhǔn)/規(guī)范研究的現(xiàn)狀與軍事需求分析[J]. 系統(tǒng)仿真學(xué)報， 2003， 15（8）： 10811084.

[16]楊振虎， 白文， 高福安. 虛構(gòu)解方法程序驗證[J]. 航空計算技術(shù)， 2005， 35（2）： 1719.

[17]白文. 計算流體力學(xué)模擬可信度分析的基本術(shù)語[C]// 計算流體力學(xué)研究進(jìn)展： 第十一屆全國計算流體力學(xué)會議論文集. 洛陽， 2002： 410415.

[18]白文. 氣動計算軟件可信度分析解決方案[C]// 計算流體力學(xué)研究進(jìn)展：第十二屆全國計算流體力學(xué)會議論文集. 西安， 2004： 770774.

[19]BAI Wen， LI Li， Zhou Mingli， et al. CFD V&V and open benchmark database[J]. Chin J Aeronautics， 2006， 19（2）： 160167.

[20]鄧小剛， 宗文剛， 張來平， 等. 計算流體力學(xué)中的驗證與確認(rèn)[J]. 力學(xué)進(jìn)展， 2007， 37（2）： 279288.

[21]張涵信， 查俊. 關(guān)于CFD驗證確認(rèn)中的不確定度和真值估算[J]. 空氣動力學(xué)學(xué)報， 2010， 28（1）： 3945.

[22]LI Li， BAI Wen， LIANG Yihua. Recent efforts for credible CFD simulations in china[C]//Proc 25th Int Congress Aeronautical Sci， ICAS 20062.4.2. Hamburger： Hindawi Publishing Co， 2006.

[23]WU Baoshan. An overview of verification and validation methodology for CFD simulation of ship hydrodynamics[J]. J Ship Mech， 2011， 15（6）： 577591.

[24]康順， 石磊， 戴麗萍， 等. CFD模擬的誤差分析及網(wǎng)格收斂性研究[J]. 工程熱物理學(xué)報， 2010， 31（12）： 20092013.

[25]王瑞利， 林忠， 袁國興. 科學(xué)計算程序的驗證和確認(rèn)（V&V）[J]. 北京理工大學(xué)學(xué)報， 2010， 30（3）： 353360.

[26]張保強(qiáng)， 陳國平， 郭勤濤. 結(jié)構(gòu)動力學(xué)模型確認(rèn)問題的核密度估計方法[J]. 機(jī)械工程學(xué)報， 2011， 47（17）： 2936.

[27]曾現(xiàn)洋， 劉睿， 劉希強(qiáng). 人為解與人為解方法[J]. 聊城大學(xué)學(xué)報： 自然科學(xué)版， 2010， 23（1）： 7174.

[28]王瑞利， 劉全， 劉希強(qiáng)， 等. 人為解方法及其在流體力學(xué)程序驗證中的應(yīng)用[J]. 計算機(jī)應(yīng)用與軟件， 2012， 29（11）： 47.

[29]劉全， 王瑞利， 劉希強(qiáng)， 等. 流體力學(xué)方程組一類人為解構(gòu)造方法[J]. 數(shù)學(xué)的實踐與認(rèn)識， 2013， 43（8）： 176182.

[9]GRIFFIN J D， ELDRED M S， GIUNTA A A， et al. DAKOTA， a multilevel parallel objectoriented framework for design optimization， parameter estimation， uncertainty quantification， and sensitivity analysis： version 4.0 reference manual ， SAND20064055[R]. 2006.

[10]OBERKAMPF W L， TRUCANO T G. Verification and validation benchmarks [J]. Nucl Eng & Des， 2008， 238（3）： 716743.

[11]HILLS R G， PILCH M， DOWDING K J， et al. Validation challenge workshop[J]. Comput Methods Appl Mech & Eng， 2008， 197（2932）： 23752380.

[12]王子才， 張冰， 楊明. 仿真系統(tǒng)的校核、驗證與驗收（VV&A）：現(xiàn)狀與未來[J]. 系統(tǒng)仿真學(xué)報， 1999， 11（5）： 321325.

[13]楊明， 張冰， 馬萍， 等. 仿真系統(tǒng)VV&A發(fā)展的五大關(guān)鍵問題[J]. 系統(tǒng)仿真學(xué)報， 2003， 15（11）： 15061508.

[14]吳曉燕， 趙敏榮， 劉興堂， 等. 仿真系統(tǒng)可信度評估及模型驗證方法研究[J]. 計算機(jī)仿真， 2002， 19（3）： 2527.

[15]吳曉燕， 許素紅， 劉興堂. 仿真系統(tǒng)VV&A標(biāo)準(zhǔn)/規(guī)范研究的現(xiàn)狀與軍事需求分析[J]. 系統(tǒng)仿真學(xué)報， 2003， 15（8）： 10811084.

[16]楊振虎， 白文， 高福安. 虛構(gòu)解方法程序驗證[J]. 航空計算技術(shù)， 2005， 35（2）： 1719.

[17]白文. 計算流體力學(xué)模擬可信度分析的基本術(shù)語[C]// 計算流體力學(xué)研究進(jìn)展： 第十一屆全國計算流體力學(xué)會議論文集. 洛陽， 2002： 410415.

[18]白文. 氣動計算軟件可信度分析解決方案[C]// 計算流體力學(xué)研究進(jìn)展：第十二屆全國計算流體力學(xué)會議論文集. 西安， 2004： 770774.

[19]BAI Wen， LI Li， Zhou Mingli， et al. CFD V&V and open benchmark database[J]. Chin J Aeronautics， 2006， 19（2）： 160167.

[20]鄧小剛， 宗文剛， 張來平， 等. 計算流體力學(xué)中的驗證與確認(rèn)[J]. 力學(xué)進(jìn)展， 2007， 37（2）： 279288.

[21]張涵信， 查俊. 關(guān)于CFD驗證確認(rèn)中的不確定度和真值估算[J]. 空氣動力學(xué)學(xué)報， 2010， 28（1）： 3945.

[22]LI Li， BAI Wen， LIANG Yihua. Recent efforts for credible CFD simulations in china[C]//Proc 25th Int Congress Aeronautical Sci， ICAS 20062.4.2. Hamburger： Hindawi Publishing Co， 2006.

[23]WU Baoshan. An overview of verification and validation methodology for CFD simulation of ship hydrodynamics[J]. J Ship Mech， 2011， 15（6）： 577591.

[24]康順， 石磊， 戴麗萍， 等. CFD模擬的誤差分析及網(wǎng)格收斂性研究[J]. 工程熱物理學(xué)報， 2010， 31（12）： 20092013.

[25]王瑞利， 林忠， 袁國興. 科學(xué)計算程序的驗證和確認(rèn)（V&V）[J]. 北京理工大學(xué)學(xué)報， 2010， 30（3）： 353360.

[26]張保強(qiáng)， 陳國平， 郭勤濤. 結(jié)構(gòu)動力學(xué)模型確認(rèn)問題的核密度估計方法[J]. 機(jī)械工程學(xué)報， 2011， 47（17）： 2936.

[27]曾現(xiàn)洋， 劉睿， 劉希強(qiáng). 人為解與人為解方法[J]. 聊城大學(xué)學(xué)報： 自然科學(xué)版， 2010， 23（1）： 7174.

[28]王瑞利， 劉全， 劉希強(qiáng)， 等. 人為解方法及其在流體力學(xué)程序驗證中的應(yīng)用[J]. 計算機(jī)應(yīng)用與軟件， 2012， 29（11）： 47.

[29]劉全， 王瑞利， 劉希強(qiáng)， 等. 流體力學(xué)方程組一類人為解構(gòu)造方法[J]. 數(shù)學(xué)的實踐與認(rèn)識， 2013， 43（8）： 176182.

[9]GRIFFIN J D， ELDRED M S， GIUNTA A A， et al. DAKOTA， a multilevel parallel objectoriented framework for design optimization， parameter estimation， uncertainty quantification， and sensitivity analysis： version 4.0 reference manual ， SAND20064055[R]. 2006.

[10]OBERKAMPF W L， TRUCANO T G. Verification and validation benchmarks [J]. Nucl Eng & Des， 2008， 238（3）： 716743.

[11]HILLS R G， PILCH M， DOWDING K J， et al. Validation challenge workshop[J]. Comput Methods Appl Mech & Eng， 2008， 197（2932）： 23752380.

[12]王子才， 張冰， 楊明. 仿真系統(tǒng)的校核、驗證與驗收（VV&A）：現(xiàn)狀與未來[J]. 系統(tǒng)仿真學(xué)報， 1999， 11（5）： 321325.

[13]楊明， 張冰， 馬萍， 等. 仿真系統(tǒng)VV&A發(fā)展的五大關(guān)鍵問題[J]. 系統(tǒng)仿真學(xué)報， 2003， 15（11）： 15061508.

[14]吳曉燕， 趙敏榮， 劉興堂， 等. 仿真系統(tǒng)可信度評估及模型驗證方法研究[J]. 計算機(jī)仿真， 2002， 19（3）： 2527.

[15]吳曉燕， 許素紅， 劉興堂. 仿真系統(tǒng)VV&A標(biāo)準(zhǔn)/規(guī)范研究的現(xiàn)狀與軍事需求分析[J]. 系統(tǒng)仿真學(xué)報， 2003， 15（8）： 10811084.

[16]楊振虎， 白文， 高福安. 虛構(gòu)解方法程序驗證[J]. 航空計算技術(shù)， 2005， 35（2）： 1719.

[17]白文. 計算流體力學(xué)模擬可信度分析的基本術(shù)語[C]// 計算流體力學(xué)研究進(jìn)展： 第十一屆全國計算流體力學(xué)會議論文集. 洛陽， 2002： 410415.

[18]白文. 氣動計算軟件可信度分析解決方案[C]// 計算流體力學(xué)研究進(jìn)展：第十二屆全國計算流體力學(xué)會議論文集. 西安， 2004： 770774.

[19]BAI Wen， LI Li， Zhou Mingli， et al. CFD V&V and open benchmark database[J]. Chin J Aeronautics， 2006， 19（2）： 160167.

[20]鄧小剛， 宗文剛， 張來平， 等. 計算流體力學(xué)中的驗證與確認(rèn)[J]. 力學(xué)進(jìn)展， 2007， 37（2）： 279288.

[21]張涵信， 查俊. 關(guān)于CFD驗證確認(rèn)中的不確定度和真值估算[J]. 空氣動力學(xué)學(xué)報， 2010， 28（1）： 3945.

[22]LI Li， BAI Wen， LIANG Yihua. Recent efforts for credible CFD simulations in china[C]//Proc 25th Int Congress Aeronautical Sci， ICAS 20062.4.2. Hamburger： Hindawi Publishing Co， 2006.

[23]WU Baoshan. An overview of verification and validation methodology for CFD simulation of ship hydrodynamics[J]. J Ship Mech， 2011， 15（6）： 577591.

[24]康順， 石磊， 戴麗萍， 等. CFD模擬的誤差分析及網(wǎng)格收斂性研究[J]. 工程熱物理學(xué)報， 2010， 31（12）： 20092013.

[25]王瑞利， 林忠， 袁國興. 科學(xué)計算程序的驗證和確認(rèn)（V&V）[J]. 北京理工大學(xué)學(xué)報， 2010， 30（3）： 353360.

[26]張保強(qiáng)， 陳國平， 郭勤濤. 結(jié)構(gòu)動力學(xué)模型確認(rèn)問題的核密度估計方法[J]. 機(jī)械工程學(xué)報， 2011， 47（17）： 2936.

[27]曾現(xiàn)洋， 劉睿， 劉希強(qiáng). 人為解與人為解方法[J]. 聊城大學(xué)學(xué)報： 自然科學(xué)版， 2010， 23（1）： 7174.

[28]王瑞利， 劉全， 劉希強(qiáng)， 等. 人為解方法及其在流體力學(xué)程序驗證中的應(yīng)用[J]. 計算機(jī)應(yīng)用與軟件， 2012， 29（11）： 47.

[29]劉全， 王瑞利， 劉希強(qiáng)， 等. 流體力學(xué)方程組一類人為解構(gòu)造方法[J]. 數(shù)學(xué)的實踐與認(rèn)識， 2013， 43（8）： 176182.