一、需求和挑戰(zhàn)

　　計(jì)算機(jī)輔助工程（CAE，Computer Aided Engineering）是用計(jì)算機(jī)輔助求解復(fù)雜工程和產(chǎn)品結(jié)構(gòu)強(qiáng)度、剛度、屈曲穩(wěn)定性、動力響應(yīng)、熱傳導(dǎo)、三維多體接觸、彈塑性等力學(xué)性能的分析計(jì)算以及結(jié)構(gòu)性能的優(yōu)化設(shè)計(jì)等問題的一種近似數(shù)值分析方法。CAE從60年代初在工程上開始應(yīng)用到今天，現(xiàn)已成為工程和產(chǎn)品結(jié)構(gòu)分析中（如航空、航天、機(jī)械、土木結(jié)構(gòu)等領(lǐng)域）必不可少的數(shù)值計(jì)算工具，同時也是分析連續(xù)介質(zhì)力學(xué)各類問題的一種重要手段。

　　分布式內(nèi)存的Cluster系統(tǒng)是近年來迅速普及的一種高性能服務(wù)器體系。集群是一組獨(dú)立的計(jì)算機(jī)（節(jié)點(diǎn)）的集合體，節(jié)點(diǎn)間通過高性能的互連網(wǎng)絡(luò)連接，可以協(xié)同工作并表現(xiàn)為一個單一的、集中的計(jì)算資源（單一系統(tǒng)映象）供并行計(jì)算任務(wù)使用。構(gòu)建這類服務(wù)器的成本比較低，具有良好的性價比和可擴(kuò)放性。集群作為當(dāng)前高性能計(jì)算機(jī)的主流架構(gòu)，在Top 500中占據(jù)了75%以上的份額。因此，當(dāng)前主流的CAE軟件都提供了對集群架構(gòu)和MPI的支持。

　　高性能計(jì)算（HPC）從上世紀(jì)80年代起逐步進(jìn)入CAE領(lǐng)域，承擔(dān)諸多關(guān)鍵的計(jì)算應(yīng)用。CAE-HPC的目標(biāo)是“用最低的成本模擬真實(shí)世界”，即“用最短的時間、最少的人力、最低的資金，進(jìn)行復(fù)雜單場模擬和多場耦合分析”。CAE在制造企業(yè)中承擔(dān)著關(guān)鍵的業(yè)務(wù)，所以其高性能平臺的選擇非常重要，HPC平臺直接影響CAE的運(yùn)行性能表現(xiàn)、整體成本和系統(tǒng)維護(hù)等方面問題。

　　一般說來，CAE分析主要包括前處理、計(jì)算分析和后處理這3個過程。前處理主要是建立問題的幾何模型、進(jìn)行網(wǎng)格劃分、建立用于計(jì)算分析的數(shù)值模型、確定模型的邊界條件和初始條件等；計(jì)算分析是對所建立的數(shù)值模型進(jìn)行求解，經(jīng)常需要求解大型的線性方程組，這個過程是CAE分析中計(jì)算量最大、對硬件性能要求最高的部分；后處理則是以圖形化的方式對所得的計(jì)算結(jié)果進(jìn)行檢查和處理。

　　二、浪潮CAE高性能解決方案

　　通過對CAE軟件的分析我們可以了解到，對于大部分CAE應(yīng)用，對于節(jié)點(diǎn)間并行MPI支持非常好，適合在雙路計(jì)算節(jié)點(diǎn)上運(yùn)行，做通用計(jì)算，而部分CAE軟件對內(nèi)存的需求比較高，則適合在胖節(jié)點(diǎn)上用OpenMP方式來計(jì)算，因此我們推薦大內(nèi)存的四路或者八路服務(wù)器作為集群胖節(jié)點(diǎn)。

　　浪潮通過對于CAE應(yīng)用性能的專業(yè)化分析和匯總，提供針對化的解決方案。浪潮高性能應(yīng)用集群主要解決了CAE軟件應(yīng)用中的三個主要問題：

　　工作站

　　主要用于前后處理方面的工作，用于網(wǎng)格劃分和可視化顯示。由于對于服務(wù)器顯示和處理能力的要求都比較高，因此我們推薦使用帶有專業(yè)級顯卡的工作站配置。

　　計(jì)算節(jié)點(diǎn)

　　顯示算法和隱式算法對計(jì)算能力的需求不用，方案配置了雙路節(jié)點(diǎn)，適合于分布式內(nèi)存的顯示計(jì)算和流體軟件CFD的計(jì)算，配置了多路胖節(jié)點(diǎn)適合于共享內(nèi)存的隱式計(jì)算。不同架構(gòu)的設(shè)計(jì)既體現(xiàn)了浪潮針對化專業(yè)化的解決方案。

　　網(wǎng)絡(luò)帶寬問題

　　在大型CAE軟件應(yīng)用中，并行化對于網(wǎng)絡(luò)延時和帶寬的要求很高，我們根據(jù)需求配置了以太網(wǎng)交換環(huán)境或者更快的40Gb的Infiniband網(wǎng)絡(luò)，滿足所有節(jié)點(diǎn)無阻塞的計(jì)算交換需求，網(wǎng)絡(luò)延時低。

　　存儲帶寬問題

　　部分CAE軟件在計(jì)算過程中，會產(chǎn)生大量臨時文件，一個優(yōu)秀的存儲系統(tǒng)能夠滿足軟件對于網(wǎng)絡(luò)帶寬的需求。浪潮不僅可以提供了專業(yè)級的直連存儲，更有8Gb接口的光纖存儲系統(tǒng)，通過專有的存儲節(jié)點(diǎn)構(gòu)建Lustre并行文件系統(tǒng)，接入以太網(wǎng)，甚至40GB的Infiniband網(wǎng)絡(luò)，不至于出現(xiàn)CPU等待數(shù)據(jù)計(jì)算的情況，大大提高了計(jì)算效率。

　　三.浪潮解決方案優(yōu)勢與價值

　　計(jì)算系統(tǒng)緊密結(jié)合客戶應(yīng)用

　　浪潮TS10K系統(tǒng)充分考慮CAE客戶典型應(yīng)用，針對客戶應(yīng)用定制化開發(fā)系統(tǒng)。針對隱式有限元分析應(yīng)用浪潮配置胖節(jié)點(diǎn)，可選八路胖節(jié)點(diǎn)；針對流體類應(yīng)用配置雙路主流計(jì)算節(jié)點(diǎn)，針對前后處理可選圖形工作站，塔式、機(jī)架可選；存儲方面可提供NAS存儲、光纖存儲、IB SAN存儲等方案，對于IO帶寬需求特別高的場合，可以配置浪潮Ts Exastor并行文件系統(tǒng)。

　　互聯(lián)系統(tǒng)完善

　　浪潮TS10K系統(tǒng)包含4套網(wǎng)絡(luò)。管理網(wǎng)絡(luò)采用萬兆為主干的千兆線速網(wǎng)絡(luò)，可開辟對教育網(wǎng)/公網(wǎng)的獨(dú)立IP，實(shí)現(xiàn)廣域網(wǎng)用戶登錄使用集群；IPMI網(wǎng)絡(luò)采用非線速千兆交換機(jī)，互聯(lián)所有節(jié)點(diǎn)，管理員通過辦公用機(jī)可實(shí)現(xiàn)集群的帶外管理；KVM本地監(jiān)控網(wǎng)絡(luò)通過菊花鏈方式，最多實(shí)現(xiàn)960臺計(jì)算機(jī)的KVM監(jiān)管；計(jì)算網(wǎng)絡(luò)采用IB網(wǎng)絡(luò)全線速互聯(lián)，帶寬達(dá)到56Gb/s,延時1微秒內(nèi)，充分保證計(jì)算中間數(shù)據(jù)交互。

　　調(diào)度系統(tǒng)先進(jìn)高效

　　浪潮ClusterEngine集群管理軟件是專為浪潮天梭系列 HPC 集群定制的一款軟件，該軟件采用B/S架構(gòu)，通過瀏覽器（IE，firefox等）進(jìn)行操作，是一套全面實(shí)現(xiàn)了集群的監(jiān)控、管理、報警的軟件，用戶通過ClusterEngine圖形界面提交自己的科學(xué)計(jì)算任務(wù)，ClusterEngine會根據(jù)集群中的資源使用情況和作業(yè)的資源要求數(shù)量來合理的調(diào)度用戶提交的作業(yè)，從而達(dá)到提高資源利用率和作業(yè)的執(zhí)行效率的作用。ClusterEngine還可以為集群管理員統(tǒng)計(jì)作業(yè)的資源消耗情況和用戶的資源使用情況，并生成報表，為集群管理員優(yōu)化系統(tǒng)提供依據(jù)。

　　集群系統(tǒng)綠色節(jié)能

　　所有節(jié)點(diǎn)采用80PLUS高效電源，提高電源轉(zhuǎn)換效率，降低用戶運(yùn)維成本。結(jié)合Cluster Engine節(jié)能組件，可以自動將空閑資源設(shè)置為待機(jī)或者關(guān)機(jī)狀態(tài)，整體節(jié)能降低20%。