虛擬化HPC吞吐量計算環境

  • 儘管HPC工作負載通常在裸機系統上運行,但在過去幾年中這種情況已經開始有所改變。
  • HPC工作負載大致可分為兩類:並行分佈式工作負載和吞吐量工作負載。
  • HPC基礎結構通常由數以萬計的節點群集組成,以支持很大程度的並行性。

傳統上,高性能計算(HPC)工作負載僅在裸機,未虛擬化的硬件上運行。 但是,在過去的十年中,隨著對虛擬化的日益成熟的硬件支持的引入,這些高度並行的技術工作負載的性能得到了顯著提高,使組織可以開始享受虛擬化平台可以提供的眾多好處。

為了證明這種持續性能改進的結果,本文探討了虛擬化在HPC中的應用,並評估了虛擬化的多租戶計算環境中HPC工作負載的性能。

虛擬化HPC工作負載

儘管HPC工作負載大多數情況下是在裸機系統上運行,但是隨著組織逐漸了解到虛擬化為企業提供的許多好處通常也可以在HPC環境中增加價值,這種情況在過去幾年中已經開始改變。 這些好處包括:

  • 支持具有不同軟件需求的更廣泛的最終用戶群體–通過使用虛擬機(VM),每個用戶或組可以運行最能滿足其需求的操作系統(OS)和其他軟件,並且這些不同的軟件環境可以在同一硬件上自由混合。 此外,可以隨著用戶需求的變化動態地改變這種組合,這使IT部門可以提高整體敏捷性,並有助於減少研究人員,科學家和工程師的解決時間。
  • 通過將用戶工作負載隔離到單獨的VM(包括在不同的軟件定義的虛擬網絡中運行)來提供數據安全性和合規性–這可確保項目(例如,涉及臨床數據的研究)保持對其數據的控制,並且不會與他人不恰當地共享數據其他用戶。 此外,在實現數據安全性的同時,還允許項目共享底層硬件,從而提高了物理資源的整體利用率。
  • 通過使用VM提供故障隔離,根訪問和其他傳統HPC環境中不可用的功能–通過在專用VM中運行用戶的作業,可以保護每個用戶免受其他用戶引起的問題(裸機中的常見問題) HPC環境中,來自多個用戶的作業經常在同一OS實例中運行。 此外,VM抽象的隔離性質意味著可以將根訪問權限授予那​​些需要它的用戶,因為該特權僅在VM內授予,並且不會損害其他用戶或其數據的安全性。
  • 創建一個更加動態的IT環境,可以在其中跨群集實時遷移VM及其封裝的工作負載,以實現負載平衡,維護,避免故障等。與傳統的將作業靜態調度到事實之後,沒有任何能力重新評估這些放置決策的裸機集群。 這種動態的工作負載遷移可以提高總體集群效率和彈性。

HPC工作量

在HPC中,性能至關重要。在VMware虛擬環境中提供高性能一直是使虛擬化適用於這些工作負載所需的工作的關鍵部分。

HPC工作負載大致可分為兩類:並行分佈式工作負載和吞吐量工作負載。 並行分佈式應用程序(通常是MPI應用程序,指的是用於構建此類應用程序的最流行的消息庫),由許多同時運行的進程組成,這些進程相互通信,並且經常以很高的強度進行通信。 由於這種通信幾乎始終處於關鍵的性能路徑上,因此HPC社區已採用專用的硬件和軟件來實現盡可能低的延遲和最大帶寬,以支持有效運行這些應用程序。

圖1顯示了使用VMware vSphere DirectPath I / O™的VMwarevSphere®平台下的InfiniBand延遲相對於VMware ESXi™的最新幾個版本(vSphere虛擬機管理程序)如何有所改善。

InfiniBand和RDMA是HPC消息傳遞的兩種最廣泛使用的硬件和軟件方法,它們也可以在虛擬環境中使​​用。 圖1顯示了使用VMware vSphere DirectPath I / O™的VMwarevSphere®平台下的InfiniBand延遲相對於VMware ESXi™的最新幾個版本(vSphere虛擬機管理程序)如何有所改善。 現在,延遲接近了無需虛擬化即可實現的延遲,圖2顯示了各種流行的開源和商業MPI應用程序的性能結果。 這些測試在16節點EDR InfiniBand群集上運行,每個群集運行一個大型VM。 與圖3相比,可以看出,使用這種工作負載類別的降級可能要比吞吐量工作負載的降級更高。 由於開銷取決於特定的應用程序,所使用的模型以及應用程序的運行規模,因此通常建議使用概念驗證部署來確定可實現的可接受性能。 可在Dell社區網站上找到有關MPI性能的其他信息。

圖2顯示了各種流行的開源和商業MPI應用程序的性能結果。

吞吐量工作負載通常需要運行大量任務才能完成一項工作,每個任務獨立運行且任務之間沒有通信。 渲染數字電影的幀就是這種吞吐量工作量的一個很好的例子:每個幀可以獨立且並行地計算; 計算完所有幀後,整個工作就完成了。 吞吐量工作負載當前在vSphere上運行時幾乎沒有降級,降級通常只有一個百分點或兩個百分點,並且在某些情況下,虛擬化時它們的運行速度可能會稍快。 圖3顯示了一組流行的生命科學吞吐量基準測試的性能比較,表明該工作負載類的虛擬性能與未虛擬化性能非常相似。 在這些測試中,我們比較基準套件中每個程序的運行時間,並在每個測試中使用相同的硬件和操作系統在VM和裸機上運行每個程序。

HPC環境

HPC基礎結構通常由數以萬計的節點群集組成,以支持很大程度的並行性。 如此復雜的系統中的節點通常根據其角色分為多個分區,例如登錄節點,管理節點和計算節點。 用戶不是直接訪問計算資源,而是通過登錄節點提交和管理作業,有時會進行複制以實現負載平衡和容錯能力。 為了在多個用戶之間有效地共享資源,同時能夠執行公平性和服務質量的特定規則,大多數生產HPC系統以批處理模式在計算節點池上執行用戶作業。 也就是說,首先將每個用戶提交的作業放入作業隊列,等待作業調度程序從資源管理器獲取所需的資源。 獲取資源後,然後將它們分配給作業。 作業調度程序和資源管理器是在專用管理節點上運行的管理服務。

CPU過量使用

使用上一部分所述的測試台,裸機群集和虛擬群集之間的合理性能比較將對比固定作業序列的完成時間。 對於此測試,我們首先在每個節點上引導Linux,並確定通過該物理TORQUE集群運行作業流所花費的時間。 然後,我們使用ESXi虛擬機管理程序重新引導計算機,並在每個節點使用一個VM構建的虛擬TORQUE集群上運行相同的吞吐量測試。 但是,在虛擬化的HPC環境中,有一個額外的配置參數-每個主機上的VM數量-虛擬化的獨有優勢,它支持多租戶和資源共享。 正如在許多企業用例中所證實的那樣,資源整合可以提高利用率,從而提高整體吞吐量。 為了驗證這是否也適用於HPC吞吐量計算,我們在這項工作中嘗試了CPU過量使用。

為了僅研究CPU過量使用的影響並避免內存過量使用,在虛擬環境中,每個節點上始終為ESXi hypervisor實例保留28GB的內存,其餘的100GB則在運行的VM中平均分配。 例如,當四個虛擬機在每個主機上運行時,每個虛擬機將獲得25GB的預留空間。

為了僅研究CPU過量使用的影響並避免內存過量使用,在虛擬環境中,每個節點上始終為ESXi hypervisor實例保留28GB的內存,其餘的100GB則在運行的VM中平均分配。

工作執行時間

為了在具有不同數量的活動TORQUE集群的測試方案之間進行公平的比較,我們必須確保在每種方案中在硬件上運行的作業順序大致相同。 為了實現這一目標,我們採用了一種自下而上的方法,首先生成一個隨機的工作流,將七個基準中的每一個重複116次,總共812個工作。 在4倍超額使用情況下,其中四個虛擬TORQUE集群同時執行作業,每個集群將獲得該作業流的副本,從而導致整個3,248個作業在此測試過程中運行。 對於具有兩個活動群集的2X過量使用情況,將812個作業流的兩個副本以交錯的方式組合在一起,以生成一個包含1,624個作業的新作業流。 這個1,624個作業流被饋送到兩個活動集群中的每個群集,從而導致與4X測試用例(3,248)中運行的作業數量相同,並且啟動作業的順序大致相同。 最後,將1,624個作業流的兩個副本再次合併以創建具有3,248個作業的第三作業流,該作業流被饋送到單個活動群集以進行裸機和單個虛擬群集測試。 這種方法可確保在所有測試用例中使用相同的工作順序,以確保公平。

CPU利用率

除了執行時間外,我們監控的另一個性能指標是整個物理群集中的CPU總利用率。 在ESXi ssh會話中,esxtop工具可以細粒度收集各種指標,以提供系統狀態的詳細視圖。 我們使用在每個計算節點上運行的esxtop以5秒為間隔對所有VM的CPU利用率進行採樣,圖7、XNUMX和XNUMX個虛擬集群的結果如圖XNUMX所示。對於XNUMX個和XNUMX個虛擬集群,下降趨勢為最終是由於工作完成。

我們使用在每個計算節點上運行的esxtop以5秒的間隔對所有VM的CPU利用率進行採樣,圖7、XNUMX和XNUMX個虛擬集群的結果如圖XNUMX所示。

每個集群的CPU使用率

在實際生產的HPC系統中,重要的原則是多個用戶共享計算資源時的公平性。 在虛擬化環境中也是如此。 特別是,前面提到的CPU過量使用配置代表了未來的虛擬化HPC環境,其中在資源分配期間為每個用戶或組分配了一個虛擬集群。 我們可以在上一節中更深入地研究兩個和四個虛擬集群的聚合結果,並檢查每種情況下每個集群的CPU利用率,如圖8所示。很明顯,在兩種情況下,ESXi Scheduler都能有效維護公平性,以便每個虛擬群集獲得相同數量的CPU資源。

我們可以在上一節中更深入地研究兩個和四個虛擬集群的聚合結果,並檢查每種情況下每個集群的CPU利用率,如圖8所示。

利用HP虛擬化所提供的增加的靈活性和敏捷性的動力推動了虛擬化HPC環境的上升趨勢。 本文探討了使用VMware vSphere的虛擬吞吐量群集和CPU過度使用的概念,以創建多租戶和敏捷的虛擬HPC計算環境,這些環境提供了在HPC用戶之間提供服務質量保證以及良好的綜合性能的能力。 這項工作的結果表明,HPC用戶在享受虛擬化帶來的各種好處的同時,可以期望獲得與HPC吞吐量工作負載相似的本機性能。

有關更多詳細信息,請訪問 技術雲鏈接

每次$ 1美元

在這裡提交廣告

傑克·蘇里

在Tech Cloud Link上可以免費下載各種格式的技術白皮書,包括流行文章技術摘要,技術白皮書的PDF版本以及在IT領域內範圍廣泛的研究文章。 在這裡,您將解決與IT趨勢相關的趨勢,這些問題涉及–網絡通信–存儲–數據中心–服務器–網絡安全。 白皮書準確地解決了工業和企業網絡之間的融合以及有關企業IT,業務和領導力戰略的文章,功能,幻燈片和分析的集合
https://techcloudlink.com/

發表評論