IBM Aspera:直接到雲存儲

  • 這些對象存儲系統的關鍵設計原理是組織文件數據和關聯的元數據。
  • 傳輸速率會自動適應可用的網絡帶寬。
  • 當今市場上大多數基於雲的存儲都基於對象存儲。

啟用Aspera FASP高速傳輸平台可以為許多領先的第三方雲存儲平台之間以及之間提供高性能的安全WAN傳輸文件,目錄和其他大型數據集。 該實現是Aspera服務器軟件中增強的傳輸堆棧和虛擬文件系統層,允許使用FASP協議和特定第三方文件系統的本機I / O功能通過WAN直接進行對象存儲傳輸。

該堆棧在所有通常可用的Aspera服務器軟件產品中都可用,並且支持與所有通常可用的Aspera客戶端軟件的互操作傳輸。

隨著市場需求的證明,Aspera不斷增加對新的第三方存儲平台的支持,並高興地在3.4版中支持所有領先的雲存儲平台,包括IBM Cloud和Rackspace的OpenStack Swift(v 1.12),Amazon S3,Windows Azure BLOB,Akamai NetStorage,Google Storage和Limelight Cloud Storage。

本白皮書概述了平台的動機–往返於雲環境的大數據集傳輸的基本問題–詳細介紹了平台功能,並描述了包括對每個存儲平台進行驗證的性能和功能測試。

問題

主流的“雲”存儲平台是“對象存儲”架構,其設計源於領先的網絡搜索公司開發的早期橫向擴展存儲系統,例如Hadoop文件系統(HDFS),谷歌文件系統(GFS)和亞馬遜發電機。 這些對象存儲系統的關鍵設計原理是將文件數據和相關的元數據(例如名稱,權限,訪問時間等)組織為“對象”,並以解耦的方式存儲文件數據和引用它的元數據,從而實現極高的規模和吞吐量。

文件數據以冗余副本的形式存儲在分佈式商品存儲中,以實現可靠性,並且可通過單個命名空間實現擴展,在該命名空間中,主表將對象標識符的哈希值和對其文件數據副本的引用存儲在磁盤上,從而實現快速復制以及跨分佈式平台的單個對象的通用尋址(請參見圖1)。

文件數據以冗余副本的形式存儲在分佈式商品存儲中,以實現可靠性,並且可通過單個命名空間實現擴展,在該命名空間中,主表將對象標識符的哈希值和對其文件數據副本的引用存儲在磁盤上,從而實現快速復制以及跨分佈式平台的單個對象的通用尋址。

這種方法非常適合用於應用程序的存儲,例如可伸縮Web搜索的索引,因為它允許應用程序利用超大數據集,在批處理中實現非常高的總吞吐量,並為基礎存儲使用便宜的商品磁盤。

上載或下載大於塊大小(例如64 MB)的任何單個項目的應用程序必須將對象劃分並重新組裝為適當的塊,這本身很繁瑣,並且除非以高度並行的方式進行,否則在本地傳輸速度上會遇到瓶頸。 例如,對於64 MB的塊,寫入1 TB文件需要將其劃分為10,000個以上的塊,並且在實際實現中,每個I / O流的吞吐量最高不到100 Mbps。 我們將此稱為本地存儲瓶頸。

一個基本的解決方案– IBM Aspera直接到雲的傳輸

Aspera Direct-to-Cloud傳輸平台是一種用於將文件和目錄數據傳輸到雲存儲以及從雲存儲之間傳輸的基本解決方案之一。 基於與對象存儲深度集成的FASP傳輸技術,它將Aspera傳輸平台的所有特性帶到了雲存儲中:傳輸到雲的最大傳輸速度,從雲下載以及文件和目錄的雲間傳輸都不受限制單一傳輸流中的網絡距離-無需並行流傳輸,並且支持文件和目錄的存儲平台所允許的最大大小。

Aspera Direct-to-Cloud傳輸平台是一種用於將文件和目錄數據傳輸到雲存儲以及從雲存儲之間傳輸的基本解決方案之一。

傳輸速率通過Aspera的專利動態速率控制自動適應可用的網絡帶寬和存儲帶寬,並且使用Aspera的vlink技術可精確控制多次傳輸的總帶寬。 該平台通過在線和靜態加密解決了圍繞雲數據的基本安全問題,並通過使用本機存儲憑據對所有傳輸和瀏覽操作進行了身份驗證,從而在多租戶存儲環境中提供了隱私。 中斷的傳輸會自動重新啟動,並從中斷點恢復。 所有Aspera客戶端均支持安全的文件瀏覽和傳輸,包括瀏覽器,桌面,CLI和嵌入式/ SDK模式。

功能詳細信息在下面突出顯示:

  • 任意距離的性能–最大速度的單流傳輸,不受往返延遲和數據包丟失(500 ms / 30%的數據包丟失+)的影響,直至平台的I / O限制。
  • 無限的橫向擴展吞吐量–自動群集橫向擴展支持單批量上傳/下載的聚合傳輸吞吐量,每秒10吉比特及更高,每天可以在全球範圍內傳輸120 TB甚至更多。
  • 大文件大小–在單個傳輸會話中支持文件和目錄大小,最大為特定平台支持的最大對像大小,默認為64 MB的多部分塊大小,例如,AWS S0.625上每個單個會話3 TB。 (最新的軟件版本具有可配置的塊大小,將傳輸擴展到平台支持的最大對像大小)。
  • 小文件的大目錄–支持包含任意數量的單個文件的高速目錄,甚至支持非常大的小文件(通過WAN進行100 Mbps的傳輸,大小為1-10 KB的文件集),500 Mbps +新的ascp4)。
  • 自適應帶寬控制–基於網絡和磁盤的擁塞控制,可自動調整傳輸速度以適應可用網絡帶寬和往返存儲平台的可用I / O吞吐量,從而避免擁塞和過載。
  • 自動恢復–從中斷​​點開始的任何傳輸(單個文件和目錄)的自動重試和檢查點恢復。
  • 內置的加密和靜態加密–內置的有線加密和靜態加密(AES 128),在客戶端和服務器端均控制機密。
  • 安全的身份驗證和訪問控制–對使用私有云憑據實現的經過身份驗證的Aspera docroot的內置支持。 支持每個用戶帳戶的可配置讀取,寫入和列表訪問。 支持基於平台的基於角色的訪問控制,包括Amazon IAMS和Microsoft Secure SaaS URL。
  • 無縫,功能齊全的HTTP回退–在受限網絡環境中無縫回退到HTTP,全面支持加密,靜態加密以及自動重試和恢復。
  • 並發傳輸支持–並發傳輸支持最多可擴展到環境中每個VM實例約50個並發傳輸。 (雲存儲平台支持並發會話的能力有所不同,具體取決於平台的成熟度以及特定的VM主機到雲文件系統架構的容量)。
  • 文件屬性的保留–在更高版本中,可以將傳輸配置為保留文件創建,針對AWS S3和Swift的修改時間。
  • 與Aspera客戶端的完全互操作性–完全互操作的傳輸支持,所有核心Aspera產品均充當云存儲傳輸的傳輸對等方。
  • 功能齊全的傳輸模式–這些產品中的所有傳輸模式都具有完全可互操作的傳輸支持,包括命令行(CLI),交互式GUI鼠標單擊,瀏覽器,熱文件夾自動化和SDK自動化。
  • 全面的服務器功能–全面支持所有Aspera服務器端功能,包括安全docroot,BW的控制台配置,安全性和文件處理策略以及向Aspera Console的報告。
  • 支持正向和反向代理–往返雲環境的傳輸以正向或反向模式在客戶端支持Aspera代理。
  • 全面的SDK功能–服務器端軟件支持所有核心Aspera傳輸和管理SDK,包括Connect JavaScript API,faspmanager,SOAP和REST Web服務,用於作業啟動,可靠的查詢,通過統計信息收集器進行匯總報告以及自動後處理腳本。

具有自動擴展功能的傳輸集群管理

新的Transfer Cluster Manager具有自動縮放傳輸主機的彈性自動縮放和客戶端負載平衡,群集範圍內的報告,傳輸管理以及多租戶安全訪問密鑰系統的功能。 該服務通過自動啟動/停止傳輸服務器實例,自動平衡可用實例之間的客戶端請求以及可配置的服務級別(可管理每個實例的最大傳輸負載),可用於“突發”的空閒實例來實現動態,實時擴展傳輸能力”,並自動停用未使用的實例。

ATCM服務包括以下功能:

  • 通過彈性擴展管理傳輸吞吐量SLA和計算/帶寬成本–該服務是Aspera傳輸服務器軟件堆棧的一部分,並根據用戶定義的策略自動管理支持客戶端傳輸需求所需的服務器實例數量,並自動管理數量的節點正在使用中,並在備用但空閒時啟動。
  • 提供高可用性和負載平衡–隨著傳輸負載的增加和減少,節點會根據用戶定義的負載度量標準(例如對低傳輸吞吐量和高傳輸吞吐量的容忍度)從空閒狀態變為可用於客戶端請求,然後從可用狀態變為高使用率,然後再返回和在線突發容量。 如果可用節點的最小數量下降到用戶定義的閾值以下,則集群管理器會自動啟動新節點,然後在不再需要它們時將其重新啟動。
  • 提供更高的可靠性-ATCM將監視Aspera傳輸的運行狀況和可用性。 系統會自動檢測到任何不可用/宕機的節點或服務,並在必要時重新啟動或更換。 隨後的客戶端請求通過自動群集域名服務(DNS)管理指向健康的節點。
  • 可在所有主要雲上運行,並與獨立的Aspera Direct-to-Cloud存儲基礎架構結合使用-所有Autoscale功能都在Aspera軟件中實現,因此可跨AWS,IBM Cloud,Azure,Google等雲提供商進行移植。在公共雲和虛擬私有云(VPC)環境中。
Aspera提供了一套全面的自動化和手動測試套件,以驗證WAN條件,大文件大小和數量,文件完整性,並發性,負載測試,包括加密和訪問控制的安全性以及版本之間的向後兼容性,以驗證性能。

驗證第三方雲存儲平台

為了提供對新對象存儲平台的支持,並在我們發布的軟件中驗證對存儲平台的支持,Aspera提供了一套全面的自動和手動測試套件,以驗證WAN條件,大文件大小和數量下的性能,文件完整性,並發性,負載測試,包括加密和訪問控制的安全性以及版本之間的向後兼容性。 Aspera的目標是在平台提供的測試主機的數量,種類和網絡連接性的限制內,在所有平台上運行相同的測試集和條件。 下頁表1中詳細介紹了按平台運行Aspera服務器軟件的單個虛擬主機的測試用例和性能功能的參數。

當今市場上大多數基於雲的存儲都基於對象存儲。 對象存儲體系結構的關鍵設計原理是文件數據和元數據的分離,跨分佈式商品存儲的數據複製以及跨分佈式節點和集群的統一訪問。 與傳統的基於塊的存儲相比,這些原理可實現更具成本效益的橫向擴展,並具有更大的冗餘性和持久性。

閱讀更多訪問 技術雲

[bsa_pro_ad_space id = 4]

傑克·蘇里

在Tech Cloud Link上可以免費下載各種格式的技術白皮書,包括流行文章技術摘要,技術白皮書的PDF版本以及在IT領域內範圍廣泛的研究文章。 在這裡,您將解決與IT趨勢相關的趨勢,這些問題涉及–網絡通信–存儲–數據中心–服務器–網絡安全。 白皮書準確地解決了工業和企業網絡之間的融合以及有關企業IT,業務和領導力戰略的文章,功能,幻燈片和分析的集合
https://techcloudlink.com/

發表評論