一種采用帶外虛擬化技術的網絡存儲系統(tǒng)

申請免費試用、咨詢電話：400-8352-114

一、引言

隨著信息存儲量的爆炸式增長和數(shù)據(jù)重要性的日益凸顯，網絡存儲正在逐步取代傳統(tǒng)直連式存儲(DAS，direct aim.ched storage)，它具有以下優(yōu)點：

(1)提高存儲資源利用率，研究表明直連存儲中的存儲設備利用率僅為40%，而網絡存儲中則高達90%;

(2)降低存儲系統(tǒng)的總體擁有成本(TCO，total cost ofowner)，存儲管理成本中最主要的是人力成本，網絡存儲可以有效降低大規(guī)模存儲中的人力成本的開銷。

據(jù)統(tǒng)計，直連存儲的TCO約為0.84$/MB，而網絡存儲則僅為0.35~0.38$/MB。

存儲虛擬化是網絡存儲系統(tǒng)中普遍采用的一種數(shù)據(jù)管理技術，它通過一定手段實現(xiàn)對存儲資源的集中式管理，屏蔽了組成物理存儲介質的異構性并為使用者提供大容量、高性能和多功能的存儲系統(tǒng)。網絡存儲虛擬化可以分為帶內和帶外兩類，如圖1所示，在帶內虛擬化網絡存儲系統(tǒng)中。所有數(shù)據(jù)通路都經由唯一I/O導向器，它不僅負責存儲資源的虛擬化管理同時在數(shù)據(jù)通路上實現(xiàn)各種數(shù)據(jù)存儲管理語義;在帶外虛擬化網絡存儲系統(tǒng)中，應用服務器和存儲設備直接進行數(shù)據(jù)傳輸，存儲資源的管理由獨立于數(shù)據(jù)傳輸通路的存儲虛擬化服務器提供。相比之下，一方面，帶內虛擬化方式不僅存在由I/O導向器帶來的性能瓶頸和單點故障等問題，同時它不能充分發(fā)揮交換式存儲網絡的承載能力和單個存儲設備的I/O能力，此外I/O導向器的I/O轉發(fā)操作也會相應增加數(shù)據(jù)傳輸通路的I/O延遲;另一方面，通過對數(shù)據(jù)傳輸通路的有效控制，帶內虛擬化方式易于實現(xiàn)各種高級數(shù)據(jù)存儲管理語義，如在線數(shù)據(jù)遷移、數(shù)據(jù)復制和數(shù)據(jù)版本(快照)控制等。

目前網絡存儲從系統(tǒng)結構上主要分為SAN(storage areanetwork)和NAS(network attached storage)兩類，其中前者由專用的網絡和設備構建，提供塊級數(shù)據(jù)訪問接口，而后者基于服務器直連盤陣架構，在傳統(tǒng)數(shù)據(jù)網上提供文件級數(shù)據(jù)訪問接口。本文主要介紹由國家高性能計算機工程技術中心自主研制的網絡存儲系統(tǒng)?BW VSDS(Blue Whale-virtual storagedevice system)，它是一種基于帶外虛擬化技術的SAN系統(tǒng)，目前已實際應用于視頻監(jiān)控、科學研究和企業(yè)辦公等領域，相比于其它SAN系統(tǒng)，BW-VSDS具有以下特點：

(1)采用兩級帶外虛擬化數(shù)據(jù)管理模型以充分發(fā)揮單個存儲節(jié)點的L/O能力并釋放存儲網絡的承載能力;

(2)采用分布式數(shù)據(jù)存儲管理協(xié)議以實現(xiàn)高級數(shù)據(jù)存儲管理語義;

(3)支持多種塊級數(shù)據(jù)傳輸協(xié)議以適用于不同的應用環(huán)境。

2基本原理

BW-VSDS系統(tǒng)由元數(shù)據(jù)服務器、存儲節(jié)點和應用服務器三種功能實體組成，如圖2所示，元數(shù)據(jù)服務器采用帶外虛擬化方式將分布在多個存儲節(jié)點中的離散存儲資源聚合為一個統(tǒng)一的虛擬存儲池，它根據(jù)應用的具體需求劃分出具有不同屬性的虛擬存儲卷并授權給相應的應用服務器，后者則通過存儲代理以虛擬磁盤的方式直接訪問位于存儲節(jié)點中的存儲資源。本小節(jié)我們將闡述為實現(xiàn)上述功能BW―VSDS所采用的兩項關鍵技術。 2.1 兩級帶外虛擬化數(shù)據(jù)管理模型

BW-VSDS系統(tǒng)中將存儲虛擬化功能劃分為存儲節(jié)點內和存儲節(jié)點間兩級(如圖3所示)：

本地虛擬化：存儲節(jié)點通過RMD或基于磁盤屬性的分組池化技術集中管理與其直連的物理存儲資源(磁盤或磁盤陣列)，在此基礎之上，它以邏輯存儲卷為單位對存儲資源進行劃分，并在節(jié)點內提供各種高級數(shù)據(jù)存儲管理功能，如數(shù)據(jù)讀寫緩存、數(shù)據(jù)復制、數(shù)據(jù)版本控制和數(shù)據(jù)加密等，其中邏輯存儲卷是BW-VSDS系統(tǒng)中最小的可管理單元。

全局虛扭化：元數(shù)據(jù)服務器集中管理系統(tǒng)中的存儲資源，它首先將存儲節(jié)點中離散的存儲資源聚合為一個統(tǒng)一的虛擬存儲池，接著根據(jù)應用服務器的具體需求為其分配具有豐H應屆性(存儲空間的大小、數(shù)據(jù)的可靠性和讀寫性能等)的虛擬存儲卷，其中后者是由分布于不同存儲節(jié)點中的邏輯存儲卷在按照一定的地址映射規(guī)則聚合而成，位于應用服務器中的虛擬磁盤驅動，根據(jù)相關元數(shù)據(jù)(對應于圖3中的靜態(tài)路由轉發(fā)表)完成數(shù)據(jù)讀寫的轉發(fā)。

相比于Magicstore系統(tǒng)中采用的帶外虛擬化技術，BW-VSDS系統(tǒng)的特點在于將數(shù)據(jù)存儲的管理和存儲資源的管理進一步分離，其中元數(shù)據(jù)服務器只專注于系統(tǒng)存儲資源的管理，而各種高級數(shù)據(jù)存儲語義由每個存儲節(jié)點在本地提供，這樣徹底將元數(shù)據(jù)服務器從數(shù)據(jù)傳輸通路中釋放出來，這不僅減輕了前者的負載，提高了系統(tǒng)的可擴展性，同時避免了Magicstore系統(tǒng)在數(shù)據(jù)讀寫過程中訪問動態(tài)元數(shù)據(jù)而引入的額外網絡延遲開銷，從而進一步降低了端到端的數(shù)據(jù)傳輸延遲，這些相互獨立的存儲節(jié)點之間則通過相應的分布式數(shù)據(jù)存儲管理協(xié)議以協(xié)作實現(xiàn)對虛擬存儲卷的高級數(shù)據(jù)存儲功能。

2.2分布式數(shù)據(jù)存儲管理

如前所述，帶內虛擬存儲系統(tǒng)中的I/O導向器通過重定向應用服務器的讀寫請求在數(shù)據(jù)傳輸通路中實現(xiàn)各種高級數(shù)據(jù)存儲管理語義;而帶外虛擬存儲系統(tǒng)的特點在于元數(shù)據(jù)服務器并不直接參與數(shù)據(jù)的讀寫，為了實現(xiàn)多個存儲節(jié)點之問的協(xié)同工作需要某種分布式數(shù)據(jù)管理機制的支持，MagIEStore系統(tǒng)采用一種存儲空間的動態(tài)影射技術，其基本原理為：為了完成一次i賣寫請求，應用服務器需首先向元數(shù)據(jù)服務器查詢完成該讀寫操作所需的地址影射信息，因此元數(shù)據(jù)服務器雖然不支直接參與讀寫轉發(fā)但實際控制著讀寫操作的進程，在這類帶外虛擬化存儲系統(tǒng)中，數(shù)據(jù)存儲管理功能對存儲節(jié)點是透明的，其優(yōu)點在于實現(xiàn)簡單而代價是增加了每次讀寫操作的延遲，相反，在BW-VSDS系統(tǒng)中，智能化的存儲節(jié)點在本地實現(xiàn)對單個組成邏輯存儲卷的數(shù)據(jù)存儲管理，而多個獨立存儲節(jié)點在元數(shù)據(jù)服務器的統(tǒng)一協(xié)調下協(xié)同工作，從而不僅實現(xiàn)了對復合虛擬存儲卷的數(shù)據(jù)存儲管理，同時保證了存儲數(shù)據(jù)的一致性，目前BW-VSDS系統(tǒng)已實現(xiàn)了對虛擬存儲卷的在線擴容、數(shù)據(jù)版本控制和在線數(shù)據(jù)復制等3種分布式數(shù)據(jù)存儲管理協(xié)議，下面我們主要介紹數(shù)據(jù)版本控制協(xié)議的基本工作原理

數(shù)據(jù)版本控制用以解決虛擬存儲卷快照創(chuàng)建時多個組成邏輯存儲卷的數(shù)據(jù)版本一致性問題。

(1)系統(tǒng)管理員為滿足麻用或系統(tǒng)在線數(shù)據(jù)備份等需求，分別從應用服務器或元數(shù)據(jù)服務器發(fā)起虛擬存儲卷的快照創(chuàng)建請求;

(2)元數(shù)據(jù)服務器在接受該請求后向當前在線共享該虛擬卷的所有應用服務器發(fā)送快照創(chuàng)建命令;

(3)后者依次執(zhí)行對前臺讀寫請求的阻塞和本地緩存的同步;

(4)當所有應用服務器都完成(3)步操作后，元數(shù)據(jù)服務器向相關存儲節(jié)點發(fā)起對組成邏輯存儲卷的本地快照創(chuàng)建命令;(5-7)元數(shù)服務器在所有存儲節(jié)點完成快照創(chuàng)建操作后，通知應用服務器快照操作完成，后者隨即釋放正被阻塞的讀寫請求，由上可知一次虛擬存儲卷的快照創(chuàng)建操作的總用時

3系統(tǒng)實現(xiàn)

如圖5所示，BW-VSDS系統(tǒng)軟件從結構上可劃分為全局虛擬化、本地虛擬化和存儲代理三個子系統(tǒng)，他們分別運行于系統(tǒng)中的三種功能實體：元數(shù)據(jù)服務器、存儲節(jié)點和應用服務器，本節(jié)將依次介紹這三種子系統(tǒng)各自不同的軟件組成和系統(tǒng)功能，以及三者之間的通訊機制。

3.1全局虛擬化子系統(tǒng)

該子系統(tǒng)運行于元數(shù)據(jù)服務器是整個系統(tǒng)的核心樞紐，它一方面將位于后端存儲節(jié)點中離散存儲資源聚合統(tǒng)一管理;另一方面以虛擬存儲卷為單位為前端應用服務器分配所需的存儲資源，它由全局虛擬化引擎、系統(tǒng)管理接口，Web服務器三個模塊構成，其中全局虛擬化引擎實現(xiàn)了系統(tǒng)存儲資源管理機制及多種資源管理策略;系統(tǒng)管理接口將用戶管理員命令轉換為對全局虛擬化引擎的相應操作;Web服務器對外提供功能豐富的系統(tǒng)管理界面以方便管理員在控制臺實施遠程訪問。