大規(guī)模存儲系統(tǒng)可靠性參數(shù)最優(yōu)化分析
摘 要：在大規(guī)模的存儲系統(tǒng)中，數(shù)據(jù)的可靠性變得越來越重要，過往的研究大多數(shù)都是在已知的系統(tǒng)規(guī)模下，分析基本的系統(tǒng)參數(shù)，但較少考慮它們的最優(yōu)組合。本文將簡要分析大規(guī)模存儲系統(tǒng)的可靠模型下，各個系統(tǒng)參數(shù)的最優(yōu)值及它們組合在一起的最優(yōu)值，促進(jìn)更可靠的大規(guī)模存儲系統(tǒng)的發(fā)展。
關(guān)鍵詞：大規(guī)模存儲系統(tǒng) 最優(yōu)值 可靠性參數(shù)
當(dāng)前，很多依托大規(guī)模存儲技術(shù)的實(shí)際應(yīng)用已經(jīng)出現(xiàn)在互聯(lián)網(wǎng)搜索、電信通訊、科學(xué)實(shí)驗(yàn)等領(lǐng)域之中。在大規(guī)模存儲技術(shù)的實(shí)際運(yùn)用中，許多研究都在關(guān)注數(shù)據(jù)的可靠性問題。為了克服應(yīng)用中的局限，就要針對實(shí)際需求和相關(guān)參數(shù)來構(gòu)建可靠的存儲系統(tǒng)，這對于存儲系統(tǒng)的實(shí)際應(yīng)用有重要意義。
一、大規(guī)模存儲系統(tǒng)可靠性參數(shù)概況
大規(guī)模的存儲系統(tǒng)一般都是由相應(yīng)的存儲節(jié)點(diǎn)的集群構(gòu)成，其中每一個存儲節(jié)點(diǎn)都相應(yīng)配備有內(nèi)存、CPU及磁盤，其中較為有代表性的系統(tǒng)主要是NASD、FAB及GFS等。大規(guī)模存儲系統(tǒng)應(yīng)用與實(shí)際的一個主要趨勢是很多應(yīng)用都需要存儲WORM數(shù)據(jù)，即Write Once Read Many類型數(shù)據(jù)，也被稱作“寫一次讀多次”數(shù)據(jù)。磁盤寬帶自身的增長速度要遠(yuǎn)遠(yuǎn)低于磁盤本身空間的增長速度，因此大規(guī)模存儲系統(tǒng)一般具有很高的故障率，需要較長的時間才可以恢復(fù)，這就需要為WORM數(shù)據(jù)建構(gòu)可靠的大規(guī)模存儲系統(tǒng)。
當(dāng)前關(guān)于數(shù)據(jù)可靠性的研究顯示，復(fù)制冗余機(jī)制是一種被廣泛應(yīng)用的防止數(shù)據(jù)丟失的有效技術(shù)，在實(shí)際操作系統(tǒng)中，操作人員在其中部署了多樣的副本分布策略，比如在RAID中的PTN、在GFS中的RANDOM。操作人員對這幾種主要策略進(jìn)行分析，研究它們對系統(tǒng)可靠性的影響，在具體的研究分析中，假設(shè)有n個不同的對象，把這些對象都存儲于N個節(jié)點(diǎn)上，每一個對象都有K個副本，每一種副本的放置用來表示存儲節(jié)點(diǎn)和副本之間的關(guān)系。第一種策略是PTN，它將所有的對象副本進(jìn)行分組，再將每一組放置在K個節(jié)點(diǎn)上，PTN主要應(yīng)用于Coda及RAID;第二種策略是RANDOM，它將所有副本隨機(jī)分散到各個節(jié)點(diǎn)上，主要應(yīng)用于GFS、RIO、FARSITE等;還有一種策略是Q-rot，它將所有的存儲節(jié)點(diǎn)分成了K個站點(diǎn)，每一個站點(diǎn)都是其他對應(yīng)站點(diǎn)的副本。存儲系統(tǒng)的設(shè)計(jì)者在根據(jù)需求確定了系統(tǒng)的規(guī)模以后，往往難以確定其他相關(guān)的系統(tǒng)參數(shù)，這樣就會給構(gòu)建可靠安全的系統(tǒng)帶來一系列問題。因此，將相應(yīng)的可靠性參數(shù)進(jìn)行優(yōu)化分析是必要的。
表1：主要系統(tǒng)參數(shù)表
參數(shù) 定義 默認(rèn)值
N 總節(jié)點(diǎn)數(shù) 變量
B 網(wǎng)絡(luò)帶寬 變量
m 單個節(jié)點(diǎn)的存儲評價對象個數(shù) 變量
b 單個節(jié)點(diǎn)上IO帶寬 變量
K 每個對象的副本數(shù) 3
S 數(shù)據(jù)總量 1PB
s 單個對象的平均大小 S/(N×m)
n 不同對象的總數(shù) N×m/K
ni 獨(dú)立對象數(shù)目 N/K
二、大規(guī)模存儲系統(tǒng)可靠性參數(shù)的最優(yōu)化分析
2.1 數(shù)據(jù)可靠性的概念
數(shù)據(jù)可靠性一般指丟失的第一個存儲對象的前一個存儲系統(tǒng)可以提供相應(yīng)服務(wù)的時間。存儲對象的可靠性是單個對象的所有副本集體丟失的平均用時，一般用MTTDL0來表示，MTTDL0主要受對象的恢復(fù)速度和對象的自身故障率的影響。這里面，對象恢復(fù)速度受對象自身的平均大小影響，對象故障率受磁盤故障率的影響。
2.2 Markov可靠性模型
Markov可靠性模型也被稱作馬爾可夫模型，可以綜合分析系統(tǒng)的可恢復(fù)性及其脆弱性，在可靠性分析方面具有很強(qiáng)的功效性，這種模型可以很好地描述對象副本的運(yùn)行故障及具體恢復(fù)過程。Markov可靠性模型替換掉了以前模型中的故障節(jié)點(diǎn)方面的細(xì)節(jié)，著重研究的是在假設(shè)的平均故障節(jié)點(diǎn)數(shù)的時候，對象的相關(guān)恢復(fù)情況。
2.3 進(jìn)行可靠性參數(shù)最優(yōu)化分析的相關(guān)工作
在大規(guī)模的存儲系統(tǒng)中，數(shù)據(jù)的可靠性是無法被忽視的一個重要問題。在存儲規(guī)模達(dá)到更大的時候，系統(tǒng)的故障率就會增高，相應(yīng)的恢復(fù)速度就成為了一個關(guān)鍵因素，如何在RAID的基礎(chǔ)上，提高數(shù)據(jù)的可靠性，成為了研究人員的工作重點(diǎn)。下面簡單介紹幾種參數(shù)最優(yōu)化分析的相關(guān)工作。
第一，研究怎樣在RAID之間和RAID內(nèi)部實(shí)現(xiàn)良好的分布式恢復(fù)，但很少關(guān)注分布的策略對于恢復(fù)速度的具體影響。有的研究分析了在運(yùn)行的副本系統(tǒng)中單個對象自身的可靠性，但沒有考慮到恢復(fù)帶寬的因素。
第二，有的研究指出了分布策略，還利用了用于節(jié)點(diǎn)恢復(fù)的馬爾可夫模型，對影響系統(tǒng)可用性的具體因素進(jìn)行了分析，主要分析的是具體的訪問模式和讀寫模式如何對系統(tǒng)產(chǎn)生影響。
第三，還有很多相關(guān)研究是關(guān)于大規(guī)模存儲系統(tǒng)的可用性，而不是可靠性。比如研究廣域網(wǎng)中不同的副本在分布策略方面的多對象可用性;利用動態(tài)副本的分布策略來提高系統(tǒng)整體可用性;隨機(jī)分布策略對分布式的存儲系統(tǒng)可用性的影響和作用等。
要想系統(tǒng)分析可靠性參數(shù)的最優(yōu)化，要在兩個方面進(jìn)行突破。第一，提出一個全新的基于研究對象本身的馬爾可夫模型，基于馬爾可夫模型量化分析在系統(tǒng)的規(guī)模已知的具體情況下，三個最常用的副本放置策略當(dāng)中，系統(tǒng)參數(shù)對于可靠性的影響。這些系統(tǒng)參數(shù)主要有對象總數(shù)、存儲節(jié)點(diǎn)總數(shù)，磁盤的帶寬等，相比于過去很復(fù)雜的模型，馬爾可夫模型規(guī)模較小、簡潔直觀，以自身小規(guī)模的狀態(tài)來進(jìn)行矩陣轉(zhuǎn)換，易于求解。此外，還便于研究者獲得綜合性很強(qiáng)的結(jié)果。第二，在研究過程中，提出一個“兩階段”的分析過程。其中，第一階段以固定其他相應(yīng)參數(shù)為前提，對各個參數(shù)的影響進(jìn)行獨(dú)立分析，找出相對來說最為精確的最優(yōu)值。第二階段在所有的參數(shù)都可以進(jìn)行變化的前提條件下，通過對它們復(fù)雜綜合的影響進(jìn)行分析，進(jìn)而得到參數(shù)的最優(yōu)組合。
三、結(jié)語
大規(guī)模的存儲系統(tǒng)在運(yùn)行中會面臨很多的問題和挑戰(zhàn)，想要讓數(shù)據(jù)更加的可靠和精確，就要注意分析相應(yīng)的可靠性參數(shù)，對其進(jìn)行有效的整合和優(yōu)化。這樣，才能讓系統(tǒng)運(yùn)行的更有效率，最大程度的發(fā)揮自身的功效和作用。
參考文獻(xiàn)：
[1]章宏?duì)N，薛巍.集群RAID5存儲系統(tǒng)可靠性分析[J].計(jì)算機(jī)研究與發(fā)展，2010(04).
[2]鄭勝，李通.一種應(yīng)用于大規(guī)模存儲系統(tǒng)的數(shù)據(jù)分布算法[J].計(jì)算機(jī)科學(xué)，2013(S2).