南京服務(wù)器數(shù)據(jù)恢復(fù)，某品牌MSA SAN存儲數(shù)據(jù)恢復(fù)案例

　　服務(wù)器數(shù)據(jù)恢復(fù)環(huán)境：

　　某品牌MSA SAN Storage存儲；

　　共8塊SAS硬盤：7塊硬盤組成RAID5，1塊熱備盤；

　　基于RAID5的LUN有6個，均分配給HP-Unix小機使用，上層做的LVM邏輯卷，重要數(shù)據(jù)為Oracle數(shù)據(jù)庫及OA服務(wù)端。

　　服務(wù)器故障：

　　RAID5有2塊硬盤損壞，只有一塊熱備盤激活，RAID5癱瘓，上層LUN無法使用。蘇州數(shù)據(jù)恢復(fù)服務(wù)器管理員聯(lián)系我們數(shù)據(jù)恢復(fù)中心進行數(shù)據(jù)恢復(fù)。

　　服務(wù)器數(shù)據(jù)恢復(fù)過程：

　　1、南京服務(wù)器數(shù)據(jù)恢復(fù)工程師收到硬盤以后檢測所有硬盤沒有發(fā)現(xiàn)物理故障，使用硬盤壞道檢測工具檢測也沒有發(fā)現(xiàn)壞道。

　　2、備份數(shù)據(jù)。使用工具將所有硬盤都鏡像成文件。

　　南京數(shù)據(jù)恢復(fù)——SAN存儲數(shù)據(jù)恢復(fù)

　　3、故障分析：

　　由于硬盤沒有發(fā)現(xiàn)壞道和其他物理故障，服務(wù)器數(shù)據(jù)恢復(fù)工程師初步判斷RAID故障的原因是某些磁盤讀寫不穩(wěn)定。因為該型號存儲控制器的磁盤檢測策略嚴格，會把性能不穩(wěn)定磁盤認定為壞盤并踢出RAID組。一旦掉線的盤超過該RAID允許掉盤的極限，該RAID將不可用，上層基于RAID的LUN也會不可用。

　　4、分析RAID結(jié)構(gòu)：

　　該存儲的LUN都是基于RAID的，因此需要先分析底層RAID信息，然后根據(jù)分析獲取到的信息重構(gòu)原始RAID。服務(wù)器數(shù)據(jù)恢復(fù)工程師經(jīng)過分析發(fā)現(xiàn)4號盤的數(shù)據(jù)同其他盤不太一樣，初步判斷該盤是hot Spare盤。接著分析其他盤，分析Oracle數(shù)據(jù)庫頁在每個磁盤中分布的情況，并根據(jù)數(shù)據(jù)分布的情況分析出RAID條帶大小、磁盤順序、數(shù)據(jù)走向等RAID信息。

　　5、分析RAID掉線盤：

　　根據(jù)分析獲取到的RAID信息使用兆柏自主開發(fā)的RAID虛擬程序?qū)⒃嫉腞AID虛擬重構(gòu)。但由于該RAID一共掉線兩塊盤，因此需要分析這兩塊硬盤掉線的順序。服務(wù)器數(shù)據(jù)恢復(fù)工程師分析每一塊硬盤中的數(shù)據(jù)后發(fā)現(xiàn)有一塊硬盤在同一個條帶上的數(shù)據(jù)和其他硬盤明顯不一樣，初步判斷此盤是最先掉線的。通過兆柏自主開發(fā)的RAID校驗程序?qū)@個條帶做校驗，最終確定最先掉線的硬盤了。

　　6、分析RAID中的LUN信息：

　　由于LUN是基于RAID的，將RAID虛擬重構(gòu)出來以后分析LUN在RAID中的分配情況和LUN分配的數(shù)據(jù)塊MAP。只需要將每一個LUN的數(shù)據(jù)塊分布MAP提取出來，然后針對這些信息編寫相應(yīng)的程序?qū)λ蠰UN的數(shù)據(jù)MAP做解析，然后根據(jù)數(shù)據(jù)MAP導(dǎo)出所有LUN的數(shù)據(jù)即可。

　　兆柏數(shù)據(jù)恢復(fù)——SAN存儲數(shù)據(jù)恢復(fù)

　　7、解析LVM邏輯卷：

　　對導(dǎo)出來的LUN數(shù)據(jù)做分析發(fā)現(xiàn)所有LUN中均包含HP-Unix的LVM邏輯卷信息。通過解析每個LUN中的LVM信息發(fā)現(xiàn)一共有三個LVM，一個LVM中劃分了一個LV，存放OA服務(wù)器端的數(shù)據(jù)；另外一個LVM中劃分了一個LV，存放臨時備份數(shù)據(jù)；剩余4個LUN組成一個LVM，劃分了一個LV，存放Oracle數(shù)據(jù)庫文件。兆柏服務(wù)器數(shù)據(jù)恢復(fù)工程師編寫LVM解釋程序?qū)⒚總€LVM中的LV卷解釋出來，但解釋程序出錯。

　　8、修復(fù)LVM邏輯卷：

　　分析程序報錯的原因，開發(fā)工程師debug程序出錯的位置。文件系統(tǒng)工程師對恢復(fù)出來的LUN做檢測，檢測存儲癱瘓是否會導(dǎo)致LMV邏輯卷的信息損壞。經(jīng)過檢測發(fā)現(xiàn)存儲癱瘓確實導(dǎo)致LVM信息損壞。人工對損壞的區(qū)域進行修復(fù)，并同步修改程序，重新解析LVM邏輯卷。

　　9、解析VXFS文件系統(tǒng)：

　　搭建HP-Unix環(huán)境，將解釋出來的LV卷映射到HP-Unix，并嘗試Mount文件系統(tǒng)。結(jié)果Mount文件系統(tǒng)出錯，嘗試使用“fsck –F vxfs” 命令修復(fù)vxfs文件系統(tǒng)，但修復(fù)后還是不能掛載。分析可能是底層vxfs文件系統(tǒng)的部分元數(shù)據(jù)可能被破壞，需要進行手工修復(fù)。

　　10、修復(fù)VXFS文件系統(tǒng)：

　　服務(wù)器數(shù)據(jù)恢復(fù)工程師對解析出來的LV進行分析，根據(jù)VXFS文件系統(tǒng)的底層結(jié)構(gòu)校驗此文件系統(tǒng)是否完整。經(jīng)過分析發(fā)現(xiàn)底層VXFS文件系統(tǒng)有問題，存儲癱瘓的同時文件系統(tǒng)正在執(zhí)行IO操作，部分文件系統(tǒng)元文件損壞。手工修復(fù)這些損壞的元文件保證VXFS文件系統(tǒng)能夠正常解析。將修復(fù)好的LV卷掛載到HP-Unix小機上嘗試Mount文件系統(tǒng)，文件系統(tǒng)沒有報錯，成功掛載。

　　兆柏數(shù)據(jù)恢復(fù)——SAN存儲數(shù)據(jù)恢復(fù)

　　11、恢復(fù)所有用戶文件：

　　在HP-Unix機器上mount文件系統(tǒng)后將所有數(shù)據(jù)均備份至指定磁盤空間。

　　12、檢測數(shù)據(jù)庫文件是否完整：

　　使用Oracle數(shù)據(jù)庫文件檢測工具檢測每個數(shù)據(jù)庫文件是否完整，沒有發(fā)現(xiàn)錯誤。使用兆柏自主研發(fā)的Oracle數(shù)據(jù)庫檢測工具檢測，發(fā)現(xiàn)有部分數(shù)據(jù)庫文件和日志文件校驗不一致，安排數(shù)據(jù)庫工程師對此類文件進行修復(fù)并再次校驗，直到所有文件通過校驗。

　　13、啟動Oracle數(shù)據(jù)庫：

　　將恢復(fù)出來的Oracle數(shù)據(jù)庫附加到原始生產(chǎn)環(huán)境的HP-Unix服務(wù)器中嘗試啟動Oracle數(shù)據(jù)庫，Oracle數(shù)據(jù)庫啟動成功。

　　數(shù)據(jù)驗證：