國慶節(jié)生產(chǎn)數(shù)據(jù)庫存儲(chǔ)bug，導(dǎo)致數(shù)據(jù)全丟失，心態(tài)炸裂

　　本以為今年這個(gè)國慶節(jié)可以好好放松一下，結(jié)果在2號(hào)的時(shí)候，就被狠狠的打臉了，睡的正香的時(shí)候，收到一堆告警，趕緊拿起手機(jī)看看，告警的關(guān)鍵信息這里就去掉了。

　　看到數(shù)據(jù)庫進(jìn)程都沒有了，頓時(shí)睡意全無，打開電腦看看，什么情況。在這里先看看發(fā)生故障的db2數(shù)據(jù)庫高可用架構(gòu)。

　　登錄到發(fā)生故障的數(shù)據(jù)庫服務(wù)器，先用ps -ef|grep -i db2sys命令，檢查數(shù)據(jù)庫進(jìn)程，進(jìn)程沒有，于是用df -h看看文件系統(tǒng)，結(jié)果顯示，從共享存儲(chǔ)掛載的文件系統(tǒng)目錄全部消失。

　　于是猜想是不是切換到備庫了，于是登錄到備數(shù)據(jù)庫服務(wù)器，同樣使用ps -ef|grep -i db2sys命令，檢查數(shù)據(jù)庫進(jìn)程，結(jié)果無進(jìn)程。df -h的結(jié)果也是一樣，看來RHCS并沒有將數(shù)據(jù)庫切換到備服務(wù)器。這個(gè)時(shí)候基本可以斷定，肯定是存儲(chǔ)出現(xiàn)問題了。

　　這個(gè)時(shí)候趕緊聯(lián)系系統(tǒng)組同事，看看存儲(chǔ)是否正常。系統(tǒng)組同事不久之后反饋，存儲(chǔ)上有4塊SSD丟失，導(dǎo)致服務(wù)器識(shí)別不了共享存儲(chǔ)，并且說短時(shí)間內(nèi)無法修復(fù)此問題。

　　怎么辦，趕緊想辦法恢復(fù)業(yè)務(wù)。想用存儲(chǔ)上的數(shù)據(jù)來啟動(dòng)數(shù)據(jù)庫是不可能了，還好在上個(gè)季度，搭建了一套災(zāi)備庫，與應(yīng)用開發(fā)溝通之后，將業(yè)務(wù)切換到災(zāi)備庫，其架構(gòu)如下所示

　　要是沒有這個(gè)災(zāi)備庫，這個(gè)雷就真的炸了，不僅這個(gè)十一假期泡湯，后續(xù)的事情，我就不多說了，你們懂的。

　　后來找DEll廠商排查，給出的答復(fù)是，dell powervault存儲(chǔ)上有4塊SSD盤的微碼版本過低，觸發(fā)了存儲(chǔ)開機(jī)使用4W小時(shí)，存儲(chǔ)就無法識(shí)別SSD盤，在這里真的想開罵了，還有比這更扯淡的嗎。