國慶節生產數據庫存儲bug，導致數據全丟失，心態炸裂

　　本以為今年這個國慶節可以好好放松一下，結果在2號的時候，就被狠狠的打臉了，睡的正香的時候，收到一堆告警，趕緊拿起手機看看，告警的關鍵信息這里就去掉了。

　　看到數據庫進程都沒有了，頓時睡意全無，打開電腦看看，什么情況。在這里先看看發生故障的db2數據庫高可用架構。

　　登錄到發生故障的數據庫服務器，先用ps -ef|grep -i db2sys命令，檢查數據庫進程，進程沒有，于是用df -h看看文件系統，結果顯示，從共享存儲掛載的文件系統目錄全部消失。

　　于是猜想是不是切換到備庫了，于是登錄到備數據庫服務器，同樣使用ps -ef|grep -i db2sys命令，檢查數據庫進程，結果無進程。df -h的結果也是一樣，看來RHCS并沒有將數據庫切換到備服務器。這個時候基本可以斷定，肯定是存儲出現問題了。

　　這個時候趕緊聯系系統組同事，看看存儲是否正常。系統組同事不久之后反饋，存儲上有4塊SSD丟失，導致服務器識別不了共享存儲，并且說短時間內無法修復此問題。

　　怎么辦，趕緊想辦法恢復業務。想用存儲上的數據來啟動數據庫是不可能了，還好在上個季度，搭建了一套災備庫，與應用開發溝通之后，將業務切換到災備庫，其架構如下所示

　　要是沒有這個災備庫，這個雷就真的炸了，不僅這個十一假期泡湯，后續的事情，我就不多說了，你們懂的。

　　后來找DEll廠商排查，給出的答復是，dell powervault存儲上有4塊SSD盤的微碼版本過低，觸發了存儲開機使用4W小時，存儲就無法識別SSD盤，在這里真的想開罵了，還有比這更扯淡的嗎。