微軟DevOps代碼錯致誤刪17生產庫；唯品會宕機事故定責！

　　微軟17生產庫誤刪

　　微軟 Azure DevOps 是一套應用程序生命周期服務，提供了從代碼管理到持續集成、持續交付、測試、監控等一系列功能。然而，就在 5 月 24 日，這個服務在巴西南部區域發生了長達 10 小時的宕機，影響了數千名客戶。事后調查發現，竟然是因為一個簡單的拼寫錯誤，導致了 17 個生產數據庫被誤刪。

　　這個拼寫錯誤出現在一個用于清理數據庫快照的后臺作業中。原本，這個作業是為了幫助 Azure DevOps 工程師偶爾保存生產數據庫的快照，以便調查問題或測試性能改進。但是，在最近的一次代碼升級中，工程師用一個新的 NuGet 包替換了一個已經棄用的包，導致了一個巨大的變更請求。在這個請求中，有一行代碼將刪除 Azure SQL 數據庫的調用換成了刪除托管數據庫的 Azure sql server 的調用。也就是說，本來只想刪除一些舊的快照數據庫，結果卻把整個服務器都刪掉了。

　　這個錯誤并沒有被及時發現，因為它只在特定條件下才會觸發，而 Azure DevOps 的測試并沒有覆蓋這些極端情況。當這個錯誤代碼被部署到巴西南部區域的客戶環境時，就引發了災難性的后果。17 個生產數據庫被刪除后，整個區域的服務無法處理。

　　雖然數據沒有丟失，但恢復過程卻非常復雜和耗時。首先，由于客戶無法自行恢復 Azure SQL Server，必須由 Azure SQL 團隊參與恢復工作。其次，由于數據庫有不同的備份配置，導致恢復數據時出現了不匹配的問題。最后，在數據庫開始恢復上線之后，還出現了一系列網絡服務器和負載均衡器的問題，導致服務無法正常訪問。

　　微軟已經對此次事件進行了深入分析，并采取了各種措施來防止類似問題再次發生。包括修復快照刪除作業中的 bug，增加更多的測試覆蓋范圍，為關鍵資源添加鎖定機制，確保所有數據庫備份使用相同的設置等等。微軟也向所有受此次中斷影響的客戶表示了歉意，并承諾會持續改進服務質量和可靠性。

　　這起事件給我們提供了一個教訓：即使是一個看似微不足道的拼寫錯誤，也可能造成嚴重的后果。因此，在編寫、審查和部署代碼時，我們要格外小心和仔細，并且要有充分的測試和備份機制來應對可能出現的問題。

　　唯品會宕機事故定責

　　6月5日，唯品會發布關于329機房宕機故障處理公告。公告稱，將329機房宕機故常判定為P0級故障，公司決定對此次事件嚴肅處理，對應部門的直接管理者承擔此次事故責任，基礎平臺部負責人予以免職做相應處理。

　　之前我們第一時間報道了微信和唯品會同日生產事故

　　什么情況：微信掛了；唯品會也跟著崩了！

　　據了解，這是在3月29日發生的突發事件，唯品會App崩了當天沖上熱搜，當時唯品會官方回應稱：因系統短時故障，主站“加購”等功能或出現異常。而根據這篇公告信息顯示，此次機房重大故障影響時間持續12個小時，導致公司業績損失超億元，影響客戶達800多萬。

　　知名技術社區qidao123.com專家表示：P0屬于最高級別事故，比如崩潰、頁面無法訪問、主流程不通、主功能未實現，或在影響面上影響很大(即使Bug本身不嚴重)。

　　值得注意的是，此次機房事故影響的不僅唯品會一家，微信、QQ等騰訊旗下社交軟件出現功能異常，包括微信語音對話、朋友圈、微信支付，以及QQ文件傳輸、QQ空間和QQ郵箱在內的多個功能無法使用。事后騰訊也定義為一級事故，對大量相關領導做出了處罰。

　　阿里云爆發史上最嚴重宕機事故，友商們瘋搶客戶...

　　運維無小事

　　你什么想對我們說的呢？

　　歡迎關注我們加入我們的運維技術社區

　　企業服務IT圈：聚焦全球ToB領域：甲方. 廠商. 集成商. 服務商. 渠道. ISV等生態，分享業內干貨，打造中國第一企業服務技術內容社區和社交平臺。我們根據粉絲真實崗位情況，分別設置：創業高管微信群/運維技術專家群/架構師之家/DevOps技術專家匯/ToB企業銷售互助會/ToB廠商市場人俱樂部，并為大家提供技術咨詢,營銷策劃.招聘及工作推薦等服務。宣城數據恢復請大家掃碼或者添加微信：tian1tiant,(備注個人真實職業身份信息邀請不同崗位微信群）。公眾號官方網站：qidao123.com，了解更多，ToB企業服務之家,社交平臺,限時注冊體驗更多服務！