Oracle SSC團隊的數據庫緊急故障救援流程

　　為滿足重大故障的緊急救援需求，SSC提供了如下的專業化、制度化的救援流程：

　　即一旦客戶IT系統出現1級或升級2級嚴重問題，客戶DBA可第一時間撥打Oracle公司專門為SSC客戶提供的7*24小時的值班電話，當SSC值班工程師接到救援電話之后，會馬上聽取客戶的情況介紹，并判斷問題的嚴重程度和影響范圍。根據客戶需求和問題情況，SSC可確定是否可以通過電話或VPN登錄方式，進行遠程解決 。同時，客戶也可撥通服務實施經理（SDM）電話。SDM可與SSC工程師溝通故障情況，并根據客戶需求確定是否需要安排工程師去現場。如果的確問題非常嚴重、難以遠程解決， SDM會果斷決定派出客戶當地城市或最近城市的工程師，同時深圳的SSC團隊也會考慮派出工程師趕赴現場。當工程師到達客戶現場后，會立即與客戶運維團隊、應用開發商、 硬件等其它廠商進行會商，并根據問題癥狀分析出問題原因所在，最終提供問題解決方案并加以實施。在故障徹底解決并驗證之后，將提交故障處理分析報告。

　　以下就是Oracle最近在某移動公司出現重大故障時的響應速度：

　　時間點操作內容… …… …10月30日 21:58在節點2出現ORA-600 [qertbFetchByRowID]告警，緊接著節點1也出現ORA-600 [kclchkblk_3]告警10月30日 22:00業務方面反映20多張表不能插入10月30日 23:04重啟數據庫后，數據庫還是出現ORA-600 [kdsgrp1]告警10月31日 2:10SSC值班接到保障電話，開始對問題進行分析10月31日 3:00SSC工程師遠程登陸數據庫，對有問題的表的索引進行分析及重建，發現相關索引在重啟后恢復正常。10月31日 6:00發現大部分表恢復正常訪問，業務基本恢復，但后臺持續有報錯。10月31日 6:06容災庫嘗試啟動但報錯ora-01172無法啟動10月31日 6：45華東區工程師從杭州出發趕往現場支持10月31日 7：00SSC工程師從深圳出發趕往現場支持，10月31日20:00現場多次checkpoint后，斷開同步后，容災庫正常啟動成功… …… …

　　可見當該移動客戶在10月31日21：58分發現Oracle出現故障之后，剛開始通過自身DBA和第三方運維公司技術人員進行自救。但23：04采取重啟數據庫之后，數據庫還是出現相關錯誤，不得已在凌晨2：10撥打了SSC值班電話， SSC一方面通過電話進行問題分析，另一方面在解決了遠程登陸問題之后，于3：00登陸至客戶系統進行分析，并采取了針對性的救援措施，緩解了部分問題。但仍然沒有徹底解決問題，于是，Oracle果斷決定派出工程師，本地工程師6：45從杭州開始趕頭班高鐵趕赴現場，深圳的SSC工程師趕7：00的頭個航班飛赴現場。這就是SSC服務包為客戶提供的最高級別響應速度和服務級別了！浦東數據恢復

　　而且，就是為了解決該客戶的此次重大故障，盡管最終原因是硬件廠商的磁盤鏡像技術導致的數據損壞， Oracle其實是受害者，但Oracle不惜血本，從本地到遠程，從國內到國外，Oracle投入了120多人天，而且還沒有包括管理層、銷售層面的大量投入。最終不僅是Oracle公司發現了問題根源，并有效解決了該問題，以及延伸的其它問題，而且在未來如何根治該類問題，從IT系統高可用性架構、容災建設等方面給予了客戶更廣泛和深遠的建議。

　　這就是SSC緊急救援和主動服務相結合給客戶帶來的價值和回報！

　　A類和B類的緊急故障救援

　　SSC服務包是以系統套數進行計價的，但服務的系統又區分為A類和B類。故障緊急救援方面，針對A類系統的服務項目如下：

　　1級SR和升級2級SR故障7×24緊急救援

　　1級SR恢復階段的7*24跟進與分析

　　1級SR和升級2級SR的問題的根源分析跟進（5*8跟蹤）

　　問題的管理與跟蹤（報到SSC平臺的1級和升級2級問題）

　　同時，故障處理由Oracle資深專職組工程師負責，針對1級故障（SR1）一天兩次的主動通知，2級故障（SR2）每周匯報。根據oracle全球支持策略，1級故障為7*24跟蹤，1級以下故障為5*8跟蹤。 1級故障當系統恢復正常后， 降級為2級故障進行根本原因定位分析。

　　針對B類系統的服務則是：僅對1級SR故障進行系統救援支持，系統恢復服務后，工程師離場并不再提供任何問題的持續跟進和原因分析。

　　總之，A類系統的故障救援服務更為全面，既救命又治病，而B類系統則只救命，并不負責根治所有疾病。當然，A類系統的服務價格更昂貴。

　　如果客戶系統很多，又都需要緊急故障救援服務，如何在價格和服務價格之間進行平衡？建議就是將需要保障的系統都納入SSC服務范疇，但在A類和B類之間進行平衡，畢竟B類服務價格相對A類便宜很多。

　　詩檀軟件

　　詩檀軟件緊急響應服務支援覆蓋中國本土地區，提供7*24小時漢語技術支持，涵蓋Oracle數據庫產品：ORACLE Database/ASM和MYSQL。

　　服務包括但不限于：

　　針對無法打開的ORACLE數據庫，實施特殊的手工修復

　　基于PRM-DUL專業oracle數據庫恢復工具恢復問題數據庫中的數據

　　修復數據庫中的壞塊

　　解決關鍵的ORA-00600(600錯誤)問題

　　實施ORACLE數據庫的崩潰恢復/修復

　　解決關鍵的ORACLE數據庫性能問題，解除性能瓶頸

　　針對ORACLE的致命BUG提供解決方案

　　實施ORACLE補丁安裝

　　協助解決緊急的ORACLE硬件產品故障

　　當你遇到如下恢復需求時，都可以找我們恢復：

　　意外DROP了表：請第一時間關閉應用和數據庫實例，并對所有數據文件做一個備份。

　　意外DROP了column字段

　　意外truncate了表：與drop表類似

　　意外drop tablespace: 不管是drop tablespace帶了including contents 還是including datafiles，都有機會恢復

　　丟失了system表空間數據文件：可以基于用戶數據表空間盡可能恢復數據

無錫數據恢復

　　只剩下部分數據文件： 與丟失了system表空間類似，只要你要的數據在對應數據文件里，我們就能挖掘出來

　　Oracle數據字典或啟動自舉對象bootstrap objects存在問題

　　數據庫只剩下部分備份文件，而且這些備份文件可能丟失歸檔日志archivelog、丟失增量備份，所以這些備份也是不一致的。

　　ASM diskgroup disk header/metadata存在損壞，導致ASM diskgroup 無法成功mount

　　數據島IT學院

　　http://www.dbdao.com 數據島IT學院是詩檀軟件旗下的IT教育品牌，提供 視頻、題庫、在線學習SQL/NOSQL模擬平臺。引導式IT在線教育，關注大數據科學。

陸家嘴數據恢復