一種Oracle多通道并行備份及恢復方法

【技術領域】

[0001]本發明涉及結構化數據保護領域，尤其是涉及一種Oracle多通道并行備份及恢復方法。

【背景技術】

[0002]根據最具權威的IT研究與顧問咨詢公司Gartner公司公布的2012年全球關系型數據庫市場調查報告，以軟件總收入計算，Oracle以48.3%繼續占據著第一的位置，且收入份額大于四個最接近的競爭對手的總和。由此可看出作為數據庫之王的Oracle在全球的用戶是最多的。當前就我國很多行業部署的數據庫也是Oracle，隨著信息技術在我國的高速發展且使用時間越來越長，用戶的Oracle數據庫數據量越來越大，像公安廳的戶口系統、鐵道部門的訂票系統等一個庫通常達到幾十TB的數據量。

[0003]傳統的Oracle異機備份恢復或磁帶備份恢復是單通道串行的。也就是開啟一個RMAN備份恢復channel，一個Oracle進程備份時讀取數據、恢復時寫入數據，然后再發送給備份軟件。當后端數據庫存儲性能非常強勁的情況下，不能充分地利用高性能的存儲10PS，效率較低，備份恢復所消耗的時間非常長，特別是當用戶Oracle數據庫損壞的情況下不能快速及時的恢復，數據保護效果不佳。

[0004]傳統的串行備份在數據量不大的情況下，我們可以采用提升傳輸速度和存儲的讀寫性能來提升備份性能，但是當數據呈指數增長的時候，很顯然備份時間的增長指數和數據量的增長指數是一致的，那么就無法實現高可靠性的數據保護，當數據達到TB級別時，傳統的備份時間將超越24小時，意思是如果數據出現問題，我們即無法保證在此之前24小時數據的完整性，也無法保證數據在24小時內完整的恢復出來。

【發明內容】

[0005]本發明的目的就是為了克服上述現有技術存在的缺陷而提供一種Oracle多通道并行備份及恢復方法，極大地提升備份恢復效率，能大幅度縮小備份窗口、災難發生時縮短恢復時間。

[0006]本發明的目的可以通過以下技術方案來實現:

[0007]—種Oracle多通道并行備份oracle修復方法，包括如下步驟:

[0008]al)介質管理庫創建多個用于發送Oracle數據塊的通道；

[0009]a2)備份軟件客戶端開啟多個線程和各通道配對連接；

[0010]a3)介質管理庫獲取一 Oracle的備份片，該備份片中的各數據塊分別通過一通道發送給備份軟件客戶端；

[0011]a4)備份軟件客戶端通過相應的線程接收數據塊，并轉發至備份服務器中；

[0012]a5)當前備份片中所有的數據塊發送完畢之后，再進行下一個備份片的數據塊發送；

[0013]a6)所有的備份片都發送完成之后，釋放通道的連接。

[0014]所述通道與線程的數量相同。

[0015]所述配對連接具體通過通道名稱與線程的PID進行配對，并記錄配對狀態。

[0016]—種Oracle多通道并行恢復方法，包括如下步驟:

[0017]bl)介質管理庫創建多個用于發送Oracle數據塊的通道；

[0018]b2)備份軟件客戶端開啟多個線程和各通道配對連接；

[0019]b3)介質管理庫發送需要恢復的備份片信息到備份軟件客戶端；

[0020]b4)備份軟件客戶端多個線程將存儲于備份服務器內的相應備份片的數據塊發送到對應的通道中；

[0021]b5)介質管理庫將接收到的數據塊組合；

[0022]b6)當前備份片中所有的數據塊恢復完畢之后，再進行下一個備份片的恢復；

[0023]b7)所有的備份片都恢復完成之后，釋放通道的連接。

[0024]所述通道與線程的數量相同。

[0025]所述配對連接具體通過通道名稱與線程的PID進行配對，并記錄配對狀態。

[0026]與現有技術相比，本發明具有以下優點:

[0027]I)本發明在備份恢復時開辟多個RMAN channel (通道)，并產生和channel數相同的Oracle備份恢復進程，對整庫的數據文件進行拆分，分別去讀取、寫入部分數據文件，并發執行，能充分地利用高讀寫性能的存儲，提升單位時間內的數據吞吐量，解決大數據Oracle數據庫的數據保護難題。

[0028]2)本發明充分利用了日益強大的硬件資源，多路并發，無論是在數據的備份上，還是在數據的恢復上，都具有很強的競爭力，在實現了傳統備份的功能的基礎上，大大縮短了數據的備份時間，相應的縮短了數據的保護周期。如果出現災難性事故，那么丟失的數據將更少。

【附圖說明】

[0029]圖1為Oracle多通道并行備份恢復系統的拓撲圖；

[0030]圖2為Oracle與備份客戶端的配對連接圖；

[0031]圖3為備份過程數據流程走向圖；

[0032]圖4為恢復過程數據流程走向圖。

【具體實施方式】

[0033]下面結合附圖和具體實施例對本發明進行詳細說明。本實施例以本發明技術方案為前提進行實施，給出了詳細的實施方式和具體的操作過程，但本發明的保護范圍不限于下述的實施例。

[0034]通過使用介質管理器，RMAN (Recovery Manager)將數據備份到磁帶上或者遠程存儲上(以下統稱為遠程存儲)。介質管理器(Media Manager)由第三方軟件商提供，它將數據塊中的數據流從RMAN通道進程傳遞到相應的磁帶中。兆柏數據恢復公司

[0035]計算機系統必需安裝了介質管理(MM)客戶端才能使用介質管理器。介質管理的客戶端可以連接介質管理服務器，并通過網絡傳送數據。還必須為介質管理器安裝Oracle模塊，Oracle模塊(Oracle Moudle)是一個用于Oracle RDBMS的軟件插件，它可以連接RMAN與客戶端介質管理軟，后者可以把數據傳送到MM服務器。Oracle用于備份恢復的插件名稱是介質管理庫(MEDIA MANAGEMENT LIBRARY簡寫MML)。

[0036]本發明通過配置多個channel (通道)來并行讀取數據庫的數據，生成固定大小的數據塊，然后并行發送數據塊到備份軟件客戶端，備份軟件客戶端會對應的產生線程來接收對應的channel發送過來的數據塊，然后將數據塊發送到遠程存儲上，通過并行的數據傳輸來提升數據的傳輸效率，有效地縮短Oracle大數據背景下的數據備份和恢復時間。本發明采用的Oracle多通道并行備份恢復系統的拓撲圖如圖1所示。

[0037]本發明的技術實現難點在于:

[0038]1、多線程的數據收發和組裝。備份軟件客戶端需要開啟多個線程和channel進行配對，然后收發消息和數據。

[0039]2、0racle多個備份恢復進程與備份軟件客戶端多個收發數據線程間的配對通信。實現Oracle多個備份恢復進程間的消息數據傳輸，首先必須解決進程間的配對問題及重連問題，如果配對或者重連錯誤，就會導致數據錯亂。配對連接具體通過通道名稱與線程的PID進行配對，并記錄配對狀態。具體的配對連接方法如圖2所示:

[0040]I)控制臺發起任務，客戶端調用調度管理模塊讀取初始化連接記錄文件。

[0041]2)若記錄不存在，那么直接寫入新的三元組，若記錄存在，則讀取此三元組，并檢測記錄是否超時。三元組包括線程的PID、通道名稱和創建時間信息。

[0042]3)若超時，那么清空后寫入新的三元組信息，若沒有超時，那么根據設置的等待時間進入等待狀態，并實時檢測記錄的狀態。若被清空或者記錄超時，那么寫入新的三元組信息，否則，等待時間結束后，返回連接失敗。一般設置超時時間小于或等于等待時間可以有效的控制返回連接失敗的概率。

[0043]4)更新初始化連接記錄文件成功后，客戶端使用腳本調度oracle的rman發送對應的實例的數據，同時oracle調用它對外開放且由我們實現的API接口。

[0044]5)接口中調用調度管理模塊，讀取已配對連接記錄文件中的三元組信息，查詢自己的PID對應的三元組信息是否存在。

[0045]6)若存在，那么是之前已連接過得記錄，那么直接連接三元組中記錄的管道，發送數據給客戶端的數據處理模塊。

[0046]7)若不存在，那么讀取初始化連接記錄文件，讀取三元組信息，判斷信息是否超時，若超時，連接失敗，否則連接對應的管道。

[0047]8)將客戶端進程PID，管道名稱，oracle數據發送進程PID組成新的三元組，追加到已配對連接記錄文件中。

[0048]9)清空初始化連接記錄文件，等待下一個連接的發起。

[0049]10) Oracle發送數據到客戶端，通過不同的消息ID，完成不同數據的發送，例如首先發送數據文件，將數據文件記錄到對應的備份片中，數據文件單獨形成一個備份集。然后消息通知數據文件發送完成，將開始先一個數據源的發送，如此循環。

[0050]11)數據發送完畢，發送消息通知客戶端數據發送結束，然后斷開連接。

[0051]12)客戶端接到消息后釋放管道資源，然后調用調度管理模塊清除已配對連接記錄文件中對應的三元組信息。

[0052]13)控制臺同時發起其他oracle實例的備份，流程如I)?9)。

[0053]備份過程中數據流程走向圖如圖3所示 oracle修復，主要的技術操作流程如下:

[0054]1、實現oracle提供的第三方接口，編譯生成MML供oracle加載使用。

[0055]2、編寫多通道的RMAN備份腳本，連接RMAN，執行此腳本。

[

oracle修復