一種Oracle多通道并行備份及恢復方法

【技術領域】

[0001]本發(fā)明涉及結構化數(shù)據(jù)保護領域，尤其是涉及一種Oracle多通道并行備份及恢復方法。

【背景技術】

[0002]根據(jù)最具權威的IT研究與顧問咨詢公司Gartner公司公布的2012年全球關系型數(shù)據(jù)庫市場調查報告，以軟件總收入計算，Oracle以48.3%繼續(xù)占據(jù)著第一的位置，且收入份額大于四個最接近的競爭對手的總和。由此可看出作為數(shù)據(jù)庫之王的Oracle在全球的用戶是最多的。當前就我國很多行業(yè)部署的數(shù)據(jù)庫也是Oracle，隨著信息技術在我國的高速發(fā)展且使用時間越來越長，用戶的Oracle數(shù)據(jù)庫數(shù)據(jù)量越來越大，像公安廳的戶口系統(tǒng)、鐵道部門的訂票系統(tǒng)等一個庫通常達到幾十TB的數(shù)據(jù)量。

[0003]傳統(tǒng)的Oracle異機備份恢復或磁帶備份恢復是單通道串行的。也就是開啟一個RMAN備份恢復channel，一個Oracle進程備份時讀取數(shù)據(jù)、恢復時寫入數(shù)據(jù)，然后再發(fā)送給備份軟件。當后端數(shù)據(jù)庫存儲性能非常強勁的情況下，不能充分地利用高性能的存儲10PS，效率較低，備份恢復所消耗的時間非常長，特別是當用戶Oracle數(shù)據(jù)庫損壞的情況下不能快速及時的恢復，數(shù)據(jù)保護效果不佳。

[0004]傳統(tǒng)的串行備份在數(shù)據(jù)量不大的情況下，我們可以采用提升傳輸速度和存儲的讀寫性能來提升備份性能，但是當數(shù)據(jù)呈指數(shù)增長的時候，很顯然備份時間的增長指數(shù)和數(shù)據(jù)量的增長指數(shù)是一致的，那么就無法實現(xiàn)高可靠性的數(shù)據(jù)保護，當數(shù)據(jù)達到TB級別時，傳統(tǒng)的備份時間將超越24小時，意思是如果數(shù)據(jù)出現(xiàn)問題，我們即無法保證在此之前24小時數(shù)據(jù)的完整性，也無法保證數(shù)據(jù)在24小時內完整的恢復出來。

【發(fā)明內容】

[0005]本發(fā)明的目的就是為了克服上述現(xiàn)有技術存在的缺陷而提供一種Oracle多通道并行備份及恢復方法，極大地提升備份恢復效率，能大幅度縮小備份窗口、災難發(fā)生時縮短恢復時間。

[0006]本發(fā)明的目的可以通過以下技術方案來實現(xiàn):

[0007]—種Oracle多通道并行備份oracle修復方法，包括如下步驟:

[0008]al)介質管理庫創(chuàng)建多個用于發(fā)送Oracle數(shù)據(jù)塊的通道；

[0009]a2)備份軟件客戶端開啟多個線程和各通道配對連接；

[0010]a3)介質管理庫獲取一 Oracle的備份片，該備份片中的各數(shù)據(jù)塊分別通過一通道發(fā)送給備份軟件客戶端；

[0011]a4)備份軟件客戶端通過相應的線程接收數(shù)據(jù)塊，并轉發(fā)至備份服務器中；

[0012]a5)當前備份片中所有的數(shù)據(jù)塊發(fā)送完畢之后，再進行下一個備份片的數(shù)據(jù)塊發(fā)送；

[0013]a6)所有的備份片都發(fā)送完成之后，釋放通道的連接。

[0014]所述通道與線程的數(shù)量相同。

[0015]所述配對連接具體通過通道名稱與線程的PID進行配對，并記錄配對狀態(tài)。

[0016]—種Oracle多通道并行恢復方法，包括如下步驟:

[0017]bl)介質管理庫創(chuàng)建多個用于發(fā)送Oracle數(shù)據(jù)塊的通道；

[0018]b2)備份軟件客戶端開啟多個線程和各通道配對連接；

[0019]b3)介質管理庫發(fā)送需要恢復的備份片信息到備份軟件客戶端；

[0020]b4)備份軟件客戶端多個線程將存儲于備份服務器內的相應備份片的數(shù)據(jù)塊發(fā)送到對應的通道中；

[0021]b5)介質管理庫將接收到的數(shù)據(jù)塊組合；

[0022]b6)當前備份片中所有的數(shù)據(jù)塊恢復完畢之后，再進行下一個備份片的恢復；

[0023]b7)所有的備份片都恢復完成之后，釋放通道的連接。

[0024]所述通道與線程的數(shù)量相同。

[0025]所述配對連接具體通過通道名稱與線程的PID進行配對，并記錄配對狀態(tài)。

[0026]與現(xiàn)有技術相比，本發(fā)明具有以下優(yōu)點:

[0027]I)本發(fā)明在備份恢復時開辟多個RMAN channel (通道)，并產(chǎn)生和channel數(shù)相同的Oracle備份恢復進程，對整庫的數(shù)據(jù)文件進行拆分，分別去讀取、寫入部分數(shù)據(jù)文件，并發(fā)執(zhí)行，能充分地利用高讀寫性能的存儲，提升單位時間內的數(shù)據(jù)吞吐量，解決大數(shù)據(jù)Oracle數(shù)據(jù)庫的數(shù)據(jù)保護難題。

[0028]2)本發(fā)明充分利用了日益強大的硬件資源，多路并發(fā)，無論是在數(shù)據(jù)的備份上，還是在數(shù)據(jù)的恢復上，都具有很強的競爭力，在實現(xiàn)了傳統(tǒng)備份的功能的基礎上，大大縮短了數(shù)據(jù)的備份時間，相應的縮短了數(shù)據(jù)的保護周期。如果出現(xiàn)災難性事故，那么丟失的數(shù)據(jù)將更少。

【附圖說明】

[0029]圖1為Oracle多通道并行備份恢復系統(tǒng)的拓撲圖；

[0030]圖2為Oracle與備份客戶端的配對連接圖；

[0031]圖3為備份過程數(shù)據(jù)流程走向圖；

[0032]圖4為恢復過程數(shù)據(jù)流程走向圖。

【具體實施方式】

[0033]下面結合附圖和具體實施例對本發(fā)明進行詳細說明。本實施例以本發(fā)明技術方案為前提進行實施，給出了詳細的實施方式和具體的操作過程，但本發(fā)明的保護范圍不限于下述的實施例。

[0034]通過使用介質管理器，RMAN (Recovery Manager)將數(shù)據(jù)備份到磁帶上或者遠程存儲上(以下統(tǒng)稱為遠程存儲)。介質管理器(Media Manager)由第三方軟件商提供，它將數(shù)據(jù)塊中的數(shù)據(jù)流從RMAN通道進程傳遞到相應的磁帶中。兆柏數(shù)據(jù)恢復公司

[0035]計算機系統(tǒng)必需安裝了介質管理(MM)客戶端才能使用介質管理器。介質管理的客戶端可以連接介質管理服務器，并通過網(wǎng)絡傳送數(shù)據(jù)。還必須為介質管理器安裝Oracle模塊，Oracle模塊(Oracle Moudle)是一個用于Oracle RDBMS的軟件插件，它可以連接RMAN與客戶端介質管理軟，后者可以把數(shù)據(jù)傳送到MM服務器。Oracle用于備份恢復的插件名稱是介質管理庫(MEDIA MANAGEMENT LIBRARY簡寫MML)。

[0036]本發(fā)明通過配置多個channel (通道)來并行讀取數(shù)據(jù)庫的數(shù)據(jù)，生成固定大小的數(shù)據(jù)塊，然后并行發(fā)送數(shù)據(jù)塊到備份軟件客戶端，備份軟件客戶端會對應的產(chǎn)生線程來接收對應的channel發(fā)送過來的數(shù)據(jù)塊，然后將數(shù)據(jù)塊發(fā)送到遠程存儲上，通過并行的數(shù)據(jù)傳輸來提升數(shù)據(jù)的傳輸效率，有效地縮短Oracle大數(shù)據(jù)背景下的數(shù)據(jù)備份和恢復時間。本發(fā)明采用的Oracle多通道并行備份恢復系統(tǒng)的拓撲圖如圖1所示。

[0037]本發(fā)明的技術實現(xiàn)難點在于:

[0038]1、多線程的數(shù)據(jù)收發(fā)和組裝。備份軟件客戶端需要開啟多個線程和channel進行配對，然后收發(fā)消息和數(shù)據(jù)。

[0039]2、0racle多個備份恢復進程與備份軟件客戶端多個收發(fā)數(shù)據(jù)線程間的配對通信。實現(xiàn)Oracle多個備份恢復進程間的消息數(shù)據(jù)傳輸，首先必須解決進程間的配對問題及重連問題，如果配對或者重連錯誤，就會導致數(shù)據(jù)錯亂。配對連接具體通過通道名稱與線程的PID進行配對，并記錄配對狀態(tài)。具體的配對連接方法如圖2所示:

[0040]I)控制臺發(fā)起任務，客戶端調用調度管理模塊讀取初始化連接記錄文件。

[0041]2)若記錄不存在，那么直接寫入新的三元組，若記錄存在，則讀取此三元組，并檢測記錄是否超時。三元組包括線程的PID、通道名稱和創(chuàng)建時間信息。

[0042]3)若超時，那么清空后寫入新的三元組信息，若沒有超時，那么根據(jù)設置的等待時間進入等待狀態(tài)，并實時檢測記錄的狀態(tài)。若被清空或者記錄超時，那么寫入新的三元組信息，否則，等待時間結束后，返回連接失敗。一般設置超時時間小于或等于等待時間可以有效的控制返回連接失敗的概率。

[0043]4)更新初始化連接記錄文件成功后，客戶端使用腳本調度oracle的rman發(fā)送對應的實例的數(shù)據(jù)，同時oracle調用它對外開放且由我們實現(xiàn)的API接口。

[0044]5)接口中調用調度管理模塊，讀取已配對連接記錄文件中的三元組信息，查詢自己的PID對應的三元組信息是否存在。

[0045]6)若存在，那么是之前已連接過得記錄，那么直接連接三元組中記錄的管道，發(fā)送數(shù)據(jù)給客戶端的數(shù)據(jù)處理模塊。

[0046]7)若不存在，那么讀取初始化連接記錄文件，讀取三元組信息，判斷信息是否超時，若超時，連接失敗，否則連接對應的管道。

[0047]8)將客戶端進程PID，管道名稱，oracle數(shù)據(jù)發(fā)送進程PID組成新的三元組，追加到已配對連接記錄文件中。

[0048]9)清空初始化連接記錄文件，等待下一個連接的發(fā)起。

[0049]10) Oracle發(fā)送數(shù)據(jù)到客戶端，通過不同的消息ID，完成不同數(shù)據(jù)的發(fā)送，例如首先發(fā)送數(shù)據(jù)文件，將數(shù)據(jù)文件記錄到對應的備份片中，數(shù)據(jù)文件單獨形成一個備份集。然后消息通知數(shù)據(jù)文件發(fā)送完成，將開始先一個數(shù)據(jù)源的發(fā)送，如此循環(huán)。

[0050]11)數(shù)據(jù)發(fā)送完畢，發(fā)送消息通知客戶端數(shù)據(jù)發(fā)送結束，然后斷開連接。

[0051]12)客戶端接到消息后釋放管道資源，然后調用調度管理模塊清除已配對連接記錄文件中對應的三元組信息。

[0052]13)控制臺同時發(fā)起其他oracle實例的備份，流程如I)?9)。

[0053]備份過程中數(shù)據(jù)流程走向圖如圖3所示 oracle修復，主要的技術操作流程如下:

[0054]1、實現(xiàn)oracle提供的第三方接口，編譯生成MML供oracle加載使用。

[0055]2、編寫多通道的RMAN備份腳本，連接RMAN，執(zhí)行此腳本。

[

oracle修復