自建簡(jiǎn)單的raid及對(duì)計(jì)算速度影響的測(cè)試

　　Jan 19, 2019 增加關(guān)閉raid命令，更新測(cè)試?yán)?/p>

　　Dec 30, 2017 初版

　　筆者有一次需要做一個(gè)很大的計(jì)算，需要大概7T的硬盤空間，手頭的計(jì)算資源沒有一個(gè)能滿足這個(gè)要求。恰好實(shí)驗(yàn)室有兩塊6T的盤不怎么用，于是想到可以把這兩個(gè)盤組個(gè)raid，就可以用起來了。

　　?什么是raid？

　　RAID (Redundant Arrays of Independent Disks)，在《鳥哥的私房菜》一書中譯為容錯(cuò)廉價(jià)磁盤陣列。簡(jiǎn)單而言，就是一個(gè)可以將多個(gè)磁盤組成一個(gè)大的磁盤的技術(shù)。比如上面我遇到的問題，我可以將兩塊6T的硬盤組成一個(gè)12T的空間來使用。

　　?raid的等級(jí)分類

　?。?）raid 0

　　仍然以上面兩個(gè)6T的硬盤組成12T的空間為例，在這種模式下，向硬盤寫入的數(shù)據(jù)會(huì)被切割成兩份，分別存入兩個(gè)6T的盤中，相當(dāng)于是并行地寫入數(shù)據(jù)，因此，如果使用兩在大小、性能一樣的硬盤組成raid0的話，理論的寫入速度會(huì)變成一塊盤的兩倍，是不是很爽？當(dāng)然，由于數(shù)據(jù)被切割寫入兩塊盤，只要其中一個(gè)盤損壞，整個(gè)數(shù)據(jù)就都被損壞了。

　?。?） raid 1

　　同樣用兩塊相同的盤組成。此時(shí)同一份數(shù)據(jù)會(huì)同時(shí)寫入兩塊硬盤，所以raid 1被稱為映像模式，可用于數(shù)據(jù)備份。

　?。?）raid 0+1或raid 1+0

　　顧名思義，就是以上兩種模式的組合，既可以提高速度，又可以備份數(shù)據(jù)，適合土豪使用，因?yàn)檫@種模式需要的盤比較多。

宿遷數(shù)據(jù)恢復(fù)

　　（4）raid 5

　　這種模式至少需要三塊硬盤。其中兩塊盤組成raid 0，另外一塊盤用于當(dāng)前兩塊盤中的一個(gè)出現(xiàn)損壞時(shí)進(jìn)行替換，這樣可以保證raid 0數(shù)據(jù)的安全。當(dāng)一塊硬盤損壞時(shí)，要及時(shí)更換新的，如果等兩塊都?jí)牧?，就沒辦法了。

　　?實(shí)現(xiàn)方式

　　raid分為軟件raid和硬件raid。硬件raid使用專門的raid卡來管理raid陣列，具有穩(wěn)定和速度快的優(yōu)點(diǎn)，當(dāng)然，一塊好的raid卡的價(jià)格還是比較高的，不過咱可以到某寶上去淘二手的。而軟raid則是用Linux系統(tǒng)自帶的mdadm軟件來實(shí)現(xiàn)和管理陣列，在穩(wěn)定性和性能上是不如硬raid的。下面咱們就動(dòng)手自己建一個(gè)軟raid。

　　?實(shí)戰(zhàn)

　　此處展示兩塊硬盤組raid 0的操作，同樣以上面的兩個(gè)6T的盤組成12T的盤為例。首先將兩個(gè)盤插上，用fdisk -l命令會(huì)看到兩塊盤的信息，假設(shè)我們看到的盤的名字為/dev/sdb和/dev/sdc。下面可以對(duì)這兩個(gè)盤分別進(jìn)行分區(qū)，也可以不分區(qū)，在我們這個(gè)實(shí)例中，因?yàn)槲覀兿胗脻M兩個(gè)6T盤的所有空間，所以可以不需要在這一步對(duì)兩個(gè)盤進(jìn)行分區(qū)和格式化。然后就是創(chuàng)建raid：

　　mdadm --create --auto=yes /dev/md0 --level=0 --raid-devices=2 /dev/sdb /dev/sdc

　　這行命令中的選項(xiàng)的含義應(yīng)該十分明確，就不細(xì)述了，具體也可查看mdadm的說明，其中/dev/md0就是12T空間的設(shè)備名，此時(shí)用fdisk -l就可以看到這個(gè)空間。然后就可以把這個(gè)空間當(dāng)作是一塊硬盤來操作：

　　格式化：mkfs.ext4 /dev/md0

　　掛載：mount /dev/md0 /mnt

　　過程很簡(jiǎn)單，只是12T的空間的格式化可能要等幾分鐘。

　　其實(shí)到這一步所有的工作已經(jīng)完成，但是如果重啟機(jī)器會(huì)發(fā)現(xiàn)raid還在，只是設(shè)備名字變成了/dev/md127，且不會(huì)自動(dòng)掛載，因此要將設(shè)備寫進(jìn)系統(tǒng)分區(qū)表。首先需要寫一個(gè)raid配置文件，位于/etc/mdadm.conf，里面寫一行信息就可以了：

　　ARRAY /dev/md0 UUID=XX

　　UUID可以用mdadm --detail /dev/md0來查看。

　　然后將/dev/md0寫入/etc/fstab文件：

　　/dev/md0   /mnt    /ext4     defaults   0  0

　　最近筆者遇到一個(gè)情況，原先在某服務(wù)器上使用三塊SSD組了一個(gè)raid 0，但是用了一段時(shí)間后，其中一塊盤出現(xiàn)了問題，于是整個(gè)raid盤就掛掉了，所幸的是在筆者的服務(wù)器上SSD都是用來讀寫計(jì)算過程中的臨時(shí)文件的，因此不用擔(dān)心數(shù)據(jù)的丟失。于是拔掉了其中一塊盤，想將剩下的兩塊盤重新組成raid 0，此時(shí)按上面的操作，出現(xiàn)了報(bào)錯(cuò)：

　　mdadm: /dev/md0 is already in use.

　　其原因是這兩塊盤原來已經(jīng)組過raid，在磁盤上會(huì)存有raid的相關(guān)數(shù)據(jù)，因此系統(tǒng)檢測(cè)到已經(jīng)有一個(gè)/dev/md0了，雖然此處已經(jīng)比原來少了一塊硬盤。解決辦法是要先將原來的raid關(guān)閉掉，命令為

　　mdadm --stop /dev/md0

　　這樣就可以按上述步驟重新組建raid了。

　　?對(duì)計(jì)算速度的影響

　　理論來說raid 0的速度會(huì)是單個(gè)硬盤的兩倍，而實(shí)際會(huì)打個(gè)折扣。筆者使用Pulay開發(fā)的PQS軟件做了一個(gè)簡(jiǎn)單的MP2計(jì)算測(cè)試，體系含有1002個(gè)基函數(shù)，兩次計(jì)算將臨時(shí)文件目錄進(jìn)行更改，一次位于單硬盤上，一次位于raid 0分區(qū)。在PQS中，MP2模塊會(huì)在計(jì)算過程中將積分寫入硬盤，計(jì)算的I/O比較大。計(jì)算時(shí)間的測(cè)試結(jié)果如下：

　　單核：?jiǎn)斡脖P：106 min

　　raid 0：   99 min

　　12核：?jiǎn)斡脖P：66 min

　　raid 0：  15 min

　　從上面的數(shù)據(jù)可以看出，12核并行時(shí)間和串行時(shí)間相比，加速比不高，正是因?yàn)樵撚?jì)算硬盤讀寫大，限制了計(jì)算速度。在串行情況下，raid 0對(duì)計(jì)算速度略有提升，而在12核并行的情況下，raid 0的速度提升就非常明顯了，甚至只用了單硬盤的不到四分之一的時(shí)間。

　　需要說明的是，上面用于測(cè)試的單硬盤的轉(zhuǎn)速是7200 rpm，而用于組raid的兩塊盤的轉(zhuǎn)速是5400 rpm，性能略差一些。

　　?小結(jié)