建立 ceph 分散式儲存

1. 建立叢集系統

建立叢集

前往 PVE 後台
左側 資料中心 ➝ 叢集 ➝ 建立叢集

epower-pve249.png

叢集名稱 : epc

epower-pve250.png

等它跑完

epower-pve251.png

出現一個節點

epower-pve252.png

點擊上方的 加入資訊epower-pve253.png

將 加入資訊 內的代碼複製

epower-pve254.png

加入叢集

複製完後前往第二台 PVE 
點擊 加入叢集
資訊 : 將剛剛複製的代碼貼上
密碼 : 輸入登入密碼

epower-pve255.png

等到出現下圖 需要重新整理網頁 因為重發 https 的憑證

epower-pve414.png

將 加入叢集 的步驟在第三台 PVE 在做一次
完成後回到第一台 PVE 可以看到兩個剛剛新增的節點
不管用那一台的 IP 登入都可以看到三個節點 

epower-pve257.png

2. 建立 Ceph

前往 PVE 後台
左側 點擊 s11 ➝ Ceph ➝ 設定 Ceph

epower-pve258.png

Public Network IP/CIDR : 192.168.31.11/24 (對外連線用)
Cluster Network IP/CIDR : 10.10.10.31/24 (資料同步用)

epower-pve425.png

完成

epower-pve261.png

完成後畫面

epower-pve265.png

3. 建立 Ceph 監視器及管理器

左側 資料中心 ➝ s11 ➝ Ceph ➝ 監視器 ➝ 建立

epower-pve266.png

主機 : 選擇 s12

epower-pve267.png

等它跑完會出現 s12 的監視器

epower-pve268.png

依照上述步驟在新增一個 s13 的監視器
完成後會如下圖
會有 3 個監視器

epower-pve269.png

在下方的管理器也新增三個 方法跟新增監視器的方法一樣

新增完會看到

epower-pve426.png

4. 建立 OSD

點擊 OSD ➝ 建立 : OSD

epower-pve270.png

磁碟 : /dev/vdb

epower-pve271.png

等它跑完

epower-pve272.png

點擊 重新載入
會看到 s11 的 OSD

epower-pve273.png

 依照上述步驟在 s12 及 s13 各新增一個 OSD
完成後如下圖

epower-pve274.png

在切回 資料中心 ➝ Ceph
會顯示綠色得勾

epower-pve275.png

5. 建立 Pool

點擊左側 Pools ➝ 建立

epower-pve276.png

名稱 : ep-ceph
大小 : 3

epower-pve277.png

等它跑完

epower-pve278.png

剛剛建立的 Pools 會出現

epower-pve279.png

點擊左側 儲存 ➝ 增加 ➝ RBD

epower-pve280.png

ID : ep-ceph
集區 : ep-ceph 

epower-pve281.png

建立完會出現

epower-pve282.png

6. 遷移虛擬機

先在其中一個節點建立虛擬機
在 磁碟 這邊的 儲存 要選剛剛建立的 ep-ceph

epower-pve283.png

建立完成後
先在虛擬機開啟終端機 ping 8.8.8.8

epower-pve359.png

點擊虛擬機 ➝ 主控台 ➝ 遷移

epower-pve360.png

目標節點 : 選擇任一節點 範例選擇 s12

epower-pve361.png

過程中可以觀察終端機的 ping 畫面 並不會中斷

epower-pve362.png

出現 TASK OK 代表完成

epower-pve363.png

遷移成功

epower-pve364.png

 

7. 複寫

前往 Epower 後台
參考 1. 增加 VM 硬碟 在新增一顆硬碟

前往 PVE 後台

點擊左側 S11 節點 ➝ 點兩下磁碟 ➝ ZFS ➝ 建立 : ZFS

epower-pve377.png

名稱 : zfs-data ※s11 及 s12 的 ZFS 名稱一定要一樣
勾選下方裝置

epower-pve376.png

點擊左側 S12 節點 ➝ 點兩下磁碟 ➝ ZFS ➝ 建立 : ZFS

epower-pve385.png

名稱 : zfs-data ※s11 及 s12 的 ZFS 名稱一定要一樣
勾選下方裝置

epower-pve376.png

在 s11 及 s12 都會看到 新增的 ZFS 儲存空間

epower-pve384.png

點開 s11 及 s12 也可以看到

epower-pve386.png

新增虛擬機

儲存 : 選擇剛剛建立的 zfs-data

epower-pve378.png

建立完成後 點擊虛擬機 ➝ 複寫 ➝ 增加

epower-pve379.png

目標 : s12

epower-pve380.png

新增後會出現

epower-pve381.png

可以點擊上方 立即執行排程
可看到同步時間及花費多少時間

epower-pve382.png

點擊左側 s11 及 s12 的 zfs-data 儲存區 
會看到複寫的資料

epower-pve383.png

8. HA

資料中心 ➝ 點兩下 HA ➝ 群組 ➝ 建立

epower-pve367.png

ID : ha-test

Restricted (限定運作節點) :
在勾選這個項目的情況下 當下方清單中有勾選的節點全原部故障後 如果有其它節點還正常運作但沒有被勾選的話 客體機也不會嘗試在其它未勾選的節點上啟動

Nofailback (不需容錯回復) :
在勾選這個項目的情況下 客體機原本所在的節點發生故障而在其它節點上啟動起來運作 若原本所在的節點已經恢復上線運作 高可用性機制不會再自動將它遷移回去原本的節點

下方的節點清單中，可以勾選這個高可用性群組要適用至那些節點 後方的 Priority 欄位是優先權設定 數字越高者會在高可用性機制運作時 優先將客體機在高優先權的節點啟動 這部份請依據客體機的資源狀況決定

epower-pve368.png

新增後會出現

epower-pve369.png

點擊左側 HA ➝ 增加

epower-pve370.png

VM : 範例選擇編號 102 虛擬機

在 需求狀態 欄位中下拉選取客體機在高可用性機制啟動後 移到另一個節點需要進行的動作 :

started : 高可用性機制 ( HA ) 完成後，在另一節點啟動客體機 (開機)
stopped : 高可用性機制 ( HA ) 完成後，在另一節點保持停止 (關機)
ignored : 高可用性機制 ( HA ) 會忽略這部客體機，不做任何處理
disabled : 高可用性機制 ( HA ) 會停止這部客體機 (關機)

在左方有兩個數字欄位分別是 :

最多重新啟動 :
當客體機在新的節點啟動如果失敗 要在再次嘗試重新啟動的上限次數
最多重新遷移 :
當客體機在新的節點無法啟動時 要移往下一個節點的上限次數

epower-pve371.png

增加後會出現

epower-pve372.png

功能測試

將 S12 這個節點關掉 

epower-pve373.png

點擊 HA 可以看到 S12 目前的狀態

epower-pve374.png

等 1 至 2 分鐘後 VM 102 會跑到 S11 這個節點 並自動開機

epower-pve375.png