關注公眾號singless，后臺回復ceph可以獲取文中相關腳本。

1 介紹

在(zai)ceph中，使用(yong) key-value數(shu)據(ju)庫來(lai)管理內部元數(shu)據(ju)，比如從對(dui)(dui)象(xiang)名(ming)稱到磁(ci)盤上塊位置(zhi)的(de)映(ying)射(she)。一(yi)個(ge)對(dui)(dui)象(xiang)的(de)元數(shu)據(ju)在(zai)bluestore內稱為(wei)Onode。RocksDB不能直接寫(xie)(xie)原(yuan)始磁(ci)盤設(she)備，它(ta)需要底層的(de)文件系統來(lai)存(cun)儲(chu)它(ta)的(de)持久(jiu)(jiu)數(shu)據(ju)，這就是的(de)由(you)來(lai)，BlueFS是一(yi)個(ge)用(yong)RocksDB所(suo)(suo)需的(de)最(zui)小(xiao)功能集開發的(de)文件系統，用(yong)于(yu)存(cun)儲(chu)它(ta)的(de)sst文件。RocksDB使用(yong)作(zuo)為(wei)持久(jiu)(jiu)性存(cun)儲(chu)上的(de)事務日志，與Filestore不同，Filestore中所(suo)(suo)有寫(xie)(xie)操作(zuo)都先寫(xie)(xie)入日志盤，而bluestore中有兩個(ge)不同的(de)數(shu)據(ju)路徑用(yong)于(yu)寫(xie)(xie)操作(zuo)，一(yi)種(zhong)是數(shu)據(ju)直接寫(xie)(xie)入塊設(she)備，另(ling)一(yi)種(zhong)是使用(yong)延遲寫(xie)(xie)入，通(tong)過延遲寫(xie)(xie)入，數(shu)據(ju)被寫(xie)(xie)入WAL設(she)備，然后異步刷新到磁(ci)盤。

BlueStore可以使用(yong)多個塊設備(bei)來存(cun)儲(chu)(chu)不同(tong)的(de)數(shu)據，例如(ru):硬(ying)盤(HDD)用(yong)于存(cun)儲(chu)(chu)數(shu)據，固態硬(ying)盤(SSD)用(yong)于存(cun)儲(chu)(chu)元數(shu)據，NVM (Non-volatile Memory)或NVRAM (Non-volatile random-access Memory)用(yong)于存(cun)儲(chu)(chu)RocksDB write-ahead log (WAL)的(de)持久化內存(cun)。

2 場景

正常情況下(xia)，我們在(zai)部署ceph集(ji)群部署前會根據(ju)業務需求規劃好(hao)osd是(shi)使用純HDD設備上(shang)(shang)還(huan)是(shi)加上(shang)(shang)ssd做(zuo)緩(huan)存(cun)。如果(guo)說已經(jing)使用純HDD部署的(de)(de)osd希望(wang)將(jiang)db或wal遷移到sdd或nvme上(shang)(shang)來提升速度的(de)(de)話，那么有以下(xia)幾種(zhong)方(fang)式可以實現。

2.1 重建osd

將osd從存儲池移除，重新部署(shu)，重新部署(shu)時將osd的db和wal指(zhi)定(ding)在ssd或(huo)nvme設備上(shang)。

2.1.2 非容器部署方式

直接使用(yong)ceph-volume lvm create并指定db設備或wal設備及db大小

root@node1:/# ceph-volume lvm create --bluestore --data  /dev/sdg  --block.db /dev/nvme0n2 --block.db-size 5g --osd-id 5

2.1.3 容器部署方式

root@node1:/# ceph orch daemon add osd host1:data_devices=/dev/sda,db_devices=/dev/nvme

不過這里也有坑(keng)，在16和17的(de)(de)老版本里按照上面(mian)這條官方文檔的(de)(de)命令(ling)是無法無法執行成功的(de)(de)，會報錯(cuo)。相關(guan)bug參考以下(xia)鏈接

2.2 使用ceph-volume

使用ceph-volume的(de)new-db或(huo)(huo)new-wal參數可以將osd的(de)db或(huo)(huo)wal新增到(dao)ssd或(huo)(huo)nvme設備上。osd的(de)fsid可以通過ceph-volume lvm list看到(dao)

root@node1:/# ceph-volume lvm new-db --osd-id 0 --osd-fsid cd3b6512-2292-4963-b96f-b4b4b2d54494 --target ceph_db_0/lv_ceph_db_0

但是該方式在16.2.7之前(qian)的版本存(cun)在bug，按照官方文(wen)檔進行操(cao)作會(hui)失敗

該bug在16.2.8版本修復(fu)，具(ju)體細節見(jian)以下鏈接(jie)

2.3 使用ceph-bluestore-tool

ceph-bluestore-tool也是官(guan)方文檔中所提到的工具，可(ke)以用來(lai)給(gei)osd新建db、wal或遷移db、wal

給osd添加db的步驟為

1. 停止osd
2. 使用bluestore-tool給osd添加db，將osd中的db數據遷移至新db
3. 給osd和db對應的lvm添加tag
4. 啟動osd
5. ceph-volume lvm list檢查db分區是否已成功添加上

其中(zhong)主要是第四(si)步(bu)添(tian)加(jia)給osd添(tian)加(jia)lvm tag這個步(bu)驟比較繁瑣。正常的osd和db的tag如(ru)下

因為步驟(zou)較(jiao)為繁瑣(suo)，因此我們可以通過腳本完(wan)成上述步驟(zou)。關注公眾號singless，回復ceph可以獲取(qu)腳本。-b指定db分(fen)區(qu)的(de)大小，默認單(dan)位(wei)為B，-d指定db設備，-o指定osd id。

執(zhi)行完成后使用檢查(cha)db分區(qu)是否已經添加成功(gong)。