[Ceph] – Phần 2: Thiết lập các thiết bị lưu trữ đối tượng (OSD)

1. Tổng quan.

Trong Ceph, mỗi OSD tương ứng với một ổ đĩa và chịu trách nhiệm lưu trữ dữ liệu. Việc cấu hình này bao gồm việc khởi tạo ổ đĩa, cài đặt và khởi động dịch vụ OSD, và đảm bảo rằng nó có thể giao tiếp với phần còn lại của cụm Ceph.

2. Sơ đồ LAB.

Để bắt đầu thực hành, bạn hãy xem sơ đồ của tôi ở dưới đây:

                                                  |
               +----------------------------------+-----------------------------------+
               |public: 192.168.13.231            |public: 192.168.13.232             |public: 192.168.13.233
               |cluster: 172.16.13.231            |cluster: 1172.16.13.232            |cluster: 172.16.13.233
+--------------+--------------+    +--------------+--------------+     +--------------+--------------+ 
|   [ceph-node1.hoanghd.com]  |    |   [ceph-node2.hoanghd.com]  |     |   [ceph-node3.hoanghd.com]  | 
|        Object Storage       +----|        Object Storage       +-----|        Object Storage       |
|        Monitor Daemon       |    |                             |     |                             |
|        Manager Daemon       |    |                             |     |                             |
+-----------------------------+    +-----------------------------+     +-----------------------------+'

3. Quy trình thêm OSD.

Bước 1 – Sao chép các file cấu hình và khóa bí mật.

scp /etc/ceph/ceph.conf <some_node>:/etc/ceph/ceph.conf
scp /etc/ceph/ceph.client.admin.keyring <some_node>:/etc/ceph
scp /var/lib/ceph/bootstrap-osd/ceph.keyring <some_node>:/var/lib/ceph/bootstrap-osd

Bước 2 – Thay đổi quyền sở hữu của file.

Thay đổi quyền sở hữu của tất cả các file bắt đầu bằng ceph. trong thư mục /etc/ceph và tất cả các file trong thư mục /var/lib/ceph/bootstrap-osd để người dùng ceph có thể truy cập.

chown ceph. /etc/ceph/ceph.* /var/lib/ceph/bootstrap-osd/*

Bước 3 – Tạo phân vùng cho ổ đĩa sử dụng cho OSD.

Tạo một bảng phân vùng GPT mới trên ổ đĩa, ví dụ/dev/sdb.

parted --script /dev/sdb 'mklabel gpt'

Tạo một phân vùng mới trên ổ đĩa /dev/sdb, chiếm 100% dung lượng của ổ đĩa.

parted --script /dev/sdb "mkpart primary 0% 100%"

Tạo một logical volume mới trên phân vùng vừa tạo (/dev/sdb1), để sử dụng cho việc lưu trữ dữ liệu của Ceph.

ceph-volume lvm create --data /dev/sdb1

Hoặc nếu bạn thao tác cho nhiều node cùng 1 lúc với các tên ổ đĩa ở các node giống nhau thì bạn có thể sử dụng shell dưới đây để rút gọn quy trình thêm các OSD vào Ceph Cluster.

Đoạn shell dưới đây sẽ thực hiện cho ổ đĩa /dev/sdb trên cả 3 node.

shell> for NODE in ceph-node1 ceph-node2 ceph-node3
do
    if [ ! ${NODE} = "ceph-node1" ]
    then
        scp /etc/ceph/ceph.conf ${NODE}:/etc/ceph/ceph.conf
        scp /etc/ceph/ceph.client.admin.keyring ${NODE}:/etc/ceph
        scp /var/lib/ceph/bootstrap-osd/ceph.keyring ${NODE}:/var/lib/ceph/bootstrap-osd
    fi
    ssh $NODE \
    "chown ceph. /etc/ceph/ceph.* /var/lib/ceph/bootstrap-osd/*; \
    parted --script /dev/sdb 'mklabel gpt'; \
    parted --script /dev/sdb "mkpart primary 0% 100%"; \
    ceph-volume lvm create --data /dev/sdb1"
done

Đoạn shell này thực hiện các tác vụ sau:

Vòng lặp qua các node: Vòng lặp for đi qua danh sách các node (ceph-node1, ceph-node2, ceph-node3).
Kiểm tra tên node: Điều kiện if [ ! ${NODE} = "ceph-node1" ] kiểm tra xem tên của node hiện tại có phải là ceph-node1 hay không. Nếu không phải, thì nó thực hiện các lệnh scp bên dưới.
Sao chép các file cấu hình và khóa bí mật: Các lệnh scp sao chép file cấu hình ceph.conf và các khóa bí mật từ node hiện tại đến các node khác trong cụm.
Thay đổi quyền sở hữu của các file: Lệnh chown thay đổi quyền sở hữu của các file cấu hình và khóa bí mật để người dùng ceph có thể truy cập.
Tạo một bảng phân vùng mới trên ổ đĩa: Lệnh parted tạo một bảng phân vùng GPT mới trên ổ đĩa /dev/sdb.
Tạo một phân vùng mới trên ổ đĩa: Lệnh parted tiếp theo tạo một phân vùng mới trên ổ đĩa, chiếm 100% dung lượng của ổ đĩa.
Tạo một logical volume cho Ceph: Lệnh ceph-volume tạo một logical volume mới trên phân vùng vừa tạo, để sử dụng cho việc lưu trữ dữ liệu của Ceph.

Trước tiên dùng lệnh lsblk nhìn vào mình sẽ có 3 ổ đĩa sdb, sdc và sdd như dưới.

shell> lsblk 
NAME    MAJ:MIN RM  SIZE RO TYPE MOUNTPOINT
loop0     7:0    0 63.5M  1 loop /snap/core20/2015
loop1     7:1    0 40.9M  1 loop /snap/snapd/20290
loop2     7:2    0 91.9M  1 loop /snap/lxd/24061
sda       8:0    0   50G  0 disk 
├─sda1    8:1    0 49.9G  0 part /
├─sda14   8:14   0    4M  0 part 
└─sda15   8:15   0  106M  0 part /boot/efi
sdb       8:16   0  100G  0 disk 
sdc       8:32   0  100G  0 disk 
sdd       8:48   0  100G  0 disk 
sr0      11:0    1    4M  0 rom

Giờ mình sẽ chạy đoạn shell ở trên.

shell> for NODE in ceph-node1 ceph-node2 ceph-node3
> do
>     if [ ! ${NODE} = "ceph-node1" ]
>     then
>         scp /etc/ceph/ceph.conf ${NODE}:/etc/ceph/ceph.conf
>         scp /etc/ceph/ceph.client.admin.keyring ${NODE}:/etc/ceph
>         scp /var/lib/ceph/bootstrap-osd/ceph.keyring ${NODE}:/var/lib/ceph/bootstrap-osd
>     fi
>     ssh $NODE \
>     "chown ceph. /etc/ceph/ceph.* /var/lib/ceph/bootstrap-osd/*; \
>     parted --script /dev/sdb 'mklabel gpt'; \
>     parted --script /dev/sdb "mkpart primary 0% 100%"; \
>     ceph-volume lvm create --data /dev/sdb1"
> done 
Running command: /usr/bin/ceph-authtool --gen-print-key
Running command: /usr/bin/ceph --cluster ceph --name client.bootstrap-osd --keyring /var/lib/ceph/bootstrap-osd/ceph.keyring -i - osd new 06b34abc-13cb-4c3f-b528-0b75ebaaaede
Running command: vgcreate --force --yes ceph-7800a513-d643-4561-b747-b737bbe20197 /dev/sdb1
 stdout: Physical volume "/dev/sdb1" successfully created.
 stdout: Volume group "ceph-7800a513-d643-4561-b747-b737bbe20197" successfully created
Running command: lvcreate --yes -l 25599 -n osd-block-06b34abc-13cb-4c3f-b528-0b75ebaaaede ceph-7800a513-d643-4561-b747-b737bbe20197
 stdout: Logical volume "osd-block-06b34abc-13cb-4c3f-b528-0b75ebaaaede" created.
Running command: /usr/bin/ceph-authtool --gen-print-key
Running command: /usr/bin/mount -t tmpfs tmpfs /var/lib/ceph/osd/ceph-0
--> Executable selinuxenabled not in PATH: /usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/sbin:/bin:/usr/games:/usr/local/games:/snap/bin
Running command: /usr/bin/chown -h ceph:ceph /dev/ceph-7800a513-d643-4561-b747-b737bbe20197/osd-block-06b34abc-13cb-4c3f-b528-0b75ebaaaede
Running command: /usr/bin/chown -R ceph:ceph /dev/dm-0
Running command: /usr/bin/ln -s /dev/ceph-7800a513-d643-4561-b747-b737bbe20197/osd-block-06b34abc-13cb-4c3f-b528-0b75ebaaaede /var/lib/ceph/osd/ceph-0/block
Running command: /usr/bin/ceph --cluster ceph --name client.bootstrap-osd --keyring /var/lib/ceph/bootstrap-osd/ceph.keyring mon getmap -o /var/lib/ceph/osd/ceph-0/activate.monmap
 stderr: got monmap epoch 2
Running command: /usr/bin/ceph-authtool /var/lib/ceph/osd/ceph-0/keyring --create-keyring --name osd.0 --add-key AQDmDbFl4In7AhAASbiRXFI5Gviw1JmV36lhuA==
 stdout: creating /var/lib/ceph/osd/ceph-0/keyring
added entity osd.0 auth(key=AQDmDbFl4In7AhAASbiRXFI5Gviw1JmV36lhuA==)
Running command: /usr/bin/chown -R ceph:ceph /var/lib/ceph/osd/ceph-0/keyring
Running command: /usr/bin/chown -R ceph:ceph /var/lib/ceph/osd/ceph-0/
Running command: /usr/bin/ceph-osd --cluster ceph --osd-objectstore bluestore --mkfs -i 0 --monmap /var/lib/ceph/osd/ceph-0/activate.monmap --keyfile - --osd-data /var/lib/ceph/osd/ceph-0/ --osd-uuid 06b34abc-13cb-4c3f-b528-0b75ebaaaede --setuser ceph --setgroup ceph
 stderr: 2024-01-24T13:17:28.384+0000 7fee31587d80 -1 bluestore(/var/lib/ceph/osd/ceph-0/) _read_fsid unparsable uuid
 stderr: 2024-01-24T13:17:28.896+0000 7fee31587d80 -1 freelist read_size_meta_from_db missing size meta in DB
--> ceph-volume lvm prepare successful for: /dev/sdb1
Running command: /usr/bin/chown -R ceph:ceph /var/lib/ceph/osd/ceph-0
Running command: /usr/bin/ceph-bluestore-tool --cluster=ceph prime-osd-dir --dev /dev/ceph-7800a513-d643-4561-b747-b737bbe20197/osd-block-06b34abc-13cb-4c3f-b528-0b75ebaaaede --path /var/lib/ceph/osd/ceph-0 --no-mon-config
Running command: /usr/bin/ln -snf /dev/ceph-7800a513-d643-4561-b747-b737bbe20197/osd-block-06b34abc-13cb-4c3f-b528-0b75ebaaaede /var/lib/ceph/osd/ceph-0/block
Running command: /usr/bin/chown -h ceph:ceph /var/lib/ceph/osd/ceph-0/block
Running command: /usr/bin/chown -R ceph:ceph /dev/dm-0
Running command: /usr/bin/chown -R ceph:ceph /var/lib/ceph/osd/ceph-0
Running command: /usr/bin/systemctl enable ceph-volume@lvm-0-06b34abc-13cb-4c3f-b528-0b75ebaaaede
 stderr: Created symlink /etc/systemd/system/multi-user.target.wants/ceph-volume@lvm-0-06b34abc-13cb-4c3f-b528-0b75ebaaaede.service → /lib/systemd/system/ceph-volume@.service.
Running command: /usr/bin/systemctl enable --runtime ceph-osd@0
 stderr: Created symlink /run/systemd/system/ceph-osd.target.wants/ceph-osd@0.service → /lib/systemd/system/ceph-osd@.service.
Running command: /usr/bin/systemctl start ceph-osd@0
--> ceph-volume lvm activate successful for osd ID: 0
--> ceph-volume lvm create successful for: /dev/sdb1
ceph.conf                                                                                                                                                                     100%  302   491.4KB/s   00:00    
ceph.client.admin.keyring                                                                                                                                                     100%  151   166.7KB/s   00:00    
ceph.keyring                                                                                                                                                                  100%  129   197.8KB/s   00:00    
Running command: /usr/bin/ceph-authtool --gen-print-key
Running command: /usr/bin/ceph --cluster ceph --name client.bootstrap-osd --keyring /var/lib/ceph/bootstrap-osd/ceph.keyring -i - osd new 13d2c5d3-f4d9-4322-a88b-f1a13fc667eb
Running command: vgcreate --force --yes ceph-4215fc70-98a5-4c54-9418-82ceb3d1789b /dev/sdb1
 stdout: Physical volume "/dev/sdb1" successfully created.
 stdout: Volume group "ceph-4215fc70-98a5-4c54-9418-82ceb3d1789b" successfully created
Running command: lvcreate --yes -l 25599 -n osd-block-13d2c5d3-f4d9-4322-a88b-f1a13fc667eb ceph-4215fc70-98a5-4c54-9418-82ceb3d1789b
 stdout: Logical volume "osd-block-13d2c5d3-f4d9-4322-a88b-f1a13fc667eb" created.
Running command: /usr/bin/ceph-authtool --gen-print-key
Running command: /usr/bin/mount -t tmpfs tmpfs /var/lib/ceph/osd/ceph-1
--> Executable selinuxenabled not in PATH: /usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/sbin:/bin:/usr/games:/usr/local/games:/snap/bin
Running command: /usr/bin/chown -h ceph:ceph /dev/ceph-4215fc70-98a5-4c54-9418-82ceb3d1789b/osd-block-13d2c5d3-f4d9-4322-a88b-f1a13fc667eb
Running command: /usr/bin/chown -R ceph:ceph /dev/dm-0
Running command: /usr/bin/ln -s /dev/ceph-4215fc70-98a5-4c54-9418-82ceb3d1789b/osd-block-13d2c5d3-f4d9-4322-a88b-f1a13fc667eb /var/lib/ceph/osd/ceph-1/block
Running command: /usr/bin/ceph --cluster ceph --name client.bootstrap-osd --keyring /var/lib/ceph/bootstrap-osd/ceph.keyring mon getmap -o /var/lib/ceph/osd/ceph-1/activate.monmap
 stderr: got monmap epoch 2
Running command: /usr/bin/ceph-authtool /var/lib/ceph/osd/ceph-1/keyring --create-keyring --name osd.1 --add-key AQDwDbFlWUVCFxAAZdIn5toNJP61csUxn4Omww==
 stdout: creating /var/lib/ceph/osd/ceph-1/keyring
added entity osd.1 auth(key=AQDwDbFlWUVCFxAAZdIn5toNJP61csUxn4Omww==)
Running command: /usr/bin/chown -R ceph:ceph /var/lib/ceph/osd/ceph-1/keyring
Running command: /usr/bin/chown -R ceph:ceph /var/lib/ceph/osd/ceph-1/
Running command: /usr/bin/ceph-osd --cluster ceph --osd-objectstore bluestore --mkfs -i 1 --monmap /var/lib/ceph/osd/ceph-1/activate.monmap --keyfile - --osd-data /var/lib/ceph/osd/ceph-1/ --osd-uuid 13d2c5d3-f4d9-4322-a88b-f1a13fc667eb --setuser ceph --setgroup ceph
 stderr: 2024-01-24T13:17:38.899+0000 7fc37e9b1d80 -1 bluestore(/var/lib/ceph/osd/ceph-1/) _read_fsid unparsable uuid
 stderr: 2024-01-24T13:17:39.383+0000 7fc37e9b1d80 -1 freelist read_size_meta_from_db missing size meta in DB
--> ceph-volume lvm prepare successful for: /dev/sdb1
Running command: /usr/bin/chown -R ceph:ceph /var/lib/ceph/osd/ceph-1
Running command: /usr/bin/ceph-bluestore-tool --cluster=ceph prime-osd-dir --dev /dev/ceph-4215fc70-98a5-4c54-9418-82ceb3d1789b/osd-block-13d2c5d3-f4d9-4322-a88b-f1a13fc667eb --path /var/lib/ceph/osd/ceph-1 --no-mon-config
Running command: /usr/bin/ln -snf /dev/ceph-4215fc70-98a5-4c54-9418-82ceb3d1789b/osd-block-13d2c5d3-f4d9-4322-a88b-f1a13fc667eb /var/lib/ceph/osd/ceph-1/block
Running command: /usr/bin/chown -h ceph:ceph /var/lib/ceph/osd/ceph-1/block
Running command: /usr/bin/chown -R ceph:ceph /dev/dm-0
Running command: /usr/bin/chown -R ceph:ceph /var/lib/ceph/osd/ceph-1
Running command: /usr/bin/systemctl enable ceph-volume@lvm-1-13d2c5d3-f4d9-4322-a88b-f1a13fc667eb
 stderr: Created symlink /etc/systemd/system/multi-user.target.wants/ceph-volume@lvm-1-13d2c5d3-f4d9-4322-a88b-f1a13fc667eb.service → /lib/systemd/system/ceph-volume@.service.
Running command: /usr/bin/systemctl enable --runtime ceph-osd@1
 stderr: Created symlink /run/systemd/system/ceph-osd.target.wants/ceph-osd@1.service → /lib/systemd/system/ceph-osd@.service.
Running command: /usr/bin/systemctl start ceph-osd@1
--> ceph-volume lvm activate successful for osd ID: 1
--> ceph-volume lvm create successful for: /dev/sdb1
ceph.conf                                                                                                                                                                     100%  302   450.2KB/s   00:00    
ceph.client.admin.keyring                                                                                                                                                     100%  151   223.2KB/s   00:00    
ceph.keyring                                                                                                                                                                  100%  129   131.4KB/s   00:00    
Running command: /usr/bin/ceph-authtool --gen-print-key
Running command: /usr/bin/ceph --cluster ceph --name client.bootstrap-osd --keyring /var/lib/ceph/bootstrap-osd/ceph.keyring -i - osd new ede89d07-4141-40c7-96e9-996ffc3c20ee
Running command: vgcreate --force --yes ceph-17dd4ee8-1391-4b6b-a423-6697695c274d /dev/sdb1
 stdout: Physical volume "/dev/sdb1" successfully created.
 stdout: Volume group "ceph-17dd4ee8-1391-4b6b-a423-6697695c274d" successfully created
Running command: lvcreate --yes -l 25599 -n osd-block-ede89d07-4141-40c7-96e9-996ffc3c20ee ceph-17dd4ee8-1391-4b6b-a423-6697695c274d
 stdout: Logical volume "osd-block-ede89d07-4141-40c7-96e9-996ffc3c20ee" created.
Running command: /usr/bin/ceph-authtool --gen-print-key
Running command: /usr/bin/mount -t tmpfs tmpfs /var/lib/ceph/osd/ceph-2
--> Executable selinuxenabled not in PATH: /usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/sbin:/bin:/usr/games:/usr/local/games:/snap/bin
Running command: /usr/bin/chown -h ceph:ceph /dev/ceph-17dd4ee8-1391-4b6b-a423-6697695c274d/osd-block-ede89d07-4141-40c7-96e9-996ffc3c20ee
Running command: /usr/bin/chown -R ceph:ceph /dev/dm-0
Running command: /usr/bin/ln -s /dev/ceph-17dd4ee8-1391-4b6b-a423-6697695c274d/osd-block-ede89d07-4141-40c7-96e9-996ffc3c20ee /var/lib/ceph/osd/ceph-2/block
Running command: /usr/bin/ceph --cluster ceph --name client.bootstrap-osd --keyring /var/lib/ceph/bootstrap-osd/ceph.keyring mon getmap -o /var/lib/ceph/osd/ceph-2/activate.monmap
 stderr: got monmap epoch 2
Running command: /usr/bin/ceph-authtool /var/lib/ceph/osd/ceph-2/keyring --create-keyring --name osd.2 --add-key AQD6DbFl4lpXLxAAzqPni7aJ3Z8diLuDD8ru8A==
 stdout: creating /var/lib/ceph/osd/ceph-2/keyring
added entity osd.2 auth(key=AQD6DbFl4lpXLxAAzqPni7aJ3Z8diLuDD8ru8A==)
Running command: /usr/bin/chown -R ceph:ceph /var/lib/ceph/osd/ceph-2/keyring
Running command: /usr/bin/chown -R ceph:ceph /var/lib/ceph/osd/ceph-2/
Running command: /usr/bin/ceph-osd --cluster ceph --osd-objectstore bluestore --mkfs -i 2 --monmap /var/lib/ceph/osd/ceph-2/activate.monmap --keyfile - --osd-data /var/lib/ceph/osd/ceph-2/ --osd-uuid ede89d07-4141-40c7-96e9-996ffc3c20ee --setuser ceph --setgroup ceph
 stderr: 2024-01-24T13:17:49.460+0000 7f8c4db27d80 -1 bluestore(/var/lib/ceph/osd/ceph-2/) _read_fsid unparsable uuid
 stderr: 2024-01-24T13:17:49.975+0000 7f8c4db27d80 -1 freelist read_size_meta_from_db missing size meta in DB
--> ceph-volume lvm prepare successful for: /dev/sdb1
Running command: /usr/bin/chown -R ceph:ceph /var/lib/ceph/osd/ceph-2
Running command: /usr/bin/ceph-bluestore-tool --cluster=ceph prime-osd-dir --dev /dev/ceph-17dd4ee8-1391-4b6b-a423-6697695c274d/osd-block-ede89d07-4141-40c7-96e9-996ffc3c20ee --path /var/lib/ceph/osd/ceph-2 --no-mon-config
Running command: /usr/bin/ln -snf /dev/ceph-17dd4ee8-1391-4b6b-a423-6697695c274d/osd-block-ede89d07-4141-40c7-96e9-996ffc3c20ee /var/lib/ceph/osd/ceph-2/block
Running command: /usr/bin/chown -h ceph:ceph /var/lib/ceph/osd/ceph-2/block
Running command: /usr/bin/chown -R ceph:ceph /dev/dm-0
Running command: /usr/bin/chown -R ceph:ceph /var/lib/ceph/osd/ceph-2
Running command: /usr/bin/systemctl enable ceph-volume@lvm-2-ede89d07-4141-40c7-96e9-996ffc3c20ee
 stderr: Created symlink /etc/systemd/system/multi-user.target.wants/ceph-volume@lvm-2-ede89d07-4141-40c7-96e9-996ffc3c20ee.service → /lib/systemd/system/ceph-volume@.service.
Running command: /usr/bin/systemctl enable --runtime ceph-osd@2
 stderr: Created symlink /run/systemd/system/ceph-osd.target.wants/ceph-osd@2.service → /lib/systemd/system/ceph-osd@.service.
Running command: /usr/bin/systemctl start ceph-osd@2
--> ceph-volume lvm activate successful for osd ID: 2
--> ceph-volume lvm create successful for: /dev/sdb1

Bạn hãy làm tương tự cho các ổ đĩa sdc và sdd. Dưới đây là các đoạn shell tương ứng cho các ổ đĩa.

Ví dụ cho shell ổ đĩa sdc.

shell> for NODE in ceph-node1 ceph-node2 ceph-node3
do
    ssh $NODE \
    "chown ceph. /etc/ceph/ceph.* /var/lib/ceph/bootstrap-osd/*; \
    parted --script /dev/sdc 'mklabel gpt'; \
    parted --script /dev/sdc "mkpart primary 0% 100%"; \
    ceph-volume lvm create --data /dev/sdc1"
done

Ví dụ cho shell ổ đĩa sdd.

shell> for NODE in ceph-node1 ceph-node2 ceph-node3
do
    ssh $NODE \
    "chown ceph. /etc/ceph/ceph.* /var/lib/ceph/bootstrap-osd/*; \
    parted --script /dev/sdd 'mklabel gpt'; \
    parted --script /dev/sdd "mkpart primary 0% 100%"; \
    ceph-volume lvm create --data /dev/sdd1"
done

4. Kiểm tra kết quả.

Sử dụng lệnh ceph -s.

Sử dụng lệnh ceph -s để hiển thị trạng thái tổng quan của cụm Ceph, bao gồm số lượng monitor, OSD, cũng như thông tin về việc sử dụng lưu trữ.

shell> ceph -s
  cluster:
    id:     0aed20ae-5941-4578-aedb-c78fdfd75bdf
    health: HEALTH_WARN
            mon is allowing insecure global_id reclaim
 
  services:
    mon: 1 daemons, quorum ceph-node1 (age 12m)
    mgr: ceph-node1(active, since 12m)
    osd: 9 osds: 9 up (since 30s), 9 in (since 30s)
 
  task status:
 
  data:
    pools:   1 pools, 1 pgs
    objects: 0 objects, 0 B
    usage:   9.1 GiB used, 891 GiB / 900 GiB avail
    pgs:     1 active+clean

Nhìn kết quả của ceph -s bạn sẽ thấy có 9 OSDs tương ứng với 3 node đã xuất hiện.

osd: 9 osds: 9 up (since 30s), 9 in (since 30s)

Sử dụng lệnh ceph osd tree .

Sử dụng lệnh ceph osd tree để hiển thị cấu trúc cây của các OSD trong cụm. Nó cho thấy mối quan hệ giữa các OSD, host và rack trong cụm, giúp bạn hiểu rõ hơn về cách dữ liệu được phân phối và lưu trữ.

shell> ceph osd tree
ID  CLASS  WEIGHT   TYPE NAME                   STATUS  REWEIGHT  PRI-AFF
-1         0.87918  root default                                         
-3         0.29306      host ceph-node1-13-231                           
 0    hdd  0.09769          osd.0                   up   1.00000  1.00000
 5    hdd  0.09769          osd.5                   up   1.00000  1.00000
 8    hdd  0.09769          osd.8                   up   1.00000  1.00000
-5         0.29306      host ceph-node2-13-232                           
 1    hdd  0.09769          osd.1                   up   1.00000  1.00000
 6    hdd  0.09769          osd.6                   up   1.00000  1.00000
 7    hdd  0.09769          osd.7                   up   1.00000  1.00000
-7         0.29306      host ceph-node3-13-233                           
 2    hdd  0.09769          osd.2                   up   1.00000  1.00000
 3    hdd  0.09769          osd.3                   up   1.00000  1.00000
 4    hdd  0.09769          osd.4                   up   1.00000  1.00000

Sử dụng lệnh ceph df.

Sử dụng lệnh ceph df để hiển thị thông tin về việc sử dụng lưu trữ trong cụm. Nó cho thấy tổng dung lượng, dung lượng đã sử dụng và dung lượng còn trống của cụm, cũng như thông tin tương tự cho từng storage pool.

shell> ceph df
--- RAW STORAGE ---
CLASS  SIZE     AVAIL    USED    RAW USED  %RAW USED
hdd    900 GiB  891 GiB  72 MiB   9.1 GiB       1.01
TOTAL  900 GiB  891 GiB  72 MiB   9.1 GiB       1.01
 
--- POOLS ---
POOL                   ID  PGS  STORED  OBJECTS  USED  %USED  MAX AVAIL
device_health_metrics   1    1     0 B        0   0 B      0    282 GiB

Sử dụng lệnh ceph osd df:

Sử dụng lệnh ceph osd df để hiển thị thông tin về việc sử dụng lưu trữ của từng OSD. Nó cho thấy dung lượng, dung lượng đã sử dụng, và dung lượng còn trống của từng OSD, giúp bạn xác định xem có OSD nào đang bị quá tải hay không.

shell> ceph osd df
ID  CLASS  WEIGHT   REWEIGHT  SIZE     RAW USE  DATA     OMAP  META   AVAIL    %USE  VAR   PGS  STATUS
 0    hdd  0.09769   1.00000  100 GiB  1.0 GiB    8 MiB   0 B  1 GiB   99 GiB  1.01  1.00    1      up
 5    hdd  0.09769   1.00000  100 GiB  1.0 GiB    8 MiB   0 B  1 GiB   99 GiB  1.01  1.00    0      up
 8    hdd  0.09769   1.00000  100 GiB  1.0 GiB    8 MiB   0 B  1 GiB   99 GiB  1.01  1.00    0      up
 1    hdd  0.09769   1.00000  100 GiB  1.0 GiB  7.9 MiB   0 B  1 GiB   99 GiB  1.01  1.00    0      up
 6    hdd  0.09769   1.00000  100 GiB  1.0 GiB    8 MiB   0 B  1 GiB   99 GiB  1.01  1.00    0      up
 7    hdd  0.09769   1.00000  100 GiB  1.0 GiB    8 MiB   0 B  1 GiB   99 GiB  1.01  1.00    1      up
 2    hdd  0.09769   1.00000  100 GiB  1.0 GiB    8 MiB   0 B  1 GiB   99 GiB  1.01  1.00    1      up
 3    hdd  0.09769   1.00000  100 GiB  1.0 GiB    8 MiB   0 B  1 GiB   99 GiB  1.01  1.00    0      up
 4    hdd  0.09769   1.00000  100 GiB  1.0 GiB    8 MiB   0 B  1 GiB   99 GiB  1.01  1.00    0      up
                       TOTAL  900 GiB  9.1 GiB   72 MiB   0 B  9 GiB  891 GiB  1.01                   
MIN/MAX VAR: 1.00/1.00  STDDEV: 0

Kiểm tra trạng thái ổ đĩa sau khi thêm ổ đĩa vào Ceph.

Kết quả của lệnh lsblk bạn sẽ thấy ổ đĩa sdb, sdc và sdd trên mỗi node đã được thêm vào Ceph sử dụng cho mục đích OSD.

shell> lsblk 
NAME                                                                                                    MAJ:MIN RM  SIZE RO TYPE MOUNTPOINT
loop0                                                                                                     7:0    0 63.5M  1 loop /snap/core20/2015
loop1                                                                                                     7:1    0 40.9M  1 loop /snap/snapd/20290
loop2                                                                                                     7:2    0 91.9M  1 loop /snap/lxd/24061
sda                                                                                                       8:0    0   50G  0 disk 
├─sda1                                                                                                    8:1    0 49.9G  0 part /
├─sda14                                                                                                   8:14   0    4M  0 part 
└─sda15                                                                                                   8:15   0  106M  0 part /boot/efi
sdb                                                                                                       8:16   0  100G  0 disk 
└─sdb1                                                                                                    8:17   0  100G  0 part 
  └─ceph--7800a513--d643--4561--b747--b737bbe20197-osd--block--06b34abc--13cb--4c3f--b528--0b75ebaaaede 253:0    0  100G  0 lvm  
sdc                                                                                                       8:32   0  100G  0 disk 
└─sdc1                                                                                                    8:33   0  100G  0 part 
  └─ceph--c265f1c4--976f--4986--b9ca--503a91685051-osd--block--144bea6e--7fff--4d99--886c--e8cfe8485b5a 253:1    0  100G  0 lvm  
sdd                                                                                                       8:48   0  100G  0 disk 
└─sdd1                                                                                                    8:49   0  100G  0 part 
  └─ceph--54e04808--0052--4803--95ac--1f66d1787efd-osd--block--7184affd--34a4--47ab--80ea--c216b04eb035 253:2    0  100G  0 lvm  
sr0                                                                                                      11:0    1    4M  0 rom

Kết quả tương tự cho lệnh df -h.

shell> df -h
Filesystem      Size  Used Avail Use% Mounted on
udev            3.9G     0  3.9G   0% /dev
tmpfs           795M  1.2M  794M   1% /run
/dev/sda1        49G  2.5G   46G   6% /
tmpfs           3.9G     0  3.9G   0% /dev/shm
tmpfs           5.0M     0  5.0M   0% /run/lock
tmpfs           3.9G     0  3.9G   0% /sys/fs/cgroup
/dev/loop0       64M   64M     0 100% /snap/core20/2015
/dev/sda15      105M  6.1M   99M   6% /boot/efi
/dev/loop2       92M   92M     0 100% /snap/lxd/24061
/dev/loop1       41M   41M     0 100% /snap/snapd/20290
tmpfs           795M     0  795M   0% /run/user/0
tmpfs           3.9G   52K  3.9G   1% /var/lib/ceph/osd/ceph-0
tmpfs           3.9G   52K  3.9G   1% /var/lib/ceph/osd/ceph-5
tmpfs           3.9G   52K  3.9G   1% /var/lib/ceph/osd/ceph-8

[Ceph] – Phần 2: Thiết lập các thiết bị lưu trữ đối tượng (OSD)

Bài viết gần đây

Yêu cầu hệ thống cho giao diện Newspaper trên WordPress

Hướng dẫn cài đặt và sử dụng Dell PercCLI trên Linux

Công cụ tạo biểu đồ trực quan từ kết quả benchmark FIO

Giám sát NGINX theo thời gian thực với Fluent Bit và OpenObserve

Tùy chỉnh Creative Style trên Sony A6400 chân dung hồng dịu

Related Stories

Leave A Reply Cancel reply

Đăng ký nhận thông tin bài viết qua email