🧭 Tổng quan
Trong quá trình triển khai Ceph với cephadm và orchestrator, bạn có thể gặp lỗi không mong muốn như:
RuntimeError: Device /dev/sde has a filesystem.
Đây là lỗi thường thấy khi tạo OSD bằng ceph orch apply osd ... và nguyên nhân là vì Ceph yêu cầu các ổ đĩa dùng làm OSD phải sạch hoàn toàn, không chứa partition, filesystem, hoặc metadata từ các ứng dụng khác (như LVM, ext4, xfs…).
Bài viết này sẽ hướng dẫn bạn xử lý sự cố trên một cách chi tiết, an toàn và có thể áp dụng trong môi trường production.
🧪 Mô tả sự cố thực tế
Trên node Ceph MON:
ceph health detail
Trả về:
shell> ceph health detail
HEALTH_WARN Failed to apply 1 service(s): osd.osd_SSD_1.9TB; failed to probe daemons or devices
[WRN] CEPHADM_APPLY_SPEC_FAIL: Failed to apply 1 service(s): osd.osd_SSD_1.9TB
osd.osd_SSD_1.9TB: cephadm exited with an error code: 1, stderr:Non-zero exit code 1 from /usr/bin/podman run --rm --ipc=host --stop-signal=SIGTERM --net=host --entrypoint /usr/sbin/ceph-volume --privileged --group-add=disk --init -e CONTAINER_IMAGE=172.16.21.13:5000/ceph/ceph@sha256:c7baf2afe0677eb1a36205ef4a6f1958e3b64234a64a897cad50617bcb28becf -e NODE_NAME=CEPH-LAB-OSD-006 -e CEPH_USE_RANDOM_NONCE=1 -e CEPH_VOLUME_OSDSPEC_AFFINITY=osd_SSD_1.9TB -e CEPH_VOLUME_SKIP_RESTORECON=yes -e CEPH_VOLUME_DEBUG=1 -v /var/run/ceph/9efd2cce-365b-11ee-853e-a59020fddc84:/var/run/ceph:z -v /var/log/ceph/9efd2cce-365b-11ee-853e-a59020fddc84:/var/log/ceph:z -v /var/lib/ceph/9efd2cce-365b-11ee-853e-a59020fddc84/crash:/var/lib/ceph/crash:z -v /run/systemd/journal:/run/systemd/journal -v /dev:/dev -v /run/udev:/run/udev -v /sys:/sys -v /run/lvm:/run/lvm -v /run/lock/lvm:/run/lock/lvm -v /:/rootfs -v /tmp/ceph-tmp073etakk:/etc/ceph/ceph.conf:z -v /tmp/ceph-tmp5kzod89v:/var/lib/ceph/bootstrap-osd/ceph.keyring:z 172.16.21.13:5000/ceph/ceph@sha256:c7baf2afe0677eb1a36205ef4a6f1958e3b64234a64a897cad50617bcb28becf lvm batch --no-auto /dev/sdb /dev/sdc /dev/sdd /dev/sde /dev/sdf /dev/sdg /dev/sdh /dev/sdi /dev/sdj /dev/sdk /dev/sdl /dev/sdm /dev/sdn /dev/sdo /dev/sdp /dev/sdq /dev/sdr /dev/sds /dev/sdt /dev/sdu /dev/sdv /dev/sdw --yes --no-systemd
/usr/bin/podman: stderr Traceback (most recent call last):
/usr/bin/podman: stderr File "/usr/sbin/ceph-volume", line 11, in <module>
/usr/bin/podman: stderr load_entry_point('ceph-volume==1.0.0', 'console_scripts', 'ceph-volume')()
/usr/bin/podman: stderr File "/usr/lib/python3.6/site-packages/ceph_volume/main.py", line 41, in __init__
/usr/bin/podman: stderr self.main(self.argv)
/usr/bin/podman: stderr File "/usr/lib/python3.6/site-packages/ceph_volume/decorators.py", line 59, in newfunc
/usr/bin/podman: stderr return f(*a, **kw)
/usr/bin/podman: stderr File "/usr/lib/python3.6/site-packages/ceph_volume/main.py", line 153, in main
/usr/bin/podman: stderr terminal.dispatch(self.mapper, subcommand_args)
/usr/bin/podman: stderr File "/usr/lib/python3.6/site-packages/ceph_volume/terminal.py", line 194, in dispatch
/usr/bin/podman: stderr instance.main()
/usr/bin/podman: stderr File "/usr/lib/python3.6/site-packages/ceph_volume/devices/lvm/main.py", line 46, in main
/usr/bin/podman: stderr terminal.dispatch(self.mapper, self.argv)
/usr/bin/podman: stderr File "/usr/lib/python3.6/site-packages/ceph_volume/terminal.py", line 192, in dispatch
/usr/bin/podman: stderr instance = mapper.get(arg)(argv[count:])
/usr/bin/podman: stderr File "/usr/lib/python3.6/site-packages/ceph_volume/devices/lvm/batch.py", line 348, in __init__
/usr/bin/podman: stderr self.args = parser.parse_args(argv)
/usr/bin/podman: stderr File "/usr/lib64/python3.6/argparse.py", line 1734, in parse_args
/usr/bin/podman: stderr args, argv = self.parse_known_args(args, namespace)
/usr/bin/podman: stderr File "/usr/lib64/python3.6/argparse.py", line 1766, in parse_known_args
/usr/bin/podman: stderr namespace, args = self._parse_known_args(args, namespace)
/usr/bin/podman: stderr File "/usr/lib64/python3.6/argparse.py", line 1954, in _parse_known_args
/usr/bin/podman: stderr positionals_end_index = consume_positionals(start_index)
/usr/bin/podman: stderr File "/usr/lib64/python3.6/argparse.py", line 1931, in consume_positionals
/usr/bin/podman: stderr take_action(action, args)
/usr/bin/podman: stderr File "/usr/lib64/python3.6/argparse.py", line 1824, in take_action
/usr/bin/podman: stderr argument_values = self._get_values(action, argument_strings)
/usr/bin/podman: stderr File "/usr/lib64/python3.6/argparse.py", line 2279, in _get_values
/usr/bin/podman: stderr value = [self._get_value(action, v) for v in arg_strings]
/usr/bin/podman: stderr File "/usr/lib64/python3.6/argparse.py", line 2279, in <listcomp>
/usr/bin/podman: stderr value = [self._get_value(action, v) for v in arg_strings]
/usr/bin/podman: stderr File "/usr/lib64/python3.6/argparse.py", line 2294, in _get_value
/usr/bin/podman: stderr result = type_func(arg_string)
/usr/bin/podman: stderr File "/usr/lib/python3.6/site-packages/ceph_volume/util/arg_validators.py", line 117, in __call__
/usr/bin/podman: stderr return self._format_device(self._is_valid_device())
/usr/bin/podman: stderr File "/usr/lib/python3.6/site-packages/ceph_volume/util/arg_validators.py", line 128, in _is_valid_device
/usr/bin/podman: stderr super()._is_valid_device(raise_sys_exit=False)
/usr/bin/podman: stderr File "/usr/lib/python3.6/site-packages/ceph_volume/util/arg_validators.py", line 105, in _is_valid_device
/usr/bin/podman: stderr super()._is_valid_device()
/usr/bin/podman: stderr File "/usr/lib/python3.6/site-packages/ceph_volume/util/arg_validators.py", line 76, in _is_valid_device
/usr/bin/podman: stderr raise RuntimeError("Device {} has a filesystem.".format(self.dev_path))
/usr/bin/podman: stderr RuntimeError: Device /dev/sde has a filesystem.
Traceback (most recent call last):
File "/var/lib/ceph/9efd2cce-365b-11ee-853e-a59020fddc84/cephadm.7ab03136237675497d535fb1b85d1d0f95bbe5b95f32cd4e6f3ca71a9f97bf3c", line 9653, in <module>
main()
File "/var/lib/ceph/9efd2cce-365b-11ee-853e-a59020fddc84/cephadm.7ab03136237675497d535fb1b85d1d0f95bbe5b95f32cd4e6f3ca71a9f97bf3c", line 9641, in main
r = ctx.func(ctx)
File "/var/lib/ceph/9efd2cce-365b-11ee-853e-a59020fddc84/cephadm.7ab03136237675497d535fb1b85d1d0f95bbe5b95f32cd4e6f3ca71a9f97bf3c", line 2153, in _infer_config
return func(ctx)
File "/var/lib/ceph/9efd2cce-365b-11ee-853e-a59020fddc84/cephadm.7ab03136237675497d535fb1b85d1d0f95bbe5b95f32cd4e6f3ca71a9f97bf3c", line 2069, in _infer_fsid
return func(ctx)
File "/var/lib/ceph/9efd2cce-365b-11ee-853e-a59020fddc84/cephadm.7ab03136237675497d535fb1b85d1d0f95bbe5b95f32cd4e6f3ca71a9f97bf3c", line 2181, in _infer_image
return func(ctx)
File "/var/lib/ceph/9efd2cce-365b-11ee-853e-a59020fddc84/cephadm.7ab03136237675497d535fb1b85d1d0f95bbe5b95f32cd4e6f3ca71a9f97bf3c", line 2056, in _validate_fsid
return func(ctx)
File "/var/lib/ceph/9efd2cce-365b-11ee-853e-a59020fddc84/cephadm.7ab03136237675497d535fb1b85d1d0f95bbe5b95f32cd4e6f3ca71a9f97bf3c", line 6254, in command_ceph_volume
out, err, code = call_throws(ctx, c.run_cmd(), verbosity=CallVerbosity.QUIET_UNLESS_ERROR)
File "/var/lib/ceph/9efd2cce-365b-11ee-853e-a59020fddc84/cephadm.7ab03136237675497d535fb1b85d1d0f95bbe5b95f32cd4e6f3ca71a9f97bf3c", line 1853, in call_throws
raise RuntimeError('Failed command: %s' % ' '.join(command))
RuntimeError: Failed command: /usr/bin/podman run --rm --ipc=host --stop-signal=SIGTERM --net=host --entrypoint /usr/sbin/ceph-volume --privileged --group-add=disk --init -e CONTAINER_IMAGE=172.16.21.13:5000/ceph/ceph@sha256:c7baf2afe0677eb1a36205ef4a6f1958e3b64234a64a897cad50617bcb28becf -e NODE_NAME=CEPH-LAB-OSD-006 -e CEPH_USE_RANDOM_NONCE=1 -e CEPH_VOLUME_OSDSPEC_AFFINITY=osd_SSD_1.9TB -e CEPH_VOLUME_SKIP_RESTORECON=yes -e CEPH_VOLUME_DEBUG=1 -v /var/run/ceph/9efd2cce-365b-11ee-853e-a59020fddc84:/var/run/ceph:z -v /var/log/ceph/9efd2cce-365b-11ee-853e-a59020fddc84:/var/log/ceph:z -v /var/lib/ceph/9efd2cce-365b-11ee-853e-a59020fddc84/crash:/var/lib/ceph/crash:z -v /run/systemd/journal:/run/systemd/journal -v /dev:/dev -v /run/udev:/run/udev -v /sys:/sys -v /run/lvm:/run/lvm -v /run/lock/lvm:/run/lock/lvm -v /:/rootfs -v /tmp/ceph-tmp073etakk:/etc/ceph/ceph.conf:z -v /tmp/ceph-tmp5kzod89v:/var/lib/ceph/bootstrap-osd/ceph.keyring:z 172.16.21.13:5000/ceph/ceph@sha256:c7baf2afe0677eb1a36205ef4a6f1958e3b64234a64a897cad50617bcb28becf lvm batch --no-auto /dev/sdb /dev/sdc /dev/sdd /dev/sde /dev/sdf /dev/sdg /dev/sdh /dev/sdi /dev/sdj /dev/sdk /dev/sdl /dev/sdm /dev/sdn /dev/sdo /dev/sdp /dev/sdq /dev/sdr /dev/sds /dev/sdt /dev/sdu /dev/sdv /dev/sdw --yes --no-systemdChúng ta để ý dòng này.
HEALTH_WARN Failed to apply 1 service(s): osd.osd_SSD_1.9TB; failed to probe daemons or devices
Chi tiết lỗi:
RuntimeError: Device /dev/sde has a filesystem.
Lỗi này xảy ra trong quá trình orchestrator gọi container ceph-volume để tạo OSD batch.
📌 Nguyên nhân
| Thành phần | Vai trò | Lỗi gây ra |
|---|---|---|
ceph-volume | Dùng để format disk và tạo OSD | Phát hiện disk còn FS |
/dev/sde | Disk được chọn làm OSD | Đã từng gắn filesystem, chưa được wipe sạch |
orchestrator | Điều phối container và OSD | Không thể xử lý disk không sạch |
⚙️ Hướng xử lý chi tiết
🔍 Bước 1: Xác minh ổ đĩa có filesystem
lsblk -f /dev/sde
Nếu cột FSTYPE hiện xfs, ext4, ntfs… ⇒ thiết bị chưa sạch.
🧹 Bước 2: Xóa sạch ổ đĩa
⚠️ CẢNH BÁO: Đảm bảo /dev/sde không chứa dữ liệu cần giữ!
Chạy:
wipefs -a /dev/sde
sgdisk --zap-all /dev/sde
partprobe /dev/sde
Giải thích:
wipefs -a: Xóa mọi filesystem signature.sgdisk --zap-all: Xóa GPT/MBR partition table.partprobe: Reload bảng phân vùng.
✨ Nên lặp lại bước này cho các disk khác như /dev/sdf, /dev/sdg nếu cần.
🔁 Bước 3: Thực hiện lại thao tác tạo OSD
Nếu bạn dùng file spec:
ceph orch apply osd -i osd_SSD_1.9TB.yamlHoặc:
ceph orch apply osd osd_SSD_1.9TB✅ Bước 4: Kiểm tra lại trạng thái sau khi sửa
ceph health detail
ceph orch ps | grep osd
Xác nhận không còn lỗi failed to probe daemons or devices.
📊 Sơ đồ luồng lỗi & xử lý (ASCII)
┌───────────────┐
│ Orchestrator │
└──────┬────────┘
│ gọi podman/ceph-volume
▼
┌───────────────┐
│ ceph-volume │──┐
└────┬──────────┘ │
▼ ▼
┌──────────────┐ ┌───────────────────────────┐
│ /dev/sde có │ │ Lỗi: "has a filesystem" │
│ filesystem │ └───────────────────────────┘
└──────────────┘
│
▼ wipefs/sgdisk
┌──────────────┐
│ Disk sạch OK │──> apply osd thành công
└──────────────┘
✅ Ưu điểm của quy trình này
| Ưu điểm | Mô tả |
|---|---|
| Chủ động xử lý lỗi | Không cần reset toàn bộ node |
| Không cần sửa spec | Vẫn giữ nguyên file spec nếu đã đúng |
| Có thể automation | Có thể viết script xử lý nhiều ổ đĩa |
❌ Nhược điểm cần lưu ý
| Nhược điểm | Ghi chú |
|---|---|
| Có thể xóa nhầm dữ liệu | Phải chắc chắn disk không chứa OSD cũ |
| Cần truy cập shell trên node OSD | Không thực hiện được nếu SSH bị chặn |
🧠 Lời khuyên khi triển khai OSD với Ceph Orchestrator
- Kiểm tra trước khi apply: Dùng
lsblk,blkid,wipefs -nđể kiểm tra tình trạng disk. - Chuẩn hóa disk sạch từ đầu: Với disk mới hoặc tái sử dụng, luôn wipe sạch trước khi chạy
apply. - Sử dụng automation: Nếu có nhiều node và disk, hãy viết script auto-clean.
Ví dụ script cleanup toàn bộ disk:
for dev in /dev/sd{e..w}; do
echo "Wiping $dev..."
wipefs -a $dev
sgdisk --zap-all $dev
partprobe $dev
done✅ Tổng kết
| Việc cần làm | Lệnh |
|---|---|
| Kiểm tra filesystem | lsblk -f /dev/sdX |
| Wipe disk sạch | wipefs -a, sgdisk --zap-all, partprobe |
| Deploy lại OSD | ceph orch apply osd ... |
| Kiểm tra lỗi Ceph | ceph health detail, ceph orch ps |
📌 Kết luận
Việc chuẩn bị thiết bị lưu trữ sạch sẽ là bước quan trọng trước khi triển khai OSD trong Ceph. Ceph Orchestrator rất nghiêm ngặt trong việc đảm bảo an toàn dữ liệu, do đó sẽ từ chối bất kỳ thiết bị nào có dấu hiệu từng được sử dụng.
Đầu tư kỹ ở bước chuẩn bị đĩa sẽ giúp bạn tránh được nhiều rắc rối khi vận hành cluster Ceph về sau.
