Vấn đề gỡ bỏ runtime override của injectargs khi daemon đang chạy trong Ceph

# Giá trị trong Config DB là 3
ceph config get osd osd_recovery_max_active_hdd
3

# Thay đổi tạm thời runtime thành 1
ceph tell 'osd.*' injectargs --osd-recovery-max-active-hdd=1

[Config DB] ---> (khởi động) ---> [Runtime Config]
                                  ↑
                                  injectargs (ghi đè)

ceph config set osd osd_recovery_max_active_hdd 3
ceph tell 'osd.*' injectargs --osd-recovery-max-active-hdd=3

# Runtime
ceph daemon osd.<ID> config show | jq '.osd_recovery_max_active_hdd'

# Config DB
ceph config get osd osd_recovery_max_active_hdd

cat <<'BASH' >/tmp/ceph_config_drift.sh
#!/usr/bin/env bash
set -euo pipefail

# 1. Danh sách tham số cần kiểm tra: nếu không truyền argv thì dùng mặc định
if [ "$#" -gt 0 ]; then
  PARAMS=("$@")
else
  PARAMS=(osd_recovery_max_active osd_recovery_op_priority osd_max_backfills osd_recovery_max_chunk)
fi

# 2. Mức song song
P=8

# 3. Cần jq
if ! command -v jq >/dev/null 2>&1; then
  echo "ERROR: jq không có trong PATH." >&2
  exit 1
fi

# 4. Thư mục tạm + file output
TMPDIR="$(mktemp -d)"
OUT_JSON="${PWD}/ceph-osd-config-drift.json"
export TMPDIR

# 5. Danh sách OSD
mapfile -t OSD_LIST < <(ceph osd ls | tr ' ' '\n' | sed '/^$/d')

# 6. Xử lý từng OSD bằng ceph tell (không cần chạy trên host OSD)
printf "%s\n" "${OSD_LIST[@]}" | xargs -n1 -P "$P" -I{} bash -c '
  set -euo pipefail
  osd="$1"; shift
  keys=("$@")

  # Lấy runtime (JSON) qua ceph tell; tăng timeout nếu cụm chậm
  if ! RUNTIME_JSON="$(timeout 15s ceph tell "osd.${osd}" config show 2>/dev/null)"; then
    echo "SKIP osd.${osd}: ceph tell config show timeout/failed" >&2
    exit 0
  fi

  # Thu thập chênh lệch: "key \t db \t runtime"
  lines=""
  for key in "${keys[@]}"; do
    r="$(jq -r --arg k "$key" ".[\$k] // empty" <<<"$RUNTIME_JSON" | tr -d "\r" || true)"
    d="$(timeout 10s ceph config get "osd.${osd}" "$key" 2>/dev/null | tr -d "\r" || true)"
    if [ -z "$r" ] && [ -z "$d" ]; then
      continue
    fi
    if [ "$r" != "$d" ]; then
      lines+="${key}\t${d}\t${r}\n"
    fi
  done

  # Nếu có drift, ghi ra JSON cho OSD này
  if [ -n "$lines" ]; then
    printf "%b" "$lines" | jq -R -s \
      '\''split("\n") | map(select(length>0)) | map(split("\t") | {key: .[0], db: .[1], runtime: .[2]})'\'' \
      > "$TMPDIR/$osd.drift.json"

    jq -n --arg osd "$osd" --slurpfile arr "$TMPDIR/$osd.drift.json" \
      '\''{osd:$osd, drift:$arr[0]}'\'' > "$TMPDIR/$osd.json"

    rm -f "$TMPDIR/$osd.drift.json"
  fi
' _ {} "${PARAMS[@]}"

# 7. Ghép kết quả; sort theo OSD và sort các key drift
if ls "$TMPDIR"/*.json >/dev/null 2>&1; then
  jq -s '
    map(. | .osd = (.osd|tonumber)) |
    sort_by(.osd) |
    map(.drift |= (sort_by(.key))) |
    map(. | .osd = (.osd|tostring))
  ' "$TMPDIR"/*.json > "$OUT_JSON"
else
  echo "[]" > "$OUT_JSON"
fi

rm -rf "$TMPDIR"
echo "Wrote $OUT_JSON"
BASH

bash /tmp/ceph_config_drift.sh

cat /home/hoanghd3/ceph-osd-config-drift.json
[
  {
    "osd": "8",
    "drift": [
      {
        "key": "osd_recovery_max_chunk",
        "db": "8388608",
        "runtime": "2097152"
      }
    ]
  },
  {
    "osd": "9",
    "drift": [
      {
        "key": "osd_recovery_max_chunk",
        "db": "8388608",
        "runtime": "2097152"
      }
    ]
  }
]