로그인 회원가입
모두인포
전체IT경제사회생활스포츠시사여행연애

Kubernetes 백업과 복구 완벽 이해: etcd, Velero, PersistentVolume Snapshot 및 재해 복구(DR)

admin · 2026-11-17 · 조회 4
Kubernetes 백업과 복구 완벽 이해: etcd, Velero, PersistentVolume Snapshot 및 재해 복구(DR)

Kubernetes 백업과 복구 완벽 이해: etcd, Velero, PersistentVolume Snapshot 및 재해 복구(DR)


1. Kubernetes에서 백업이 중요한 이유

Kubernetes는 여러 구성 요소가 유기적으로 연결되어 동작하는 컨테이너 오케스트레이션 플랫폼이다.

운영 중인 Kubernetes 클러스터에서 장애가 발생하면 단순히 Pod를 재시작하는 것만으로 해결되지 않는 경우가 많다.

예를 들어 다음과 같은 상황을 생각해 보자.


  • Control Plane 서버가 물리적으로 고장 났다.
  • etcd 데이터가 손상되어 Kubernetes 리소스 정보를 읽을 수 없다.
  • Namespace 또는 Deployment가 실수로 삭제되었다.
  • PersistentVolume에 저장된 데이터가 손상되었다.
  • 데이터베이스에서 잘못된 UPDATE 또는 DELETE가 실행되었다.
  • 스토리지 장애로 여러 Pod의 데이터가 동시에 유실되었다.

이러한 장애에 대비하려면 Kubernetes 리소스와 실제 애플리케이션 데이터를 구분해서 백업해야 한다.


Kubernetes에서 백업해야 하는 대상

백업 대상주요 내용백업 방법etcdKubernetes 클러스터 상태 정보etcd snapshotKubernetes 리소스Deployment, Service, ConfigMap, Secret 등Velero, YAML 백업PersistentVolume애플리케이션 파일 및 데이터CSI Snapshot, 파일 백업DatabaseMySQL, PostgreSQL 데이터DB 자체 백업 도구설정 및 인증서kubeconfig, 인증서, 설정 파일별도 파일 백업외부 시스템DNS, LB, 방화벽, 스토리지 설정별도 구성 백업

여기서 가장 중요한 사실이 있다.

etcd 백업만으로 Kubernetes에 저장된 모든 데이터가 백업되는 것은 아니다.

etcd에는 Kubernetes API 리소스의 상태 정보가 저장되지만, NFS나 SAN, 클라우드 디스크 등에 저장된 PersistentVolume의 실제 파일 데이터는 별도로 백업해야 한다.

예를 들어 etcd에 다음과 같은 PVC 정보가 저장되어 있다고 가정하자.


PVC: mysql-data
PV: pv-mysql
Storage: 100Gi
Status: Bound

etcd 백업에는 PVC와 PV의 Kubernetes 객체 정보가 포함될 수 있지만, 실제 MySQL 데이터 파일까지 포함되는 것은 아니다.

따라서 운영 환경에서는 다음 세 가지 백업을 함께 고려해야 한다.


  1. etcd 백업
  2. Kubernetes 리소스 백업
  3. PersistentVolume 및 데이터베이스 백업



2. RPO와 RTO 이해하기

백업 정책을 수립할 때 가장 먼저 이해해야 하는 개념이 RPO와 RTO다.


2.1 RPO(Recovery Point Objective)

RPO는 장애 발생 시 어느 시점까지의 데이터를 복구할 수 있어야 하는지를 의미한다.

쉽게 말하면 허용 가능한 데이터 손실 시간이다.

예를 들어 다음과 같다.

백업 주기장애 발생 시 예상 데이터 손실 범위24시간최대 약 24시간6시간최대 약 6시간1시간최대 약 1시간5분최대 약 5분

실제 손실 범위는 마지막으로 성공한 백업 시점과 장애 발생 시점에 따라 달라진다.


2.2 RTO(Recovery Time Objective)

RTO는 장애 발생 후 서비스를 정상화하는 데 허용되는 최대 시간을 의미한다.

예를 들어 다음과 같다.

서비스목표 RTO개발 환경24시간일반 사내 업무 시스템4시간중요 업무 시스템1시간핵심 금융 서비스수분 이내 등 별도 설계

RPO와 RTO는 서로 다른 개념이다.


  • RPO: 데이터가 얼마나 유실되어도 되는가?
  • RTO: 서비스 복구에 얼마나 시간이 걸려도 되는가?

예를 들어 RPO 1시간, RTO 2시간을 목표로 한다면 데이터는 최대 1시간 전까지 복구할 수 있어야 하고, 장애 발생 후 2시간 이내에 서비스를 복구해야 한다.



3. etcd 백업 구조와 동작 원리

etcd는 Kubernetes Control Plane의 핵심 데이터 저장소다.

Kubernetes에서 생성하는 대부분의 API 리소스 정보가 etcd에 저장된다.

대표적으로 다음 정보가 포함된다.


  • Namespace
  • Pod
  • Deployment
  • Service
  • ConfigMap
  • Secret
  • PersistentVolume
  • PersistentVolumeClaim
  • RBAC 정책
  • 기타 Kubernetes API 리소스

etcd가 정상적으로 동작하지 않으면 Kubernetes API Server가 클러스터 상태를 읽거나 변경하는 데 문제가 발생한다.


3.1 etcd 구조

             kubectl
                |
                v
          API Server
                |
                v
              etcd
                |
      +---------+---------+
      |         |         |
   Node 정보  Pod 정보  Service 정보
      |         |         |
      +---------+---------+
                |
          Kubernetes
          Cluster State

etcd는 단순한 파일 저장소가 아니라 분산 합의 알고리즘인 Raft를 기반으로 데이터를 관리한다.

운영 환경에서는 일반적으로 3개 이상의 Control Plane 노드로 구성해 고가용성을 확보한다.


3.2 etcd 실행 환경 확인

kubeadm 기반 Kubernetes에서 etcd는 일반적으로 Control Plane 노드의 Static Pod로 실행된다.

먼저 etcd Pod를 확인한다.


kubectl -n kube-system get pods -l component=etcd -o wide

Control Plane 노드에서 실행 중인 컨테이너도 확인한다.


crictl ps | grep etcd

etcd 설정 파일을 확인한다.


cat /etc/kubernetes/manifests/etcd.yaml

주요 항목은 다음과 같다.


--data-dir=/var/lib/etcd

--listen-client-urls=https://127.0.0.1:2379

--advertise-client-urls=https://192.168.10.10:2379

인증서 및 CA 경로도 확인해야 한다.

일반적인 kubeadm 환경에서는 다음 경로를 사용한다.


/etc/kubernetes/pki/etcd/ca.crt
/etc/kubernetes/pki/etcd/server.crt
/etc/kubernetes/pki/etcd/server.key

실제 경로는 반드시 해당 클러스터의 etcd manifest에서 확인한다.


3.3 etcd Snapshot 백업

etcd는 etcdctl snapshot save 명령으로 백업할 수 있다.

먼저 etcdctl 버전을 확인한다.


ETCDCTL_API=3 etcdctl version

백업 명령 예시는 다음과 같다.


ETCDCTL_API=3 etcdctl \
  --endpoints=https://127.0.0.1:2379 \
  --cacert=/etc/kubernetes/pki/etcd/ca.crt \
  --cert=/etc/kubernetes/pki/etcd/server.crt \
  --key=/etc/kubernetes/pki/etcd/server.key \
  snapshot save /backup/etcd-snapshot.db

백업이 완료되면 다음과 같이 확인한다.


ls -lh /backup/etcd-snapshot.db

Snapshot 상태 확인:


ETCDCTL_API=3 etcdctl snapshot status \
  /backup/etcd-snapshot.db \
  --write-out=table

정상적으로 백업되었다면 파일 크기와 해시 등의 정보를 확인할 수 있다.


3.4 날짜별 자동 백업 스크립트

운영 환경에서는 날짜별로 백업 파일을 생성하는 방식을 사용할 수 있다.


#!/bin/bash

BACKUP_DIR="/backup/etcd"
DATE=$(date +%Y%m%d_%H%M%S)
BACKUP_FILE="${BACKUP_DIR}/etcd-${DATE}.db"
LOG_FILE="${BACKUP_DIR}/backup.log"

mkdir -p "$BACKUP_DIR"

echo "[$(date)] etcd backup start" >> "$LOG_FILE"

ETCDCTL_API=3 etcdctl \
  --endpoints=https://127.0.0.1:2379 \
  --cacert=/etc/kubernetes/pki/etcd/ca.crt \
  --cert=/etc/kubernetes/pki/etcd/server.crt \
  --key=/etc/kubernetes/pki/etcd/server.key \
  snapshot save "$BACKUP_FILE" \
  >> "$LOG_FILE" 2>&1

if [ $? -eq 0 ]; then
    echo "[$(date)] backup success: $BACKUP_FILE" >> "$LOG_FILE"
else
    echo "[$(date)] backup failed" >> "$LOG_FILE"
    exit 1
fi

스크립트 실행 권한을 부여한다.


chmod 700 /root/etcd-backup.sh

Cron에 등록하면 매일 새벽 2시에 백업할 수 있다.


crontab -e
0 2 * * * /root/etcd-backup.sh

실제 운영 환경에서는 다음 사항도 적용해야 한다.


  • 백업 파일을 Control Plane 노드 외부로 복사한다.
  • 백업 파일의 무결성을 확인한다.
  • 암호화 및 접근 권한을 적용한다.
  • 보존 기간에 따라 오래된 백업을 정리한다.
  • 정기적으로 복구 테스트를 수행한다.

Control Plane 노드 내부에만 백업 파일을 보관하면 해당 서버가 물리적으로 고장 났을 때 백업도 함께 유실될 수 있다.



4. etcd 복구 절차

etcd 복구는 Kubernetes 운영 작업 중에서도 위험도가 높은 작업이다.

잘못된 복구 작업은 기존 클러스터 상태를 더 악화시킬 수 있다.

따라서 실제 운영 환경에서는 반드시 복구 계획과 작업 승인을 거쳐야 한다.


4.1 복구 전 확인 사항

먼저 다음 사항을 확인한다.


  1. 복구에 사용할 Snapshot 파일이 정상인지 확인한다.
  2. Snapshot 생성 시점과 장애 발생 시점을 확인한다.
  3. etcd 버전과 복구 대상 Kubernetes 버전의 호환성을 확인한다.
  4. 인증서 및 Control Plane 설정을 확보한다.
  5. 기존 etcd 데이터 디렉터리를 별도 보관한다.
  6. 복구 대상 노드와 다른 노드의 etcd 상태를 확인한다.

특히 etcd Snapshot을 복구할 때는 클러스터의 기존 etcd 데이터와 혼합하지 않도록 주의해야 한다.


4.2 etcd Snapshot Restore 개념

복구는 백업 파일을 새로운 데이터 디렉터리에 복원하는 방식으로 진행한다.

개념적인 명령은 다음과 같다.


ETCDCTL_API=3 etcdctl snapshot restore \
  /backup/etcd-snapshot.db \
  --data-dir=/var/lib/etcd-restored

이 명령은 기존 /var/lib/etcd를 직접 덮어쓰는 명령이 아니다.

새로운 데이터 디렉터리에 복구 데이터를 생성한다.

실제 복구에서는 다음 작업이 추가로 필요하다.


  • 기존 etcd 서비스의 안전한 중지
  • 기존 데이터 디렉터리 백업 및 격리
  • 복구 데이터 디렉터리의 권한 설정
  • etcd Static Pod manifest의 --data-dir 수정
  • 볼륨 마운트 경로 및 호스트 경로 확인
  • 클러스터 멤버십과 초기 클러스터 설정 확인
  • API Server 연결 상태 확인

kubeadm 환경의 etcd는 Static Pod이므로 manifest와 데이터 디렉터리의 연결 관계를 반드시 확인해야 한다.


4.3 복구 시 주의할 점

다음과 같은 명령을 운영 중인 노드에서 무작정 실행해서는 안 된다.


rm -rf /var/lib/etcd/*

기존 etcd 데이터가 영구적으로 삭제될 수 있다.

또한 etcd 버전과 복구 방식에 따라 etcdctl snapshot restore 대신 etcdutl snapshot restore를 사용하는 환경도 있다.

복구 명령과 옵션은 실제 설치된 etcd 버전의 공식 문서를 기준으로 확인해야 한다.

중요: 다중 Control Plane 환경에서 한 노드만 임의로 복구하면 다른 etcd 멤버와 상태가 불일치할 수 있다. 전체 클러스터 복구인지, 일부 멤버 장애 복구인지 먼저 판단해야 한다.



5. Velero를 이용한 Kubernetes 리소스 백업

etcd Snapshot은 클러스터 상태를 복구하는 데 유용하지만, Namespace나 특정 애플리케이션 단위로 백업하고 복원하는 작업에는 불편할 수 있다.

이러한 작업을 지원하는 대표적인 도구가 Velero다.

Velero는 Kubernetes 리소스 백업 및 복구를 지원하는 도구다.


5.1 Velero 구조

             Velero CLI
                 |
                 v
          Velero Controller
                 |
       +---------+----------+
       |                    |
       v                    v
 Kubernetes API       Volume Backup
       |                    |
       v                    v
 Deployment           CSI Snapshot
 Service              File System Backup
 ConfigMap                  |
 Secret                     |
       |                    |
       +----------+---------+
                  |
                  v
          Object Storage
             S3 / MinIO

Velero의 주요 구성 요소는 다음과 같다.

구성 요소역할Velero CLI백업 및 복구 명령 실행Velero Controller백업 및 복구 작업 관리BackupStorageLocation백업 파일 저장 위치VolumeSnapshot볼륨 스냅샷 관리Plugin클라우드 및 스토리지 연동Object Storage백업 데이터 보관

Velero는 Kubernetes API 리소스를 백업할 수 있다.

하지만 PV의 실제 데이터까지 자동으로 백업되는 것은 아니다.

볼륨 데이터 백업을 위해서는 다음 중 적절한 방식을 선택해야 한다.


  • CSI Volume Snapshot
  • File System Backup
  • Data Mover를 이용한 데이터 이동
  • 스토리지 자체 백업 기능

5.2 Velero 백업 대상 지정

Velero가 설치되어 있다고 가정하면 다음과 같이 전체 Namespace를 백업할 수 있다.


velero backup create full-backup

특정 Namespace만 백업하는 경우:


velero backup create database-backup \
  --include-namespaces database

Deployment와 Service 등 Kubernetes 리소스는 백업 대상에 포함될 수 있다.

백업 상태 확인:


velero backup get

상세 정보 확인:


velero backup describe database-backup

로그 확인:


velero backup logs database-backup

백업이 성공했는지뿐 아니라 경고와 오류가 있는지도 확인해야 한다.


5.3 Velero 복구

백업한 Namespace를 복구하는 명령은 다음과 같다.


velero restore create \
  --from-backup database-backup

복구 상태 확인:


velero restore get

상세 정보 확인:


velero restore describe <RESTORE_NAME>

로그 확인:


velero restore logs <RESTORE_NAME>

기존 Namespace와 리소스가 존재하면 충돌이나 복구 정책 문제가 발생할 수 있다.

따라서 실제 복구 전에는 기존 리소스 상태를 확인하고 별도 테스트 환경에서 먼저 검증하는 것이 안전하다.


5.4 Velero 정기 백업

매일 새벽 2시에 백업하는 예시다.


velero schedule create daily-backup \
  --schedule="0 2 * * *"

스케줄 확인:


velero schedule get

스케줄로 생성된 백업 확인:


velero backup get

백업 보존 기간, 저장소 용량, 실패 알림도 함께 설계해야 한다.

Velero 설치 방법은 Kubernetes 버전, Velero 버전, Object Storage 종류, CSI 드라이버에 따라 달라진다. 실제 설치 시에는 해당 버전에 맞는 공식 설치 문서와 플러그인 호환성을 확인해야 한다.



6. PersistentVolume Snapshot 백업

Kubernetes에서 실제 데이터를 저장하는 PersistentVolume은 별도로 보호해야 한다.

대표적인 방법은 CSI Volume Snapshot이다.

CSI Snapshot은 스토리지 시스템의 기능을 이용해 볼륨 상태를 특정 시점으로 보존하는 방식이다.


6.1 CSI Snapshot 구조

          Kubernetes
               |
               v
       VolumeSnapshot
               |
               v
    VolumeSnapshot Controller
               |
               v
          CSI Driver
               |
               v
        Storage System
               |
               v
        Snapshot Data

CSI Snapshot을 사용하려면 다음 구성 요소가 필요할 수 있다.


  • CSI Driver
  • Snapshot CRD
  • Snapshot Controller
  • CSI Snapshotter
  • VolumeSnapshotClass

CSI 드라이버가 Snapshot 기능을 지원해야 한다.


6.2 VolumeSnapshotClass

먼저 SnapshotClass를 생성한다.

아래 예시는 구조를 이해하기 위한 템플릿이다.


apiVersion: snapshot.storage.k8s.io/v1
kind: VolumeSnapshotClass
metadata:
  name: csi-snapshot-class
driver: example.csi.driver
deletionPolicy: Retain

driver 값은 실제 사용 중인 CSI 드라이버 이름으로 변경해야 한다.


6.3 VolumeSnapshot 생성

기존 PVC가 다음과 같다고 가정한다.


Namespace: database
PVC: mysql-data
Storage: 100Gi

Snapshot을 생성한다.


apiVersion: snapshot.storage.k8s.io/v1
kind: VolumeSnapshot
metadata:
  name: mysql-snapshot
  namespace: database
spec:
  volumeSnapshotClassName: csi-snapshot-class
  source:
    persistentVolumeClaimName: mysql-data

적용한다.


kubectl apply -f mysql-snapshot.yaml

상태를 확인한다.


kubectl get volumesnapshot -n database

상세 정보 확인:


kubectl describe volumesnapshot mysql-snapshot -n database

정상적으로 생성되면 READYTOUSE가 true로 표시된다.


6.4 Snapshot으로 PVC 복구

Snapshot을 기반으로 새로운 PVC를 생성할 수 있다.


apiVersion: v1
kind: PersistentVolumeClaim
metadata:
  name: mysql-data-restored
  namespace: database
spec:
  storageClassName: nfs-dynamic
  dataSource:
    name: mysql-snapshot
    kind: VolumeSnapshot
    apiGroup: snapshot.storage.k8s.io
  accessModes:
    - ReadWriteOnce
  resources:
    requests:
      storage: 100Gi

여기서 storageClassName과 용량은 실제 스토리지 환경에 맞춰야 한다.

특히 Snapshot 복구를 지원하지 않는 StorageClass 또는 CSI Driver에서는 이 방식이 동작하지 않는다.


6.5 Snapshot과 백업의 차이

Snapshot을 생성했다고 해서 백업이 완성된 것은 아니다.

구분Snapshot별도 백업생성 속도일반적으로 빠름데이터 크기에 따라 다름복구 속도빠른 편저장소 및 네트워크에 따라 다름동일 스토리지 장애함께 유실될 수 있음외부 보관 시 보호 가능장기 보관스토리지 정책에 의존보존 정책 설계 가능랜섬웨어 대응별도 보호 필요불변 백업 등 적용 가능

Snapshot은 빠른 복구를 위한 수단으로 활용하고, 중요한 데이터는 별도의 백업 저장소에도 보관해야 한다.



7. 데이터베이스 백업과 복구

Kubernetes에서 MySQL이나 PostgreSQL을 운영한다면 DB 자체의 백업 기능도 함께 사용해야 한다.

Kubernetes 리소스 백업과 DB 백업은 목적이 다르다.

예를 들어 StatefulSet을 복원해 MySQL Pod가 정상적으로 실행되더라도 데이터베이스 내부 데이터가 논리적으로 손상되어 있다면 서비스는 정상화되지 않는다.


7.1 MySQL 백업

MySQL 논리 백업 예시다.


mysqldump \
  --single-transaction \
  --routines \
  --triggers \
  --databases appdb \
  > appdb-backup.sql

주의할 점은 다음과 같다.


  • --single-transaction은 주로 InnoDB 테이블의 일관성 있는 논리 백업에 사용한다.
  • MyISAM 등 비트랜잭션 테이블은 별도 고려가 필요하다.
  • 쓰기 작업이 많은 환경에서는 백업 시점의 일관성을 검증해야 한다.
  • DB 계정과 비밀번호를 명령행에 직접 노출하지 않는 것이 좋다.

복구 예시:


mysql < appdb-backup.sql

실제 운영 환경에서는 복구 전에 대상 데이터베이스와 기존 데이터의 보존 여부를 반드시 확인해야 한다.


7.2 MySQL Point-in-Time Recovery

특정 시점으로 복구해야 하는 환경에서는 Binary Log를 활용할 수 있다.


Full Backup
    |
    v
Binary Log 1
    |
    v
Binary Log 2
    |
    v
Binary Log 3
    |
    v
장애 발생

전체 백업 이후 발생한 변경 사항을 Binary Log로 보관하면 특정 시점까지 데이터를 복구할 수 있다.

대표적인 확인 명령은 다음과 같다.


SHOW VARIABLES LIKE 'log_bin';
SHOW BINARY LOGS;

실제 복구에서는 전체 백업을 복원한 뒤 목표 시점까지의 Binary Log를 적용한다.


7.3 PostgreSQL 백업

PostgreSQL 논리 백업:


pg_dump -Fc -d appdb -f appdb-backup.dump

복구:


pg_restore \
  -d appdb \
  appdb-backup.dump

대규모 데이터베이스 또는 특정 시점 복구가 필요한 환경에서는 다음 기능도 고려한다.


  • pg_basebackup
  • WAL Archiving
  • Point-in-Time Recovery(PITR)

MySQL의 Binary Log와 PostgreSQL의 WAL은 데이터 변경 이력을 보존하고 복구하는 데 중요한 역할을 한다.


7.4 데이터베이스 백업 시 운영 주의 사항

DB 백업 파일을 Pod 내부에만 보관하면 안 된다.

Pod가 삭제되거나 노드가 장애를 일으키면 백업 파일도 함께 사라질 수 있기 때문이다.

권장 구조는 다음과 같다.


        Kubernetes Cluster
                |
                v
          Database Pod
                |
                v
           Backup Job
                |
                v
        Backup File Creation
                |
                v
        External Object Storage
             S3 / MinIO
                |
                v
         Off-site Backup

백업 파일은 별도 저장소로 전송하고 암호화 및 접근 제어를 적용해야 한다.



8. Kubernetes 재해 복구(DR) 시나리오

운영 환경에서는 장애 유형에 따라 복구 절차가 달라진다.

모든 장애에 etcd 복구를 수행할 필요는 없다.


8.1 Worker Node 장애

Worker Node 한 대가 고장 난 경우다.


Control Plane
     |
     +------------------+
     |                  |
     v                  v
Worker Node 1       Worker Node 2
   정상                 정상
     |
     X
Worker Node 3
   장애

이 경우 Control Plane과 etcd가 정상이라면 일반적으로 etcd 전체 복구는 필요하지 않다.

다음 명령으로 상태를 확인한다.


kubectl get nodes -o wide

Pod 상태 확인:


kubectl get pods -A -o wide

Node 상태 확인:


kubectl describe node <NODE_NAME>

장애 노드에 있던 Pod는 컨트롤러의 정책에 따라 다른 노드에서 재생성될 수 있다.

다만 로컬 디스크 데이터나 특정 노드에 종속된 볼륨은 별도 복구가 필요할 수 있다.


8.2 Control Plane 및 etcd 장애

Control Plane이 완전히 손상되었고 기존 etcd 데이터를 사용할 수 없는 상황이다.

이 경우 확보한 etcd Snapshot을 이용해 클러스터 상태를 복구해야 할 수 있다.

일반적인 복구 순서는 다음과 같다.


  1. 신규 또는 복구된 Control Plane 인프라 준비
  2. Kubernetes 및 etcd 버전 확인
  3. 인증서와 설정 파일 복원
  4. etcd Snapshot 복원
  5. etcd 멤버 및 API Server 연결 확인
  6. Control Plane 정상화
  7. Worker Node 연결 확인

다중 Control Plane 환경에서는 etcd 멤버십과 복구 범위를 정확히 결정해야 한다.


8.3 PersistentVolume 스토리지 장애

스토리지 자체가 손상된 경우다.

이 경우 etcd와 Kubernetes 리소스가 정상이어도 실제 데이터가 유실될 수 있다.

복구 방법은 다음과 같다.


  1. 신규 스토리지 또는 복구된 스토리지 준비
  2. CSI Driver 및 StorageClass 확인
  3. Snapshot 또는 외부 백업 데이터 복원
  4. 신규 PV/PVC 연결
  5. 애플리케이션 Pod 재기동
  6. 데이터 무결성 검증

8.4 데이터베이스 논리 장애

사용자 실수로 테이블을 삭제하거나 잘못된 데이터가 입력된 경우다.

이 경우 DB 자체 백업 또는 PITR을 활용해야 한다.

etcd Snapshot이나 Velero만으로 DB 내부 데이터를 원하는 시점으로 되돌릴 수 있는 것은 아니다.



9. 실제 운영 환경의 DR 복구 순서

전체 클러스터가 손상되었다고 가정하면 다음 순서로 복구 계획을 수립할 수 있다.


[1] 서버 및 네트워크 인프라 복구
             |
             v
[2] 스토리지 및 CSI 구성 복구
             |
             v
[3] Control Plane 및 etcd 복구
             |
             v
[4] Kubernetes API Server 정상화
             |
             v
[5] CNI 및 CSI 구성 확인
             |
             v
[6] Namespace 및 Kubernetes 리소스 복구
             |
             v
[7] PersistentVolume 데이터 복구
             |
             v
[8] Database 복구 및 무결성 확인
             |
             v
[9] Deployment / StatefulSet 기동
             |
             v
[10] Service / Ingress / DNS 확인
             |
             v
[11] 애플리케이션 서비스 검증

실제 환경에서는 네트워크, 스토리지, Control Plane의 의존 관계에 따라 순서가 달라질 수 있다.

특히 etcd가 정상적으로 복구되어도 외부 스토리지와 CNI가 정상적으로 연결되지 않으면 애플리케이션은 정상 서비스할 수 없다.



10. 백업 상태 모니터링과 정기 점검

백업은 생성 명령을 실행했다고 끝나는 작업이 아니다.

백업이 성공했는지, 복구 가능한 상태인지 지속적으로 확인해야 한다.


10.1 Velero 백업 확인

velero backup get

정상적인 백업은 Completed 상태인지 확인한다.

PartiallyFailed 또는 Failed 상태라면 상세 로그를 확인한다.


velero backup describe <BACKUP_NAME>
velero backup logs <BACKUP_NAME>

10.2 PVC 상태 확인

kubectl get pvc -A

PV 상태 확인:


kubectl get pv

VolumeSnapshot 상태 확인:


kubectl get volumesnapshot -A

10.3 백업 점검 항목

점검 항목확인 내용etcd Snapshot백업 파일 생성 여부Snapshot 무결성etcdctl 또는 etcdutl 상태 확인Velero BackupCompleted 여부 및 오류PV SnapshotREADYTOUSE 여부DB Backup백업 파일 생성 및 크기외부 저장소파일 전송 및 접근 가능 여부복구 테스트실제 복구 성공 여부보존 정책백업 파일 보존 기간보안암호화 및 접근 권한

10.4 반드시 복구 테스트를 수행해야 한다

백업 파일이 존재한다고 해서 반드시 복구할 수 있는 것은 아니다.

다음과 같은 테스트를 정기적으로 수행하는 것이 좋다.


  • etcd Snapshot을 별도 테스트 환경에서 복원
  • Velero를 이용해 테스트 Namespace 복원
  • PVC Snapshot으로 신규 PVC 생성
  • MySQL 백업 파일을 별도 DB에 복구
  • PostgreSQL 백업 및 WAL 복구 테스트
  • 전체 DR 절차를 문서화하고 모의훈련 진행

운영 환경에 영향을 주지 않도록 격리된 테스트 환경에서 수행해야 한다.



11. 실무 권장 Kubernetes 백업 정책

중요한 업무 시스템을 운영한다면 다음과 같은 정책을 시작점으로 삼을 수 있다.

대상백업 주기 예시보존 기간 예시etcd1일 1회 및 중요 변경 전7~30일Kubernetes 리소스1일 1회30일PV Snapshot1일 1회 또는 업무 특성에 맞게7~30일Database Full Backup1일 1회30일DB Transaction Log수분~수십 분 단위 등업무 정책에 따라외부 구성 파일변경 시점 및 정기 백업별도 정책

위 값은 예시이며, 실제 주기와 보존 기간은 데이터 변경량, 저장 비용, RPO/RTO, 규제 요건에 따라 결정해야 한다.

중요 시스템은 다음 원칙을 권장한다.


  1. 백업 파일을 운영 클러스터 외부에 보관한다.
  2. 백업 저장소에 별도의 접근 권한을 적용한다.
  3. 중요 백업은 암호화한다.
  4. 변경 불가능한 백업(Immutable Backup)을 고려한다.
  5. 백업 성공뿐 아니라 복구 성공을 검증한다.
  6. 장애 유형별 복구 절차를 문서화한다.



12. 핵심 정리

이번 편에서 반드시 기억해야 할 내용은 다음과 같다.

기술주요 역할etcd SnapshotKubernetes 클러스터 상태 정보 백업VeleroKubernetes 리소스 백업 및 복구CSI SnapshotPersistentVolume 스냅샷MySQL BackupMySQL 데이터 백업PostgreSQL BackupPostgreSQL 데이터 백업Binary Log / WAL데이터베이스 시점 복구RPO허용 가능한 데이터 손실 범위RTO서비스 복구 목표 시간

가장 중요한 것은 백업을 하나의 도구에 의존하지 않는 것이다.

etcd, Kubernetes 리소스, PersistentVolume, 데이터베이스는 각각 백업 방식과 복구 절차가 다르다.

실제 운영 환경에서는 이들을 하나의 DR 전략으로 통합해야 한다.

백업의 성공 여부는 파일이 만들어졌는지가 아니라, 장애 상황에서 실제로 복구할 수 있는지로 판단해야 한다.



다음 편 예고

시스템 엔지니어 실전 교육 32편 — Kubernetes 운영 보안 완벽 이해: RBAC, ServiceAccount, Secret, Pod Security 및 네트워크 접근 제어

다음 편에서는 Kubernetes 운영 환경의 보안 구조를 다룬다.


  • Kubernetes 인증(Authentication)과 인가(Authorization)
  • RBAC Role과 ClusterRole
  • RoleBinding과 ClusterRoleBinding
  • ServiceAccount의 역할과 권한 관리
  • Secret의 저장 및 암호화
  • Pod Security Standards와 보안 설정
  • SecurityContext와 Linux Capability
  • NetworkPolicy를 이용한 Pod 통신 제한
  • 최소 권한 원칙 기반 운영 환경 구성
  • 실제 권한 오류 및 보안 장애 분석


etcd 복구 절차를 실제 단계로 보강해줘Velero와 CSI Snapshot 차이를 명확히 정리해줘

댓글

아직 댓글이 없습니다.

로그인 후 댓글을 남길 수 있습니다.