로그인 회원가입
모두인포
전체IT경제사회생활스포츠시사여행연애

Kubernetes StatefulSet과 데이터베이스 운영: Pod 고유 식별자, Headless Service, 영구 볼륨 및 장애 복구

admin · 2026-11-16 · 조회 3
Kubernetes StatefulSet과 데이터베이스 운영: Pod 고유 식별자, Headless Service, 영구 볼륨 및 장애 복구

Kubernetes StatefulSet과 데이터베이스 운영: Pod 고유 식별자, Headless Service, 영구 볼륨 및 장애 복구


1. StatefulSet이란 무엇인가?

Kubernetes에서는 애플리케이션을 실행하기 위해 Deployment를 가장 많이 사용합니다.

Deployment는 동일한 역할을 수행하는 Pod를 여러 개 생성하고 관리하는 데 적합합니다.

하지만 데이터베이스, 메시지 브로커, 분산 스토리지처럼 각 Pod가 고유한 식별자와 저장 공간을 가져야 하는 애플리케이션은 Deployment만으로 관리하기 어렵습니다.

예를 들어 MySQL 서버 3대를 운영한다고 가정하겠습니다.


MySQL Cluster

    MySQL-1
       |
    데이터 1

    MySQL-2
       |
    데이터 2

    MySQL-3
       |
    데이터 3

각 데이터베이스 인스턴스는 다음과 같은 특성이 필요합니다.


  • 고유한 Pod 이름
  • 안정적인 네트워크 식별자
  • 독립적인 영구 저장 공간
  • 재시작 후에도 유지되는 데이터
  • 일정한 순서에 따른 생성과 삭제

Kubernetes의 StatefulSet은 이러한 요구사항을 처리하기 위한 컨트롤러입니다.

StatefulSet은 Pod마다 고유한 식별자를 제공하고, 각 Pod에 개별적인 PersistentVolumeClaim을 연결할 수 있습니다.

전체 구조는 다음과 같습니다.


                 Kubernetes
                      |
                      v
                 StatefulSet
                      |
          +-----------+-----------+
          |           |           |
          v           v           v
       mysql-0     mysql-1     mysql-2
          |           |           |
          v           v           v
        PVC-0       PVC-1       PVC-2
          |           |           |
          v           v           v
         PV-0        PV-1        PV-2
          |           |           |
          v           v           v
       Storage     Storage     Storage

이 구조를 이해하는 것이 Kubernetes에서 데이터베이스를 운영하는 첫 번째 단계입니다.


2. Deployment와 StatefulSet의 차이

Deployment와 StatefulSet은 모두 Pod를 관리하지만 목적이 다릅니다.

구분DeploymentStatefulSet주요 목적무상태 애플리케이션상태 유지 애플리케이션Pod 이름무작위 해시 포함고유한 순번Pod 식별자재생성 시 변경동일한 이름과 순번 유지생성 순서일반적으로 순서 보장 없음기본적으로 순차 생성삭제 순서일반적으로 순서 보장 없음기본적으로 역순 삭제스토리지공유 또는 별도 PVC 구성Pod별 PVC 자동 생성 가능주요 용도Web, API 서버DB, Kafka, ZooKeeper 등

Deployment의 Pod 이름은 다음과 같습니다.


web-7c8f6d9b5f-a1b2c
web-7c8f6d9b5f-d3e4f
web-7c8f6d9b5f-g5h6i

StatefulSet의 Pod 이름은 다음과 같습니다.


mysql-0
mysql-1
mysql-2

StatefulSet은 Pod가 삭제되더라도 동일한 순번으로 다시 생성됩니다.

예를 들어 mysql-1이 삭제되면 새로운 Pod도 mysql-1이라는 이름으로 생성됩니다.

단, 동일한 이름으로 재생성된 Pod가 이전 Pod와 동일한 실행 상태를 자동으로 복구하는 것은 아닙니다. 데이터베이스 복구와 복제 상태는 애플리케이션의 설정과 저장된 데이터에 따라 달라집니다.


3. StatefulSet의 핵심 구성 요소

StatefulSet을 구성할 때 중요한 항목은 다음과 같습니다.


3.1 serviceName

StatefulSet에서 사용할 Headless Service 이름입니다.


serviceName: mysql-headless

StatefulSet의 Pod에 안정적인 네트워크 DNS 이름을 제공하는 데 사용합니다.


3.2 replicas

생성할 Pod 개수입니다.


replicas: 3

다음과 같이 세 개의 Pod가 생성됩니다.


mysql-0
mysql-1
mysql-2

3.3 volumeClaimTemplates

Pod별 PVC를 자동으로 생성하는 설정입니다.


volumeClaimTemplates:
- metadata:
    name: mysql-data
  spec:
    accessModes:
    - ReadWriteOnce
    resources:
      requests:
        storage: 10Gi

위 설정을 사용하면 다음과 같은 PVC가 생성됩니다.


mysql-data-mysql-0
mysql-data-mysql-1
mysql-data-mysql-2

각 Pod는 서로 다른 PVC를 사용합니다.


3.4 podManagementPolicy

StatefulSet Pod의 생성과 관리 방식을 설정합니다.

설정설명OrderedReady기본값. 순서대로 생성하고 Ready 상태를 확인Parallel가능한 Pod를 병렬로 생성 및 삭제

데이터베이스처럼 초기화 순서가 중요한 애플리케이션에서는 기본값인 OrderedReady가 유용할 수 있습니다.

단, 병렬 생성이 가능하다고 해서 데이터베이스의 복제나 초기화가 자동으로 처리되는 것은 아닙니다.


4. Headless Service와 StatefulSet의 관계

StatefulSet에서는 Headless Service를 함께 사용하는 경우가 많습니다.

일반 Service는 ClusterIP를 제공합니다.


                 Service
              ClusterIP
              10.96.0.10
                    |
          +---------+---------+
          |         |         |
          v         v         v
        Pod-1     Pod-2     Pod-3

Headless Service는 ClusterIP를 생성하지 않습니다.


              Headless Service
               ClusterIP: None
                     |
          +----------+----------+
          |          |          |
          v          v          v
        mysql-0    mysql-1    mysql-2

Headless Service를 이용하면 각 Pod의 DNS 이름으로 직접 접근할 수 있습니다.

예를 들어 Namespace가 database이고 Headless Service가 mysql-headless라면 다음과 같은 DNS 이름을 사용할 수 있습니다.


mysql-0.mysql-headless.database.svc.cluster.local

mysql-1.mysql-headless.database.svc.cluster.local

mysql-2.mysql-headless.database.svc.cluster.local

이러한 구조는 분산 데이터베이스나 클러스터 애플리케이션에서 중요합니다.

각 인스턴스가 서로를 이름으로 식별할 수 있기 때문입니다.


5. 실습 환경 구성

이번 실습에서는 Kubernetes에 MySQL StatefulSet을 구성하겠습니다.

실습 목표는 다음과 같습니다.


  1. Namespace 생성
  2. Headless Service 생성
  3. Secret 생성
  4. StorageClass 확인
  5. MySQL StatefulSet 생성
  6. Pod별 PVC 자동 생성 확인
  7. 데이터 저장
  8. Pod 삭제 및 재생성
  9. 데이터 유지 확인

실습 구성은 다음과 같습니다.


             Kubernetes Cluster
                      |
                      v
                Namespace: database
                      |
                      v
               mysql StatefulSet
                      |
          +-----------+-----------+
          |           |           |
          v           v           v
       mysql-0     mysql-1     mysql-2
          |           |           |
          v           v           v
      PVC-0        PVC-1        PVC-2
          |           |           |
          v           v           v
         PV-0        PV-1        PV-2

이번 실습에서는 MySQL 8.0을 사용합니다.

운영 환경에서는 승인된 이미지 버전과 보안 패치 수준을 확인하고 고정된 이미지 버전을 사용하는 것이 좋습니다.

또한 실제 데이터베이스 복제 클러스터가 아니라 StatefulSet과 영구 볼륨의 동작을 이해하기 위한 실습입니다.


6. Namespace 생성

먼저 데이터베이스 전용 Namespace를 생성합니다.


kubectl create namespace database

생성 여부를 확인합니다.


kubectl get namespace

Namespace는 애플리케이션 리소스를 논리적으로 분리하기 위한 기능입니다.

운영 환경에서는 데이터베이스, 애플리케이션, 모니터링 등을 Namespace 단위로 구분해 관리할 수 있습니다.


7. MySQL 비밀번호 Secret 생성

데이터베이스 비밀번호를 StatefulSet YAML에 직접 작성하는 것은 권장하지 않습니다.

Kubernetes Secret을 사용해 별도로 관리하겠습니다.


kubectl create secret generic mysql-secret \
  -n database \
  --from-literal=MYSQL_ROOT_PASSWORD='ChangeMe-StrongPassword'

Secret을 확인합니다.


kubectl get secret -n database

상세 정보를 확인합니다.


kubectl describe secret mysql-secret -n database

Secret은 기본적으로 Base64 인코딩된 형태로 저장되며, 그 자체가 암호화된 비밀 저장소를 의미하지는 않습니다.

운영 환경에서는 다음 사항을 함께 적용해야 합니다.


  • Kubernetes API 접근 권한 제한
  • Secret 저장 시 Encryption at Rest 설정
  • 외부 Secret Manager 연동 검토
  • Git 저장소에 실제 비밀번호 업로드 금지
  • 비밀번호 교체 절차 마련

8. Headless Service 생성

StatefulSet이 사용할 Headless Service를 생성합니다.

파일명: mysql-headless.yaml


apiVersion: v1
kind: Service
metadata:
  name: mysql-headless
  namespace: database
spec:
  clusterIP: None
  selector:
    app: mysql
  ports:
  - name: mysql
    port: 3306
    targetPort: 3306

적용합니다.


kubectl apply -f mysql-headless.yaml

확인합니다.


kubectl get svc -n database

결과 예시:


NAME             TYPE        CLUSTER-IP
mysql-headless   ClusterIP   None

clusterIP: None으로 설정했기 때문에 일반적인 ClusterIP가 생성되지 않습니다.

이 Service는 StatefulSet Pod의 DNS 이름을 제공하는 데 사용됩니다.


9. StorageClass 확인

StatefulSet에서 PVC를 자동 생성하려면 사용할 수 있는 StorageClass가 필요합니다.

현재 클러스터의 StorageClass를 확인합니다.


kubectl get storageclass

예시:


NAME                 PROVISIONER
nfs-dynamic          nfs.csi.k8s.io

실제 클러스터에 설치된 StorageClass 이름을 확인하고 이후 YAML에 사용해야 합니다.

이번 실습에서는 nfs-dynamic을 사용한다고 가정하겠습니다.

만약 기본 StorageClass를 사용하는 환경이라면 다음과 같이 storageClassName 항목을 생략할 수도 있습니다.

다만 PVC가 어떤 StorageClass를 선택할지 명확하게 관리하려면 운영 환경에서는 이름을 지정하는 편이 좋습니다.


10. MySQL StatefulSet 생성

이제 StatefulSet을 생성하겠습니다.

파일명: mysql-statefulset.yaml


apiVersion: apps/v1
kind: StatefulSet
metadata:
  name: mysql
  namespace: database
spec:
  serviceName: mysql-headless
  replicas: 3
  selector:
    matchLabels:
      app: mysql
  template:
    metadata:
      labels:
        app: mysql
    spec:
      terminationGracePeriodSeconds: 60
      containers:
      - name: mysql
        image: mysql:8.0
        ports:
        - name: mysql
          containerPort: 3306

        env:
        - name: MYSQL_ROOT_PASSWORD
          valueFrom:
            secretKeyRef:
              name: mysql-secret
              key: MYSQL_ROOT_PASSWORD

        volumeMounts:
        - name: mysql-data
          mountPath: /var/lib/mysql

        readinessProbe:
          exec:
            command:
            - sh
            - -c
            - mysqladmin ping -h 127.0.0.1 -uroot -p"$MYSQL_ROOT_PASSWORD"
          initialDelaySeconds: 20
          periodSeconds: 10
          timeoutSeconds: 5
          failureThreshold: 6

        livenessProbe:
          exec:
            command:
            - sh
            - -c
            - mysqladmin ping -h 127.0.0.1 -uroot -p"$MYSQL_ROOT_PASSWORD"
          initialDelaySeconds: 60
          periodSeconds: 20
          timeoutSeconds: 5
          failureThreshold: 3

  volumeClaimTemplates:
  - metadata:
      name: mysql-data
    spec:
      accessModes:
      - ReadWriteOnce
      storageClassName: nfs-dynamic
      resources:
        requests:
          storage: 10Gi

적용합니다.


kubectl apply -f mysql-statefulset.yaml

Pod 상태를 확인합니다.


kubectl get pods -n database -w

정상적으로 생성되면 다음과 같은 이름이 표시됩니다.


NAME       READY   STATUS
mysql-0    1/1     Running
mysql-1    1/1     Running
mysql-2    1/1     Running

여기서 중요한 점이 있습니다.

이번 실습의 MySQL Pod 3개는 각각 별도의 MySQL 서버입니다.

StatefulSet을 생성했다고 해서 자동으로 MySQL 복제나 고가용성 클러스터가 만들어지는 것은 아닙니다.

실제 데이터베이스 복제를 구성하려면 MySQL 복제 설정, InnoDB Cluster, Group Replication 등의 별도 구성이 필요합니다.


11. Pod별 PVC 자동 생성 확인

StatefulSet의 핵심 기능인 Pod별 PVC 생성을 확인하겠습니다.


kubectl get pvc -n database

결과 예시:


NAME                  STATUS   VOLUME
mysql-data-mysql-0    Bound    pvc-xxxx
mysql-data-mysql-1    Bound    pvc-yyyy
mysql-data-mysql-2    Bound    pvc-zzzz

Pod별로 서로 다른 PVC가 생성된 것을 확인할 수 있습니다.

PV도 확인합니다.


kubectl get pv

전체 연결 구조를 확인하면 다음과 같습니다.


mysql-0
   |
   v
mysql-data-mysql-0
   |
   v
PV-0

mysql-1
   |
   v
mysql-data-mysql-1
   |
   v
PV-1

mysql-2
   |
   v
mysql-data-mysql-2
   |
   v
PV-2

이 구조를 통해 각 데이터베이스 인스턴스가 독립적인 저장 공간을 사용할 수 있습니다.


12. MySQL 접속 및 데이터 생성

이제 mysql-0 Pod에 접속하겠습니다.


kubectl exec -it mysql-0 -n database -- \
  mysql -uroot -p

비밀번호를 입력하고 접속합니다.

데이터베이스를 생성합니다.


CREATE DATABASE kubernetes_test;

USE kubernetes_test;

CREATE TABLE server_info (
    id INT AUTO_INCREMENT PRIMARY KEY,
    hostname VARCHAR(100),
    created_at TIMESTAMP DEFAULT CURRENT_TIMESTAMP
);

INSERT INTO server_info (hostname)
VALUES ('mysql-statefulset-test');

SELECT * FROM server_info;

결과 예시:


+----+------------------------+---------------------+
| id | hostname               | created_at          |
+----+------------------------+---------------------+
|  1 | mysql-statefulset-test | 2026-11-17 ...      |
+----+------------------------+---------------------+

이 데이터는 mysql-0 Pod의 /var/lib/mysql 경로에 연결된 PVC를 통해 저장됩니다.

MySQL에서 종료합니다.


exit;

13. StatefulSet Pod 삭제 후 데이터 유지 확인

StatefulSet의 중요한 특징을 실습하겠습니다.

mysql-0 Pod를 삭제합니다.


kubectl delete pod mysql-0 -n database

Pod 상태를 확인합니다.


kubectl get pods -n database -w

잠시 후 새로운 mysql-0 Pod가 생성됩니다.


NAME       READY   STATUS
mysql-0    1/1     Running
mysql-1    1/1     Running
mysql-2    1/1     Running

Pod가 삭제되었지만 StatefulSet 컨트롤러가 동일한 이름의 Pod를 다시 생성했습니다.

이제 데이터가 유지되었는지 확인합니다.


kubectl exec -it mysql-0 -n database -- \
  mysql -uroot -p

SQL을 실행합니다.


USE kubernetes_test;

SELECT * FROM server_info;

이전 데이터가 조회되면 영구 볼륨이 정상적으로 연결된 것입니다.

이 실습에서 확인한 중요한 흐름은 다음과 같습니다.


기존 mysql-0 삭제
       |
       v
StatefulSet Controller 감지
       |
       v
mysql-0 재생성
       |
       v
기존 PVC 연결
       |
       v
기존 데이터 조회

Pod가 재생성되어도 PVC가 유지되고 실제 스토리지 데이터가 보존되면 기존 데이터를 다시 사용할 수 있습니다.

다만 이 동작은 스토리지 백엔드가 정상이고, 해당 볼륨을 새 Pod에 정상적으로 연결할 수 있다는 전제에서 성립합니다.


14. StatefulSet의 DNS 확인

Headless Service를 이용해 Pod별 DNS 이름을 확인하겠습니다.

다음 명령어로 DNS 테스트 Pod를 생성합니다.


kubectl run dns-test \
  --image=busybox:1.36 \
  -n database \
  --restart=Never \
  --command -- sleep 3600

Pod별 DNS를 조회합니다.


kubectl exec dns-test -n database -- \
  nslookup mysql-0.mysql-headless

전체 FQDN으로 조회할 수도 있습니다.


kubectl exec dns-test -n database -- \
  nslookup mysql-0.mysql-headless.database.svc.cluster.local

정상적으로 동작하면 mysql-0 Pod의 주소를 확인할 수 있습니다.

다음 Pod도 확인합니다.


kubectl exec dns-test -n database -- \
  nslookup mysql-1.mysql-headless.database.svc.cluster.local
kubectl exec dns-test -n database -- \
  nslookup mysql-2.mysql-headless.database.svc.cluster.local

StatefulSet은 각 Pod에 안정적인 DNS 이름을 제공하기 때문에 분산 데이터베이스의 구성원 식별에 유용합니다.

참고로 Headless Service에서 Ready 상태인 Endpoint만 DNS에 노출되는 것이 기본 동작입니다. 초기화 중인 Pod의 DNS 이름도 조회해야 하는 경우에는 Service의 publishNotReadyAddresses 설정을 검토해야 합니다.


15. StatefulSet 스케일링

StatefulSet은 replicas 값을 변경해 Pod 수를 조정할 수 있습니다.

현재 3개에서 2개로 줄이겠습니다.


kubectl scale statefulset mysql \
  --replicas=2 \
  -n database

Pod 상태를 확인합니다.


kubectl get pods -n database

기본적인 OrderedReady 동작에서는 가장 높은 순번의 Pod부터 종료됩니다.


mysql-2 삭제
mysql-1 유지
mysql-0 유지

이때 주의할 점은 Pod가 삭제되더라도 해당 Pod의 PVC는 기본적으로 자동 삭제되지 않는다는 것입니다.

PVC를 확인합니다.


kubectl get pvc -n database

기존 mysql-data-mysql-2 PVC가 남아 있을 수 있습니다.

이것은 StatefulSet의 데이터 보존 특성과 관련된 중요한 동작입니다.

replicas를 다시 3으로 늘리면 기존 PVC를 재사용할 수 있습니다.


kubectl scale statefulset mysql \
  --replicas=3 \
  -n database

단, 기존 데이터를 재사용할지 여부는 데이터베이스 복구 및 재가입 절차를 고려해야 합니다.

특히 실제 복제 클러스터에서는 단순히 Pod 수를 늘리는 것만으로 데이터베이스 복제 구성이 완성되지 않습니다.


16. Node 장애가 발생하면 어떻게 될까?

StatefulSet의 데이터 보호 구조를 이해하려면 Node 장애도 살펴봐야 합니다.

다음과 같은 환경을 가정하겠습니다.


Worker Node 1
   |
   +--- mysql-0
   |       |
   |       v
   |     PVC-0
   |
Worker Node 2
   |
   +--- mysql-1
   |       |
   |       v
   |     PVC-1
   |
Worker Node 3
   |
   +--- mysql-2
           |
           v
         PVC-2

Worker Node 1에 장애가 발생하면 다음과 같은 문제가 발생할 수 있습니다.


  • mysql-0 Pod의 상태 확인 불가
  • Node와 스토리지 연결 단절
  • Pod 재스케줄링 지연
  • 볼륨 Detach 및 Attach 지연
  • 스토리지 접근 불가

중요한 점은 StatefulSet이 자동으로 Pod를 다른 Node에 생성한다고 해서 데이터가 즉시 복구되는 것은 아니라는 것입니다.

스토리지 종류에 따라 복구 방식이 달라집니다.

스토리지Node 장애 시 고려 사항NFS다른 Node에서 같은 NFS 공유에 접근 가능해야 함Cloud Block Disk볼륨 Detach 및 다른 Node Attach 지원 여부SANLUN 연결, 다중 경로, 파일 시스템 구성Ceph스토리지 클러스터 자체의 복제 및 가용성

특히 RWO 볼륨은 일반적으로 하나의 Node에서 읽기 및 쓰기로 마운트할 수 있습니다.

기존 Node가 장애 상태로 남아 있으면 볼륨이 정상적으로 분리되지 않아 새 Node에서 Attach가 지연될 수 있습니다.

이때 강제로 Pod나 PVC를 삭제하면 데이터 손상이나 중복 마운트 문제가 발생할 수 있으므로 주의해야 합니다.


17. StatefulSet에서 백업과 복구

PersistentVolume을 사용한다고 해서 데이터가 안전하게 보호되는 것은 아닙니다.

영구 볼륨은 Pod 재생성이나 일부 장애에서 데이터를 유지하기 위한 기능이지, 백업 시스템 자체가 아닙니다.

스토리지 장애, 사용자 실수, 데이터베이스 손상, 랜섬웨어 등의 상황에서는 별도 백업이 필요합니다.

MySQL 데이터베이스 백업 예시를 살펴보겠습니다.


17.1 mysqldump 백업

kubectl exec mysql-0 -n database -- \
  sh -c 'mysqldump -uroot -p"$MYSQL_ROOT_PASSWORD" \
  --single-transaction kubernetes_test' \
  > mysql-backup.sql

백업 파일을 확인합니다.


ls -lh mysql-backup.sql

실제 운영에서는 비밀번호를 명령행 인수로 전달할 때 프로세스 정보나 로그에 노출될 위험이 있으므로 별도의 인증 정보 관리 방식을 사용하는 것이 좋습니다.

또한 백업 파일은 Pod 내부가 아니라 외부 백업 저장소에 보관해야 합니다.


17.2 백업 파일 복구

복구 대상 데이터베이스에 접속할 수 있는 환경에서 다음과 같이 복구할 수 있습니다.


kubectl exec -i mysql-0 -n database -- \
  mysql -uroot -p"$MYSQL_ROOT_PASSWORD" \
  kubernetes_test < mysql-backup.sql

이 명령은 실행 환경의 셸과 인증 정보 전달 방식에 따라 조정해야 합니다.

운영 환경에서는 비밀번호 노출을 피하기 위해 별도 복구 Job이나 Secret 기반 인증 구성을 사용하는 것이 좋습니다.


17.3 백업 운영 원칙

데이터베이스 백업은 다음 원칙을 기준으로 설계해야 합니다.


  • 정기적인 전체 백업
  • 필요한 경우 Binary Log를 활용한 시점 복구(PITR)
  • 백업 파일 외부 저장
  • 백업 무결성 확인
  • 정기적인 복구 테스트
  • 백업 보존 기간 관리
  • 장애 발생 시 복구 시간 목표(RTO)와 복구 시점 목표(RPO) 설정

백업 작업이 성공했다는 로그만으로 복구 가능성을 보장할 수는 없습니다.

실제 복구 테스트를 수행해야 합니다.


18. StatefulSet 운영 시 자주 발생하는 장애

18.1 Pod가 Pending 상태인 경우

PVC가 정상적으로 연결되지 않았을 가능성이 있습니다.


kubectl get pods -n database
kubectl get pvc -n database
kubectl get pv

Pod 이벤트를 확인합니다.


kubectl describe pod mysql-0 -n database

대표적인 원인은 다음과 같습니다.


  • PVC Pending
  • StorageClass 오류
  • 사용 가능한 스토리지 부족
  • Node 자원 부족
  • Volume Attach 실패
  • Node Selector 또는 Affinity 조건 불일치

18.2 PVC가 Pending 상태인 경우

kubectl describe pvc mysql-data-mysql-0 \
  -n database

다음 사항을 확인합니다.


  • StorageClass 존재 여부
  • CSI Driver 상태
  • AccessModes 지원 여부
  • 요청 용량
  • 스토리지 Provisioner 오류

18.3 Pod가 CrashLoopBackOff인 경우

MySQL 로그를 확인합니다.


kubectl logs mysql-0 -n database

이전 컨테이너 로그도 확인할 수 있습니다.


kubectl logs mysql-0 -n database --previous

대표적인 원인은 다음과 같습니다.


  • 데이터 디렉터리 권한 오류
  • MySQL 초기화 실패
  • 기존 데이터 파일 문제
  • 설정 오류
  • 메모리 부족
  • 스토리지 I/O 오류

18.4 Pod는 Running인데 Ready가 되지 않는 경우

Readiness Probe가 실패하고 있을 수 있습니다.


kubectl describe pod mysql-0 -n database

이벤트에서 Probe 실패 메시지를 확인합니다.


kubectl get events -n database \
  --sort-by=.metadata.creationTimestamp

MySQL 프로세스가 실행 중이어도 데이터베이스 초기화가 완료되지 않았거나 인증이 실패하면 Ready 상태가 되지 않을 수 있습니다.


18.5 StatefulSet 업데이트가 멈추는 경우

StatefulSet은 기본적으로 순차적으로 Pod를 관리합니다.

먼저 Pod 상태를 확인합니다.


kubectl get pods -n database -o wide

StatefulSet 상태를 확인합니다.


kubectl describe statefulset mysql -n database

Pod가 Ready 상태가 되지 않으면 이후 순서의 업데이트가 진행되지 않을 수 있습니다.

운영 환경에서는 데이터베이스의 상태와 롤링 업데이트 전략을 함께 확인해야 합니다.


19. 운영 환경에서 반드시 확인할 사항

StatefulSet을 운영할 때는 다음 항목을 점검해야 합니다.

점검 항목확인 내용Pod 식별자Pod 이름과 순번 유지PVCPod별 PVC 정상 생성PV실제 스토리지 연결StorageClass동적 프로비저닝 정상CSI DriverController와 Node Plugin 정상DNSPod별 DNS 조회 가능ProbeReadiness/Liveness 정상백업정기 백업 및 복구 테스트보안Secret 접근 권한과 비밀번호 관리장애 대응Node 장애와 스토리지 장애 복구 절차

실제 운영에서는 StatefulSet만으로 데이터베이스 고가용성을 확보할 수 없습니다.

데이터베이스 자체의 복제, 장애 감지, Primary 승격, Split-brain 방지, 백업 및 복구 전략을 함께 구성해야 합니다.


20. 실습 환경 정리

이번 실습에서 생성한 리소스를 삭제할 때는 데이터 보존에 주의해야 합니다.

먼저 StatefulSet을 삭제합니다.


kubectl delete statefulset mysql -n database

Headless Service를 삭제합니다.


kubectl delete service mysql-headless -n database

테스트 Pod를 삭제합니다.


kubectl delete pod dns-test -n database

PVC를 확인합니다.


kubectl get pvc -n database

StatefulSet을 삭제해도 volumeClaimTemplates로 생성된 PVC는 기본적으로 남아 있습니다.

실습 데이터를 모두 삭제해도 되는 경우에만 PVC를 삭제합니다.


kubectl delete pvc --all -n database

실제 PV 삭제 여부는 PV의 ReclaimPolicy에 따라 달라질 수 있습니다.

Delete 정책은 실제 스토리지까지 삭제할 수 있으므로 운영 환경에서 이 명령을 무조건 실행해서는 안 됩니다.

마지막으로 Namespace를 삭제합니다.


kubectl delete namespace database

실습 환경에서 데이터를 보존해야 한다면 PVC 삭제와 Namespace 삭제를 진행하지 말고 먼저 백업과 보존 정책을 확인해야 합니다.


21. 마무리

StatefulSet은 Kubernetes에서 상태를 유지해야 하는 애플리케이션을 운영하기 위한 핵심 컨트롤러입니다.

Deployment가 동일한 역할의 Pod를 관리하는 데 적합하다면 StatefulSet은 각 Pod의 고유한 식별자와 저장 공간을 유지하는 데 적합합니다.

이번 편에서 반드시 기억해야 할 핵심은 다음과 같습니다.


  1. Deployment는 일반적으로 무상태 애플리케이션에 적합하다.
  2. StatefulSet은 고유한 Pod 이름과 안정적인 식별자를 제공한다.
  3. Headless Service는 Pod별 DNS 이름을 제공하는 데 사용된다.
  4. volumeClaimTemplates를 사용하면 Pod별 PVC를 자동으로 생성할 수 있다.
  5. Pod가 삭제되어도 PVC가 유지되면 기존 데이터를 다시 연결할 수 있다.
  6. StatefulSet을 생성했다고 데이터베이스 복제가 자동으로 구성되는 것은 아니다.
  7. Node 장애 시 스토리지 Detach와 Attach가 정상적으로 처리되어야 한다.
  8. PersistentVolume은 백업을 대신하지 않는다.
  9. 데이터베이스 운영에는 백업, 복구, 복제, 장애 조치 전략이 필요하다.

시스템 엔지니어는 Kubernetes에서 Pod를 실행하는 것만으로 운영 업무가 끝나는 것이 아닙니다.

데이터베이스의 상태를 유지하고 스토리지 장애에 대응하며 데이터 손실을 방지할 수 있는 구조까지 설계해야 합니다.



다음 편 예고

시스템 엔지니어 실전 교육 31편 — Kubernetes 백업과 복구 완벽 이해: etcd, Velero, PersistentVolume Snapshot 및 재해 복구(DR)

다음 편에서는 Kubernetes 클러스터와 애플리케이션 데이터를 보호하기 위한 백업 및 복구 전략을 다루겠습니다.


  • Kubernetes에서 백업해야 하는 대상
  • etcd 백업과 복구 원리
  • Kubernetes 리소스 백업
  • Velero의 구조와 역할
  • PersistentVolume Snapshot
  • 데이터베이스 백업과 복구
  • Namespace 및 애플리케이션 복원
  • 클러스터 장애 시 재해 복구 절차
  • RPO와 RTO를 활용한 백업 정책 설계

다음 31편에서는 Kubernetes 자체의 상태를 저장하는 etcd 백업과 애플리케이션 리소스 및 영구 볼륨 데이터를 복구하는 방법을 구분해 설명하겠습니다.

댓글

아직 댓글이 없습니다.

로그인 후 댓글을 남길 수 있습니다.