로그인 회원가입
모두인포
전체IT경제사회생활스포츠시사여행연애

Kubernetes 고가용성(HA) 아키텍처 설계: Control Plane, etcd, Load Balancer 및 장애 대응

admin · 2026-11-19 · 조회 6
Kubernetes 고가용성(HA) 아키텍처 설계: Control Plane, etcd, Load Balancer 및 장애 대응

Kubernetes 고가용성(HA) 아키텍처 설계: Control Plane, etcd, Load Balancer 및 장애 대응


1. Kubernetes 고가용성(HA)이란?

Kubernetes를 운영 환경에 구축할 때 가장 먼저 고려해야 하는 요소 중 하나가 고가용성(High Availability)이다.

개발 환경에서는 Control Plane 서버 한 대와 Worker Node 몇 대만으로도 충분할 수 있다. 그러나 실제 업무 시스템이나 서비스 환경에서는 단일 서버의 장애가 전체 서비스에 영향을 줄 수 있다.

예를 들어 다음과 같은 구조를 생각해 보자.


                Kubernetes Cluster

                   Control Plane
                       |
                       |
                 API Server Down
                       |
                       X
                       |
             모든 관리 기능 장애

Control Plane 서버가 한 대뿐이라면 해당 서버의 장애로 Kubernetes API 접근이 불가능해질 수 있다.

Worker Node에서 이미 실행 중인 컨테이너는 일정 기간 계속 실행될 수 있지만, 새로운 Pod 생성, Deployment 변경, 장애 Pod 재생성 등 Kubernetes의 관리 기능은 영향을 받게 된다.

따라서 운영 환경에서는 단일 장애 지점(SPOF, Single Point of Failure)을 제거하는 HA 구조가 필요하다.


1.1 HA의 목적

HA의 목적은 특정 서버나 구성 요소에 장애가 발생하더라도 시스템 전체가 중단되지 않도록 설계하는 것이다.

구성 요소단일 구성HA 구성Control Plane1대3대 이상 권장 구성API Server단일 접속Load Balancingetcd단일 또는 비HA3개 또는 5개 멤버Load Balancer1대2대 이상네트워크단일 경로이중화 경로스토리지단일 장애점이중화 및 복구 체계Worker Node단일 또는 소수다중 노드백업미구성etcd 및 데이터 백업

HA는 단순히 서버를 여러 대 설치하는 개념이 아니다.

각 구성 요소가 서로 독립적인 장애 영역에 배치되고, 장애 발생 시 정상 구성 요소를 통해 서비스가 지속될 수 있도록 설계하는 것이 핵심이다.



2. Kubernetes 단일 Control Plane 구조

먼저 단일 Control Plane 구조를 살펴보자.


2.1 단일 Control Plane 아키텍처

                 Administrator
                      |
                      v
                kubectl Client
                      |
                      v
             Control Plane Node
              +---------------+
              | API Server    |
              | Scheduler     |
              | Controller    |
              | etcd          |
              +---------------+
                      |
          +-----------+-----------+
          |                       |
          v                       v
     Worker Node 1           Worker Node 2
       +--------+              +--------+
       | Pod A  |              | Pod B  |
       | Pod B  |              | Pod C  |
       +--------+              +--------+

이 구조는 구축이 간단하고 관리하기 쉽다.

그러나 Control Plane Node가 장애를 일으키면 다음 문제가 발생할 수 있다.


  • Kubernetes API 접근 불가
  • Pod 생성 및 삭제 요청 실패
  • Deployment 변경 불가
  • Scheduler 동작 중단
  • Controller Manager의 관리 기능 중단
  • etcd 장애 시 클러스터 상태 정보 접근 불가

이미 실행 중인 Pod는 노드와 컨테이너 런타임이 정상이라면 계속 실행될 수 있다.

하지만 Kubernetes의 관리 기능이 정상적으로 작동하지 않기 때문에 장기적으로 서비스 안정성을 보장하기 어렵다.


2.2 단일 Control Plane의 장애 영향

장애 구성 요소영향API ServerKubernetes API 요청 불가Scheduler신규 Pod 배치 중단Controller Manager리소스 상태 조정 중단etcdKubernetes 상태 저장 및 조회 문제Control Plane Node해당 노드의 구성 요소 전체 영향

단일 Control Plane은 학습 및 개발 환경에는 적합하지만 중요 운영 시스템에서는 장애 위험을 고려해야 한다.



3. Kubernetes HA 아키텍처

Kubernetes HA는 일반적으로 여러 Control Plane Node와 안정적인 API Server 접속 경로를 구성하는 방식으로 설계한다.


3.1 기본 HA 구성

                    Administrator
                         |
                         v
                    kubectl Client
                         |
                         v
                 VIP : 192.168.10.100
                         |
              +----------+----------+
              |                     |
              v                     v
         LB Node 1              LB Node 2
         HAProxy                 HAProxy
         Keepalived              Keepalived
              |                     |
              +----------+----------+
                         |
                API Server Load Balancing
                         |
          +--------------+--------------+
          |              |              |
          v              v              v
       CP Node 1       CP Node 2      CP Node 3
       API Server      API Server     API Server
       Scheduler       Scheduler      Scheduler
       Controller      Controller     Controller
          |              |              |
          +--------------+--------------+
                         |
                    etcd Cluster
                 3 Member / Quorum
                         |
          +--------------+--------------+
          |              |              |
          v              v              v
       Worker 1        Worker 2        Worker 3
         Pods            Pods            Pods

위 구조는 대표적인 HA 설계 예시다.

여기서는 다음 구성 요소를 사용한다.


  • Control Plane Node 3대
  • etcd 3개 멤버
  • Load Balancer 2대
  • HAProxy
  • Keepalived
  • Virtual IP(VIP)
  • Worker Node 다수

3.2 HA 구성 요소별 역할

구성 요소역할Control PlaneKubernetes 관리 기능 수행API ServerKubernetes API 요청 처리SchedulerPod 배치 결정Controller Manager리소스 상태 관리etcd클러스터 상태 데이터 저장HAProxyAPI Server 연결 분산KeepalivedVIP 장애 전환VIPKubernetes API의 고정 접속 주소Worker Node애플리케이션 Pod 실행

이 구조에서는 관리자가 특정 Control Plane Node의 IP를 직접 지정하지 않는다.

대신 VIP를 통해 Kubernetes API에 접근한다.



4. Control Plane 3대 구성과 etcd

Kubernetes HA 설계에서 가장 중요한 구성 요소 중 하나가 etcd다.

etcd는 Kubernetes 클러스터의 상태 정보를 저장하는 분산 데이터 저장소다.


4.1 etcd 3노드 구성

일반적으로 3개 멤버의 etcd 클러스터는 1개의 멤버 장애를 견딜 수 있다.


                 etcd Cluster

           +-------------------+
           |                   |
           v                   v
       etcd Node 1         etcd Node 2
           |
           |
           v
       etcd Node 3

실제 구성에서는 각 etcd 멤버가 서로 통신하며 Raft 기반 합의 절차를 수행한다.


4.2 Quorum이란?

Quorum은 분산 시스템에서 정상적인 의사결정을 위해 필요한 최소 구성원의 수를 의미한다.

etcd는 홀수 개 멤버 구성을 일반적으로 권장한다.

etcd 멤버 수Quorum허용 장애110220321431532

3개 멤버로 구성된 etcd는 2개 멤버가 정상적으로 통신해야 합의 및 쓰기 작업을 지속할 수 있다.

즉, 3개 중 1개가 장애가 발생하더라도 2개가 정상이라면 Quorum을 유지할 수 있다.

하지만 2개 멤버가 동시에 장애를 일으키면 Quorum을 잃게 된다.


4.3 왜 4개보다 3개 또는 5개를 권장할까?

etcd의 장애 허용 능력은 다음과 같이 계산할 수 있다.

<text color="success" weight="medium">장애 허용 멤버 수 = (N - 1) / 2의 정수 부분</text>

여기서 N은 etcd 멤버 수다.

멤버 수Quorum장애 허용321431532642

4개 멤버로 구성해도 3개 멤버가 정상적으로 작동해야 한다.

즉, 3개 구성과 동일하게 1개 장애만 허용한다.

4개를 추가해도 장애 허용 능력이 증가하지 않으므로 일반적으로 3개 또는 5개 구성을 선호한다.


4.4 Stacked Etcd와 External Etcd

Kubernetes HA 환경에서 etcd를 배치하는 방식은 크게 두 가지다.


Stacked Etcd

Control Plane Node에 API Server와 etcd를 함께 배치한다.


CP Node 1
+-------------------+
| API Server        |
| Scheduler         |
| ControllerManager |
| etcd              |
+-------------------+

CP Node 2
+-------------------+
| API Server        |
| Scheduler         |
| ControllerManager |
| etcd              |
+-------------------+

CP Node 3
+-------------------+
| API Server        |
| Scheduler         |
| ControllerManager |
| etcd              |
+-------------------+

장점:


  • 구성 단순
  • 별도 etcd 서버 불필요
  • kubeadm 구축에 적합
  • 관리 비용 감소

단점:


  • Control Plane Node 장애 시 API Server와 etcd가 함께 영향을 받음
  • CPU, 메모리, 디스크 I/O 경쟁 가능
  • 장애 영역이 공유됨
External Etcd

etcd를 Control Plane과 별도 서버에 구성한다.


        Control Plane
      +---------------+
      | API Server    |
      | Scheduler     |
      | Controller    |
      +---------------+
              |
              v
         External etcd
      +---------------+
      | etcd Node 1   |
      | etcd Node 2   |
      | etcd Node 3   |
      +---------------+

장점:


  • Control Plane과 etcd 장애 영역 분리
  • 리소스 관리 분리
  • 대규모 환경에서 독립적인 확장 및 운영 가능

단점:


  • 구축 및 관리 복잡도 증가
  • 네트워크 의존성 증가
  • 별도 etcd 운영 관리 필요

중소규모 클러스터에서는 Stacked Etcd 구성이 일반적으로 관리하기 편리하다.



5. Kubernetes API Server Load Balancing

Control Plane이 3대라면 API Server도 3개가 존재한다.

관리자가 각 API Server에 직접 접속하는 대신 Load Balancer를 통해 접속하도록 설계한다.


5.1 API Server Load Balancing 구조

             kubectl
                |
                v
        Kubernetes API VIP
         192.168.10.100
                |
                v
            HAProxy
                |
       +--------+--------+
       |        |        |
       v        v        v
     CP 1     CP 2     CP 3
    :6443    :6443    :6443

API Server의 기본 포트는 일반적으로 TCP 6443이다.

Load Balancer는 API Server의 정상 상태를 확인하고 연결을 전달한다.


5.2 Load Balancer가 필요한 이유

다음과 같은 문제를 해결할 수 있다.


  • 특정 Control Plane Node 장애
  • API Server 연결 분산
  • 관리자가 고정된 접속 주소 사용
  • Control Plane 확장
  • 장애 시 정상 API Server로 연결

API Server Load Balancer는 Kubernetes API의 접속 경로를 안정화하는 역할을 한다.

그러나 Load Balancer가 1대뿐이면 Load Balancer 자체가 SPOF가 될 수 있다.

따라서 2대 이상의 Load Balancer를 구성하고 VIP를 통해 접근하는 구조를 고려한다.



6. HAProxy를 이용한 API Server Load Balancing

HAProxy는 TCP 연결을 분산하는 대표적인 Load Balancer다.

Kubernetes API Server의 TCP 6443 연결을 여러 Control Plane Node로 전달할 수 있다.


6.1 HAProxy 구성 예시

구성 환경:

서버IP역할LB1192.168.10.101HAProxy, KeepalivedLB2192.168.10.102HAProxy, KeepalivedVIP192.168.10.100Kubernetes APICP1192.168.10.11Control PlaneCP2192.168.10.12Control PlaneCP3192.168.10.13Control Plane

HAProxy 설정 파일:


vi /etc/haproxy/haproxy.cfg

설정 예시:


global
    log /dev/log local0
    log /dev/log local1 notice
    daemon
    maxconn 2000

defaults
    log global
    mode tcp
    option tcplog
    timeout connect 5s
    timeout client 50s
    timeout server 50s

frontend kubernetes-api
    bind 192.168.10.100:6443
    mode tcp
    default_backend kubernetes-control-plane

backend kubernetes-control-plane
    mode tcp
    balance roundrobin

    option tcp-check

    server cp1 192.168.10.11:6443 check
    server cp2 192.168.10.12:6443 check
    server cp3 192.168.10.13:6443 check

위 설정은 VIP가 해당 LB 노드에 실제로 존재할 때 사용할 수 있는 예시다.

VIP를 LB1과 LB2에서 동시에 사용하는 것이 아니라 Keepalived를 통해 한 노드에만 활성화되도록 구성해야 한다.

HAProxy는 TCP 6443 연결을 Control Plane Node로 전달한다.


6.2 HAProxy 서비스 확인

설정 파일 검증:


haproxy -c -f /etc/haproxy/haproxy.cfg

서비스 시작:


systemctl enable haproxy
systemctl start haproxy

상태 확인:


systemctl status haproxy

포트 확인:


ss -lntp | grep 6443

HAProxy 설정에 따라 VIP가 활성화된 노드에서만 해당 주소로 바인딩할 수 있다.



7. Keepalived를 이용한 VIP 구성

HAProxy를 2대 구성해도 관리자가 접근하는 주소가 각각 다르면 접속 주소를 변경해야 하는 문제가 발생한다.

이를 해결하기 위해 Keepalived를 이용해 VIP를 구성한다.


7.1 Keepalived 구조

              VIP
        192.168.10.100
                 |
          +------+------+
          |             |
          v             v
       LB Node 1      LB Node 2
       MASTER          BACKUP
       VIP Active      VIP Standby

LB1이 정상이라면 VIP는 LB1에 할당된다.

LB1이 장애를 일으키면 LB2가 VIP를 인계받는다.


7.2 Keepalived 설치

RHEL 계열 환경의 예시다.


dnf install keepalived -y

설치 확인:


rpm -qa | grep keepalived

7.3 LB1 설정

/etc/keepalived/keepalived.conf


global_defs {
    router_id K8S_LB1
}

vrrp_script chk_haproxy {
    script "/usr/bin/killall -0 haproxy"
    interval 2
    weight -20
}

vrrp_instance VI_1 {
    state MASTER
    interface ens192
    virtual_router_id 51
    priority 150
    advert_int 1

    authentication {
        auth_type PASS
        auth_pass K8sHA123
    }

    virtual_ipaddress {
        192.168.10.100/24
    }

    track_script {
        chk_haproxy
    }
}

여기서 ens192는 예시 인터페이스 이름이다.

실제 서버에서는 다음 명령으로 확인한다.


ip addr

7.4 LB2 설정

LB2에서는 다음 값을 변경한다.


global_defs {
    router_id K8S_LB2
}

vrrp_script chk_haproxy {
    script "/usr/bin/killall -0 haproxy"
    interval 2
    weight -20
}

vrrp_instance VI_1 {
    state BACKUP
    interface ens192
    virtual_router_id 51
    priority 100
    advert_int 1

    authentication {
        auth_type PASS
        auth_pass K8sHA123
    }

    virtual_ipaddress {
        192.168.10.100/24
    }

    track_script {
        chk_haproxy
    }
}

LB1과 LB2는 동일한 virtual_router_id를 사용해야 같은 VRRP 그룹으로 동작한다.

Priority는 LB1이 높도록 설정한다.


7.5 Keepalived 실행

systemctl enable keepalived
systemctl start keepalived

상태 확인:


systemctl status keepalived

VIP 확인:


ip addr show

VIP가 활성화된 서버에서 다음 주소를 확인할 수 있다.


192.168.10.100

7.6 Keepalived 장애 전환 확인

LB1에서 Keepalived를 중지한다.


systemctl stop keepalived

LB2에서 VIP 확인:


ip addr show

정상적인 전환이 발생하면 LB2에 VIP가 할당되어야 한다.

LB1 복구:


systemctl start keepalived

설정된 priority와 preemption 정책에 따라 VIP가 다시 LB1으로 이동할 수 있다.

운영 환경에서는 자동 복귀 정책까지 검증해야 한다.


7.7 운영 환경 주의 사항

위 Keepalived 예시는 교육용 기본 구성이다.

실제 운영 환경에서는 다음 사항을 추가 검토해야 한다.


  • HAProxy 프로세스 확인뿐 아니라 실제 API Server 연결 상태 확인
  • VRRP 통신 허용 여부
  • 방화벽에서 VRRP 프로토콜(Protocol 112) 허용 여부
  • VIP와 네트워크 인터페이스 구성
  • 동일 L2 네트워크 여부
  • ARP 및 네트워크 장비 동작
  • Failover 및 Failback 검증
  • 인증 정보 보호
  • HAProxy와 Keepalived 서비스 의존성

HAProxy 프로세스가 실행 중이라고 API Server가 정상이라는 의미는 아니다.

실제 API Server 상태를 검사하도록 Health Check를 설계하는 것이 좋다.

또한 VRRP 인증 설정은 강력한 보안 통제 수단으로 간주해서는 안 된다. 네트워크 격리와 VRRP 통신 제한을 함께 적용해야 한다.



8. kubeadm 기반 HA 클러스터 구축 구조

kubeadm은 Kubernetes 클러스터 구축을 위한 대표적인 도구다.

HA 구성에서는 초기 Control Plane을 구축한 후 추가 Control Plane Node를 연결하는 방식으로 구성할 수 있다.


8.1 구축 전 준비

예시 구성:

서버IP역할LB1192.168.10.101Load BalancerLB2192.168.10.102Load BalancerVIP192.168.10.100Kubernetes APICP1192.168.10.11Control PlaneCP2192.168.10.12Control PlaneCP3192.168.10.13Control PlaneWorker1192.168.10.21WorkerWorker2192.168.10.22WorkerWorker3192.168.10.23Worker

모든 서버에서 다음 항목을 확인해야 한다.


  • Hostname
  • IP Address
  • DNS
  • Time Synchronization
  • 방화벽
  • Container Runtime
  • Kubernetes 패키지
  • Kernel Module
  • Swap 설정
  • Network Configuration

8.2 kubeadm 초기화

CP1에서 kubeadm 초기화를 수행할 때 Load Balancer의 VIP를 API Endpoint로 사용한다.

예시 kubeadm 설정:


apiVersion: kubeadm.k8s.io/v1beta4
kind: InitConfiguration
localAPIEndpoint:
  advertiseAddress: 192.168.10.11
  bindPort: 6443
nodeRegistration:
  criSocket: unix:///var/run/containerd/containerd.sock
  name: cp1
---
apiVersion: kubeadm.k8s.io/v1beta4
kind: ClusterConfiguration
controlPlaneEndpoint: "192.168.10.100:6443"
apiServer:
  certSANs:
    - 192.168.10.100
    - 192.168.10.101
    - 192.168.10.102
kubernetesVersion: v1.XX.X
networking:
  podSubnet: 10.244.0.0/16
  serviceSubnet: 10.96.0.0/12

위 YAML은 구조를 설명하기 위한 예시다.

실제 적용 시 다음 사항을 확인해야 한다.


  • 설치할 Kubernetes 버전
  • 해당 버전에서 지원하는 kubeadm API
  • Container Runtime 경로
  • Pod CIDR
  • Service CIDR
  • CNI 네트워크
  • Load Balancer 구성
  • 인증서 SAN
  • 각 서버의 IP 및 hostname

v1.XX.X는 실제 지원 버전으로 변경해야 한다.

초기화:


kubeadm init \
  --config kubeadm-config.yaml

실제 HA 구축에서는 사전 구성된 Load Balancer가 API Server에 연결할 수 있어야 한다.


8.3 추가 Control Plane 연결

CP1 초기화 이후 추가 Control Plane Node를 연결한다.

일반적인 kubeadm 방식에서는 다음과 같은 형태의 Join 명령을 사용한다.


kubeadm join 192.168.10.100:6443 \
  --token <TOKEN> \
  --discovery-token-ca-cert-hash sha256:<HASH> \
  --control-plane \
  --certificate-key <CERTIFICATE_KEY>

위 명령은 구조를 보여주는 예시이며 실제 Token, CA Hash, Certificate Key는 초기화 과정에서 생성하거나 별도로 확보해야 한다.

추가 Control Plane Node에서 해당 명령을 실행하기 전에 다음을 확인한다.


  • API Server VIP 연결
  • Load Balancer 정상 상태
  • Control Plane 인증서 전달 또는 재생성 절차
  • etcd 멤버 구성
  • Container Runtime
  • 네트워크 설정

kubeadm HA 구성은 버전별 절차와 인증서 관리 방식에 차이가 있을 수 있으므로 실제 설치 버전의 공식 문서를 기준으로 작업해야 한다.



9. Kubernetes HA 장애 시 서비스 영향 분석

HA 구조를 구성했다면 장애 상황에서 어떤 기능이 유지되는지 이해해야 한다.


9.1 Control Plane Node 1대 장애

Control Plane

CP1  X
CP2  정상
CP3  정상

etcd 3개 중 2개 정상
Quorum 유지

CP1이 장애를 일으키더라도 CP2와 CP3가 정상적으로 작동하고 etcd Quorum을 유지한다면 Kubernetes 관리 기능은 유지될 수 있다.

API Server 연결은 Load Balancer를 통해 정상 Control Plane으로 전달된다.


9.2 etcd Node 1대 장애

etcd Cluster

etcd1  X
etcd2  정상
etcd3  정상

2 / 3 Quorum 유지

3개 구성의 etcd에서 1개 멤버가 장애를 일으키더라도 나머지 2개가 정상이라면 Quorum을 유지할 수 있다.

하지만 장애 멤버가 복구되지 않은 상태에서 추가 장애가 발생하면 Quorum을 잃을 수 있다.

따라서 etcd 장애는 빠르게 복구해야 한다.


9.3 Load Balancer 1대 장애

LB1  X
LB2  정상

Keepalived를 구성했다면 LB1 장애 시 VIP가 LB2로 이동할 수 있다.

이 경우 API Server 접속 경로를 유지할 수 있다.


9.4 Worker Node 1대 장애

Worker Node 1  X
Worker Node 2  정상
Worker Node 3  정상

Worker Node가 장애를 일으키면 해당 노드에서 실행 중인 Pod는 상태에 따라 다른 Node에서 재생성될 수 있다.

하지만 다음 사항은 별도로 고려해야 한다.


  • Pod에 연결된 PVC
  • Storage Attach 및 Detach
  • Pod 재생성 시간
  • Readiness Probe
  • Replica 수
  • Node 장애 감지 시간
  • Stateful 애플리케이션

Worker Node 장애가 발생했다고 모든 Pod가 즉시 다른 Node에서 실행되는 것은 아니다.


9.5 장애 유형별 영향

장애예상 영향대응CP1 장애Control Plane 일부 장애정상 CP 및 etcd 확인CP2 장애Control Plane 일부 장애정상 CP 및 etcd 확인CP 2대 장애API 및 etcd 영향 가능Quorum 및 복구 계획 확인etcd 1대 장애Quorum 유지 가능멤버 복구etcd 2대 장애Quorum 손실etcd 복구 절차LB1 장애VIP 전환LB2 확인LB 2대 장애API 접속 경로 장애LB 복구Worker 1대 장애해당 Node Pod 영향Pod 및 스토리지 확인스토리지 장애데이터 및 Pod 영향스토리지 복구



10. Kubernetes HA 운영 점검 명령어

HA 환경에서는 평상시에도 Control Plane, etcd, Load Balancer 상태를 지속적으로 확인해야 한다.


10.1 Node 상태

kubectl get nodes -o wide

Node 상세 확인:


kubectl describe node <NODE_NAME>

10.2 Control Plane Pod

kubectl get pods -n kube-system -o wide

Static Pod 확인:


kubectl get pods -n kube-system \
  -l tier=control-plane

10.3 API Server 상태

kubectl get --raw='/readyz?verbose'

API Server의 Ready 상태를 확인할 수 있다.


10.4 etcd 상태

etcdctl이 설치되어 있고 인증 정보가 준비된 환경에서는 다음 명령을 사용할 수 있다.


ETCDCTL_API=3 etcdctl \
  --endpoints=https://127.0.0.1:2379 \
  --cacert=/etc/kubernetes/pki/etcd/ca.crt \
  --cert=/etc/kubernetes/pki/etcd/server.crt \
  --key=/etc/kubernetes/pki/etcd/server.key \
  endpoint health

멤버 확인:


ETCDCTL_API=3 etcdctl \
  --endpoints=https://127.0.0.1:2379 \
  --cacert=/etc/kubernetes/pki/etcd/ca.crt \
  --cert=/etc/kubernetes/pki/etcd/server.crt \
  --key=/etc/kubernetes/pki/etcd/server.key \
  member list

Endpoint 상태 확인:


ETCDCTL_API=3 etcdctl \
  --endpoints=https://127.0.0.1:2379 \
  --cacert=/etc/kubernetes/pki/etcd/ca.crt \
  --cert=/etc/kubernetes/pki/etcd/server.crt \
  --key=/etc/kubernetes/pki/etcd/server.key \
  endpoint status --write-out=table

실제 환경에서는 etcd 인증서 경로와 Endpoint 주소를 확인해야 한다.


10.5 Load Balancer 상태

systemctl status haproxy
systemctl status keepalived

VIP 확인:


ip addr

API Server 연결 테스트:


nc -vz 192.168.10.100 6443

10.6 Control Plane 로그

Static Pod의 로그는 Container Runtime을 이용해 확인할 수 있다.


crictl ps -a

Container ID 확인 후:


crictl logs <CONTAINER_ID>

특히 다음 구성 요소의 로그를 확인한다.


  • kube-apiserver
  • kube-controller-manager
  • kube-scheduler
  • etcd



11. Kubernetes HA 장애 대응 Runbook

운영 중 장애가 발생하면 즉시 서버를 재부팅하기보다 장애 범위를 먼저 확인해야 한다.


11.1 Control Plane 장애 발생

  1. Node 상태 확인
kubectl get nodes -o wide
  1. Control Plane Pod 확인
kubectl get pods -n kube-system -o wide
  1. API Server 상태 확인
kubectl get --raw='/readyz?verbose'
  1. etcd Endpoint 상태 확인
ETCDCTL_API=3 etcdctl endpoint health
  1. Load Balancer 상태 확인
systemctl status haproxy
  1. Keepalived 상태 확인
systemctl status keepalived
  1. 네트워크 확인
ping <CONTROL_PLANE_IP>
nc -vz <CONTROL_PLANE_IP> 6443

11.2 장애 분석 흐름

API Server 접속 장애
        |
        v
      VIP 확인
        |
        v
   VIP 정상 여부
        |
    +---+---+
    |       |
   정상     장애
    |       |
    v       v
 HAProxy   Keepalived
   확인      확인
    |       |
    v       v
 CP 상태   VIP 전환
    |
    v
 API Server
    |
    v
 etcd 상태
    |
    v
 Network / Certificate

장애 분석 시에는 다음 순서로 진행하는 것이 좋다.


  1. VIP 접근 여부
  2. Load Balancer 상태
  3. Control Plane Node 상태
  4. API Server 상태
  5. etcd Quorum
  6. 네트워크 및 인증서

이러한 순서를 통해 장애 범위를 빠르게 좁힐 수 있다.



12. Kubernetes HA 설계 시 반드시 고려해야 할 사항

HA 클러스터를 구축할 때 서버 수만 늘리는 방식으로 접근해서는 안 된다.

다음 항목을 반드시 고려해야 한다.


12.1 물리적 장애 영역 분리

3개의 Control Plane Node가 모두 같은 물리 서버, 같은 랙, 같은 전원, 같은 네트워크에 연결되어 있다면 해당 장애 영역에 대한 보호 효과가 제한된다.

가능하면 다음을 분리한다.


  • 서버 및 랙
  • 전원
  • 네트워크 스위치
  • 스토리지 경로
  • 가상화 Host
  • 데이터센터 또는 장애 영역

12.2 etcd Disk 성능

etcd는 디스크 I/O 성능에 영향을 받는다.

특히 다음 항목을 확인한다.


  • Disk Latency
  • fsync 지연
  • IOPS
  • Disk 장애
  • Disk 용량
  • Snapshot 및 백업

etcd는 고성능 디스크와 안정적인 네트워크를 확보하는 것이 중요하다.


12.3 네트워크 지연

etcd 멤버 간 통신이 불안정하면 Quorum과 합의 과정에 영향을 줄 수 있다.

따라서 다음을 점검해야 한다.


  • Control Plane 간 네트워크 지연
  • Packet Loss
  • Network Congestion
  • MTU
  • Firewall
  • DNS
  • Network Interface 오류

12.4 HA와 백업은 별개의 개념

HA가 구성되어 있다고 백업이 필요하지 않은 것은 아니다.

HA는 장애 발생 시 서비스를 지속하기 위한 구조다.

백업은 데이터 손실이나 논리적 오류가 발생했을 때 복구하기 위한 구조다.

HABackup서비스 지속데이터 복구장애 전환과거 데이터 복원가용성데이터 보호FailoverRestore장애 발생 시 정상 구성 요소 활용백업 데이터 활용

HA가 구성된 클러스터에서 잘못된 데이터를 삭제하면 해당 변경이 정상적인 클러스터 구성 요소에 전파될 수 있다.

따라서 HA와 백업은 반드시 함께 설계해야 한다.



13. 실무 권장 Kubernetes HA 구성

중요 업무 시스템의 Kubernetes 클러스터를 구축한다면 다음 구조를 시작점으로 검토할 수 있다.

구성 요소권장 시작 구성Control Plane3대etcd3개 멤버API Server3개Load Balancer2대VIP1개Worker Node최소 3대부터 환경에 맞게CNIHA 및 NetworkPolicy 지원 검토CSI스토리지 이중화 및 복구 지원MonitoringPrometheus 기반Logging중앙 집중식 로그Backupetcd, 리소스, PV, DBSecurityRBAC, NetworkPolicy, PSS

위 구성은 일반적인 HA 설계의 시작점이다.

실제 구성은 서비스 규모, 장애 허용 시간, 데이터베이스 구조, 스토리지, 네트워크, 비용, 운영 인력에 따라 달라진다.



14. 핵심 정리

이번 편에서는 Kubernetes HA 아키텍처의 기본 구조와 운영 관점에서 필요한 요소를 살펴봤다.

기술핵심 역할Control PlaneKubernetes 관리 기능 수행API ServerKubernetes API 제공etcd클러스터 상태 데이터 저장Quorumetcd 합의에 필요한 최소 멤버HAProxyAPI Server 연결 분산KeepalivedVIP 장애 전환VIP고정 API 접속 주소Stacked EtcdControl Plane과 etcd 통합 구성External Etcdetcd 독립 구성Failover장애 시 정상 구성 요소로 전환RPO/RTO복구 목표 설정

Kubernetes HA의 핵심은 특정 서버가 장애를 일으켜도 클러스터 전체가 영향을 받지 않도록 장애 영역을 분리하고, 정상 구성 요소를 통해 서비스가 지속되도록 설계하는 것이다.

3대의 Control Plane, 3개의 etcd 멤버, 2대의 Load Balancer를 구성했다고 HA가 완성되는 것은 아니다. 실제 장애를 발생시켜 Failover를 검증하고, 장애 이후 복구 절차까지 테스트해야 진정한 운영 가능한 HA 시스템이 된다.



다음 편 예고

시스템 엔지니어 실전 교육 34편 — Kubernetes 성능 분석과 트러블슈팅: CPU, Memory, Disk, Network 및 Pod 장애 분석

다음 편에서는 Kubernetes 운영 중 발생하는 성능 문제를 실무적으로 분석하는 방법을 다룬다.


  • Kubernetes Resource 구조와 성능 지표
  • CPU Request와 Limit
  • Memory Request와 Limit
  • OOMKilled 분석
  • CPU Throttling 분석
  • Disk I/O 및 Storage 지연
  • Pod Pending 원인 분석
  • Node NotReady 장애 분석
  • Network 성능 문제
  • Prometheus 기반 성능 분석
  • 실제 운영 장애 대응 절차


다음 34편에서는 단순한 kubectl 상태 확인을 넘어, CPU·Memory·Disk·Network 지표를 연결해 실제 장애 원인을 찾아가는 시스템 엔지니어의 성능 분석 과정으로 이어가겠습니다.

댓글

아직 댓글이 없습니다.

로그인 후 댓글을 남길 수 있습니다.