로그인 회원가입
모두인포
전체IT경제사회생활스포츠시사여행연애

Kubernetes 성능 분석과 트러블슈팅: CPU, Memory, Disk, Network 및 Pod 장애 분석

admin · 2026-11-22 · 조회 2
Kubernetes 성능 분석과 트러블슈팅: CPU, Memory, Disk, Network 및 Pod 장애 분석

Kubernetes 성능 분석과 트러블슈팅: CPU, Memory, Disk, Network 및 Pod 장애 분석


1. Kubernetes 성능 장애는 어디서 발생하는가?

Kubernetes 환경에서 애플리케이션이 느려지거나 장애가 발생했을 때 단순히 Pod를 재시작하는 것은 올바른 장애 분석 방법이 아니다.

Kubernetes는 여러 계층이 연결되어 동작하기 때문에 장애 원인을 정확히 파악하려면 문제가 발생한 위치부터 구분해야 한다.

Kubernetes 성능 장애는 일반적으로 다음과 같은 영역에서 발생한다.

장애 영역주요 증상주요 원인CPU애플리케이션 응답 지연CPU 부족, CPU ThrottlingMemoryPod 재시작OOMKilled, Memory 부족Disk서비스 응답 지연Disk I/O, 공간 부족Network통신 지연, TimeoutCNI, DNS, Network 장애SchedulerPod PendingResource 부족, 제약 조건NodeNode NotReadyKubelet, Runtime, Resource PressureStorage데이터 처리 지연PVC, CSI, NFS, I/O 지연

Kubernetes 장애 분석은 다음 순서로 진행하는 것이 효율적이다.


사용자 서비스 장애
       |
       v
Application / Pod 확인
       |
       v
Pod Resource 확인
       |
       +---- CPU 문제
       |
       +---- Memory 문제
       |
       +---- Disk 문제
       |
       +---- Network 문제
       |
       v
Node 상태 확인
       |
       v
Cluster / Scheduler / Storage / CNI 분석
       |
       v
원인 분석 및 조치

운영 환경에서는 반드시 증상을 먼저 확인하고, 원인을 분석한 후 조치를 수행해야 한다.



2. Kubernetes Cluster 전체 상태 확인

장애가 발생하면 가장 먼저 Kubernetes Cluster 전체 상태를 확인한다.


2.1 Node 상태 확인

kubectl get nodes

출력 예시:


NAME           STATUS   ROLES           AGE   VERSION
master-01      Ready    control-plane   30d   v1.31.2
worker-01      Ready    worker          30d   v1.31.2
worker-02      Ready    worker          30d   v1.31.2
worker-03      NotReady worker          30d   v1.31.2

NotReady 상태의 Node가 존재하면 해당 Node에서 실행 중인 Pod가 영향을 받을 수 있다.

특정 Node의 상세 상태 확인:


kubectl describe node worker-03

주요 확인 항목:


  • Conditions
  • MemoryPressure
  • DiskPressure
  • PIDPressure
  • Ready
  • Events
  • Allocatable
  • Capacity

Node 상태가 정상인지 판단할 때는 Ready뿐만 아니라 Resource Pressure 상태도 확인해야 한다.


2.2 Namespace별 Pod 상태 확인

kubectl get pods -A

특정 Namespace:


kubectl get pods -n production

Pod 상태가 다음과 같이 나타날 수 있다.

상태의미RunningPod가 실행 중PendingPod 배치 또는 실행 대기CrashLoopBackOff반복적으로 실행 실패ImagePullBackOff이미지 다운로드 실패OOMKilledMemory 부족으로 컨테이너 종료EvictedNode Resource Pressure 등으로 퇴출Terminating종료 처리 중

Pod가 Running이라고 해서 반드시 애플리케이션이 정상이라는 의미는 아니다.

Running 상태에서도 CPU Throttling, Memory 부족, Network Timeout, Disk I/O 지연 등이 발생할 수 있다.


2.3 Kubernetes Events 확인

kubectl get events -A --sort-by=.lastTimestamp

특정 Namespace:


kubectl get events -n production \
  --sort-by=.lastTimestamp

Events에서는 다음과 같은 메시지를 확인한다.


FailedScheduling
OOMKilled
Evicted
BackOff
FailedMount
Unhealthy
NodeNotReady

Events는 장애 원인을 빠르게 파악할 수 있는 중요한 자료이지만, 보존 기간이 제한적이므로 장기 장애 분석에는 Prometheus와 로그 시스템을 함께 활용해야 한다.



3. Kubernetes CPU 성능 분석

Kubernetes에서 CPU 성능 문제는 크게 두 가지로 구분할 수 있다.


  • 실제 CPU 사용량이 높은 경우
  • CPU 사용량이 제한되어 애플리케이션이 느려지는 경우

특히 CPU Limit 설정으로 발생하는 CPU Throttling은 사용률이 높지 않아 보이더라도 애플리케이션 응답 지연을 유발할 수 있다.


3.1 Node CPU 사용량 확인

kubectl top nodes

출력 예시:


NAME         CPU(cores)   CPU(%)   MEMORY(bytes)   MEMORY(%)
master-01    450m         12%      2200Mi          30%
worker-01    3200m        80%      6000Mi          75%
worker-02    1800m        45%      5000Mi          62%
worker-03    2100m        52%      4500Mi          55%

CPU 단위는 다음과 같이 이해한다.

CPU 단위의미1 CPUCPU Core 1개에 해당하는 CPU 자원1000m1 CPU500m0.5 CPU100m0.1 CPU250m0.25 CPU

worker-01의 CPU 사용량이 80%라면 다른 Node보다 CPU 사용률이 높다.

하지만 CPU 사용률이 높다는 사실만으로 장애 원인을 판단해서는 안 된다.

해당 Node에 배치된 Pod의 CPU 사용량, CPU Limit, CPU Throttling을 함께 확인해야 한다.


3.2 Pod CPU 사용량 확인

kubectl top pods -A

특정 Namespace:


kubectl top pods -n production

Container별 상세 사용량:


kubectl top pods -n production --containers

출력 예시:


NAME           CPU(cores)   MEMORY(bytes)
api-server-1   950m         1200Mi
api-server-2   400m         800Mi
api-server-3   120m         500Mi

특정 Pod의 CPU 사용량이 다른 Pod보다 높다면 해당 Pod에서 처리 중인 작업량이나 애플리케이션의 CPU 소비 구조를 확인한다.


3.3 CPU Request와 Limit

CPU Resource 설정은 Kubernetes에서 매우 중요한 요소이다.


resources:
  requests:
    cpu: "500m"
  limits:
    cpu: "1000m"

이 설정의 의미는 다음과 같다.

항목설정의미CPU Request500mScheduler가 Pod 배치를 위해 고려하는 CPU 자원CPU Limit1000m일반적인 Linux CPU CFS 제어 환경에서 컨테이너가 사용할 수 있는 CPU 상한

CPU Request는 CPU를 물리적으로 예약하는 것과 동일한 의미가 아니다. Scheduler가 Node 배치 가능성을 계산할 때 사용하는 기준이며, 실제 CPU 사용량과는 별개이다.

CPU Limit은 일반적으로 CFS 기반 CPU 제한을 통해 적용되며, 컨테이너가 설정된 CPU 사용량을 초과하려는 경우 Throttling이 발생할 수 있다.


3.4 CPU Throttling이란?

CPU Throttling은 컨테이너가 CPU Limit에 도달하여 CPU 실행이 제한되는 현상이다.

예를 들어 다음과 같은 설정이 있다고 가정한다.


resources:
  requests:
    cpu: "500m"
  limits:
    cpu: "500m"

애플리케이션이 순간적으로 1 CPU 이상의 CPU 처리량을 필요로 하지만 Limit이 500m로 설정되어 있다면 CPU 실행이 제한될 수 있다.

이러한 상황에서는 다음과 같은 문제가 발생할 수 있다.


  • HTTP 응답 지연
  • 애플리케이션 처리량 감소
  • Thread 처리 지연
  • Batch 처리 시간 증가
  • API Timeout
  • CPU 사용률 대비 응답 지연 증가

CPU 사용량 자체가 낮아 보이더라도 CPU Throttling이 발생할 수 있다는 점이 중요하다.


3.5 CPU Throttling 확인

Prometheus에서 다음 Metric을 확인한다.


container_cpu_cfs_throttled_seconds_total

CPU Throttling 비율을 확인하는 PromQL 예시:


sum by (pod) (
  rate(container_cpu_cfs_throttled_seconds_total{
    container!="",
    container!="POD"
  }[5m])
)

이 값은 Throttling 시간의 증가율을 확인하는 용도로 사용할 수 있다.

CPU Throttling 발생 비율을 확인하는 다른 PromQL 예시:


sum by (pod) (
  rate(container_cpu_cfs_throttled_periods_total[5m])
)
/
sum by (pod) (
  rate(container_cpu_cfs_periods_total[5m])
)

이 쿼리는 CPU 제한 기간 중 Throttling이 발생한 기간의 비율을 확인하는 데 사용할 수 있다.

Metric은 Kubernetes 버전, Runtime, cAdvisor 및 Prometheus 수집 구성에 따라 제공 여부가 달라질 수 있다.

CPU Throttling 비율이 높고 애플리케이션 응답 지연이 함께 발생한다면 CPU Limit 설정을 검토해야 한다.

단순히 CPU Limit을 제거하거나 무조건 높이는 것보다는 CPU 사용 패턴과 Node 전체 자원 상황을 함께 분석하는 것이 중요하다.



4. Kubernetes Memory 성능 분석

Memory 장애는 Kubernetes 운영에서 가장 위험한 장애 중 하나이다.

CPU는 사용량이 제한될 수 있지만 Memory는 일반적으로 CPU와 달리 사용량을 제한하는 과정에서 OOM Kill이 발생할 수 있다.

Memory 부족으로 인해 컨테이너가 종료되거나 Node 전체에 Memory Pressure가 발생할 수 있다.


4.1 Node Memory 확인

kubectl top nodes

출력 예시:


NAME         CPU(cores)   CPU(%)   MEMORY(bytes)   MEMORY(%)
worker-01    1200m        30%      14000Mi        92%
worker-02    1000m        25%      7000Mi         50%
worker-03    900m         22%      6000Mi         43%

worker-01에서 Memory 사용량이 높다면 다음을 확인한다.


kubectl describe node worker-01

주요 항목:


MemoryPressure
Allocatable
Capacity
Non-terminated Pods
Events

Memory Pressure가 발생하면 Kubernetes는 Pod Eviction을 수행할 수 있다.


4.2 Pod Memory 사용량 확인

kubectl top pods -A

Container별 확인:


kubectl top pods -n production --containers

출력 예시:


NAME           CPU(cores)   MEMORY(bytes)
api-server-1   300m         1900Mi
api-server-2   250m         1800Mi
api-server-3   200m         1700Mi

특정 Pod의 Memory가 지속적으로 증가한다면 Memory Leak 가능성을 검토한다.


4.3 Memory Request와 Limit

resources:
  requests:
    memory: "512Mi"
  limits:
    memory: "1Gi"

항목설정의미Memory Request512MiScheduler가 배치 판단에 사용하는 기준Memory Limit1Gi컨테이너 Memory 사용 제한

Memory는 CPU와 다르게 Limit 초과 상황에서 단순히 처리 속도가 제한되는 것이 아니라 OOM Kill이 발생할 수 있다.


4.4 OOMKilled 분석

Pod 상태 확인:


kubectl get pods -n production

출력:


NAME           READY   STATUS    RESTARTS
api-server-1   1/1     Running   5

Pod 상세 확인:


kubectl describe pod api-server-1 -n production

다음과 같은 상태가 확인될 수 있다.


Last State:
  Terminated:
    Reason: OOMKilled
    Exit Code: 137

<text color="#D97706" weight="semibold">Exit Code 137만으로 OOMKilled를 확정할 수는 없다.</text>

Exit Code 137은 일반적으로 SIGKILL에 해당하며, OOM Kill 외에도 강제 종료 상황에서 나타날 수 있다.

따라서 Reason: OOMKilled, Pod 상태, Node 로그, Kernel 로그 등을 함께 확인해야 한다.


4.5 OOMKilled 상세 분석

kubectl describe pod api-server-1 -n production

확인할 항목:


Last State
Reason
Exit Code
Restart Count
Events

Node에 직접 접근할 수 있다면 Kernel 로그도 확인한다.


sudo journalctl -k --since "1 hour ago"

또는:


sudo dmesg -T | grep -i -E "oom|killed process|out of memory"

다음과 같은 메시지가 발견될 수 있다.


Out of memory: Killed process 12345

이는 Kernel이 Memory 부족 상황에서 프로세스를 종료했음을 나타낼 수 있다.


4.6 Linux cgroup Memory 확인

Linux cgroup v2 환경에서 컨테이너 Memory 사용량을 확인하는 방법이다.

Node에 직접 접근하여 다음 명령어를 사용할 수 있다.


find /sys/fs/cgroup -name memory.current

컨테이너별 cgroup 경로를 확인한 후:


cat /sys/fs/cgroup/<container-cgroup-path>/memory.current

Memory Limit 확인:


cat /sys/fs/cgroup/<container-cgroup-path>/memory.max

Memory 이벤트 확인:


cat /sys/fs/cgroup/<container-cgroup-path>/memory.events

출력 예시:


low 0
high 0
max 12
oom 2
oom_kill 2

oom_kill 값이 증가했다면 해당 cgroup에서 OOM Kill 이벤트가 발생했는지 분석할 수 있다.

실제 경로는 Linux 배포판, Container Runtime, cgroup 계층 및 Kubernetes 구성에 따라 달라질 수 있다.

운영 환경에서는 임의의 cgroup 경로를 가정하지 않고 실제 컨테이너 ID와 cgroup 경로를 확인한 후 분석해야 한다.



5. Kubernetes Pod Pending 장애 분석

Pod가 Pending 상태라면 Scheduler가 Pod를 배치하지 못했거나, Pod가 배치된 이후 실행 준비 과정에서 문제가 발생했을 수 있다.


5.1 Pending 상태 확인

kubectl get pods -n production

출력:


NAME           READY   STATUS
api-server-1   0/1     Pending

상세 확인:


kubectl describe pod api-server-1 -n production

Events에서 다음 메시지를 확인한다.


FailedScheduling

5.2 CPU 또는 Memory 부족

다음과 같은 메시지가 발생할 수 있다.


0/3 nodes are available:
3 Insufficient cpu

또는:


0/3 nodes are available:
3 Insufficient memory

이 경우 Scheduler가 Pod Request를 충족할 수 있는 Node를 찾지 못한 것이다.

Node 상태:


kubectl get nodes

Node Resource:


kubectl describe node worker-01

Pod Request 확인:


kubectl get pod api-server-1 \
  -n production \
  -o yaml

5.3 Taints와 Tolerations 확인

Node에 Taint가 설정되어 있다면 Pod 배치가 제한될 수 있다.


kubectl describe node worker-01

예시:


Taints:
  node-role.kubernetes.io/control-plane:NoSchedule

Taint가 존재하면 해당 조건을 허용하는 Toleration이 없는 Pod는 해당 Node에 배치되지 않을 수 있다.


5.4 Affinity 및 기타 제약 조건

다음 항목도 Pending 원인이 될 수 있다.


  • NodeSelector
  • NodeAffinity
  • PodAffinity
  • PodAntiAffinity
  • TopologySpreadConstraints
  • Taints
  • Tolerations
  • PVC 미결합
  • StorageClass 문제

Pod YAML 확인:


kubectl get pod api-server-1 \
  -n production \
  -o yaml

Scheduler 장애 분석에서는 CPU와 Memory 부족뿐 아니라 Pod 배치 조건을 함께 확인해야 한다.



6. Kubernetes Node NotReady 장애 분석

Node NotReady는 Kubernetes Cluster 운영에서 중요한 장애 상황이다.

Node가 NotReady가 되면 해당 Node에서 실행 중인 Pod의 상태와 서비스 영향 여부를 확인해야 한다.


6.1 Node 상태 확인

kubectl get nodes
kubectl describe node worker-03

다음 Condition을 확인한다.

Condition의미ReadyNode 정상 여부MemoryPressureMemory 부족DiskPressureDisk 부족 또는 관련 압박PIDPressure프로세스 수 관련 압박

6.2 Node 시스템 서비스 확인

Worker Node에서 직접 확인한다.


systemctl status kubelet

Container Runtime:


systemctl status containerd

서비스 로그:


journalctl -u kubelet -n 100

실시간 로그:


journalctl -u kubelet -f

Container Runtime 로그:


journalctl -u containerd -n 100

6.3 Node Disk 상태 확인

df -h

Filesystem Inode:


df -i

Disk 사용량:


du -xhd1 /var 2>/dev/null

Container Runtime 데이터 디렉터리 및 로그 디렉터리가 과도하게 증가했는지 확인한다.

Kubernetes Node에서는 Disk 공간 부족뿐 아니라 Inode 부족도 장애 원인이 될 수 있다.


6.4 Node Memory 및 CPU 확인

free -h

CPU:


top

Load Average:


uptime

Disk I/O:


iostat -xz 1 5

Network:


ip -s link

Node 장애가 발생했을 때 무조건 kubelet을 재시작하기보다는 CPU, Memory, Disk, Network, Runtime 상태를 먼저 수집하는 것이 중요하다.



7. Kubernetes Disk I/O 및 Storage 장애 분석

Kubernetes 애플리케이션이 느려지는 원인은 CPU와 Memory뿐 아니라 Disk I/O 지연일 수 있다.

특히 다음 환경에서 Storage 장애가 발생할 수 있다.


  • PersistentVolume
  • PersistentVolumeClaim
  • CSI Driver
  • NFS
  • Ceph
  • SAN
  • Cloud Block Storage

7.1 Node Disk 상태 확인

df -h

Inode:


df -i

Disk I/O:


iostat -xz 1 5

iostat은 Linux sysstat 패키지에 포함되며 설치 여부에 따라 사용 가능 여부가 다를 수 있다.


7.2 iostat 주요 항목

항목의미r/s초당 읽기 요청w/s초당 쓰기 요청rkB/s초당 읽기 처리량wkB/s초당 쓰기 처리량awaitI/O 요청 평균 대기 시간aqu-sz평균 I/O Queue%util장치의 I/O 사용 상태를 나타내는 지표

await가 높다면 I/O 요청 처리 지연을 검토해야 한다.

다만 %util이 100%라는 이유만으로 모든 SSD, RAID, SAN, NVMe 환경에서 병목을 확정할 수는 없다. 장치 구조와 병렬 처리 특성을 함께 분석해야 한다.


7.3 PVC 상태 확인

kubectl get pvc -A

특정 PVC:


kubectl describe pvc mysql-data -n production

PV:


kubectl get pv

StorageClass:


kubectl get storageclass

PVC가 Pending 상태라면 다음을 확인한다.


  • StorageClass
  • Provisioner
  • PV
  • CSI Controller
  • Volume Binding Mode
  • Storage Backend
  • Node 접근성

7.4 Pod Mount 상태 확인

kubectl describe pod mysql-0 -n production

Mount 관련 Events:


FailedMount
MountVolume
AttachVolume

Storage 장애가 발생하면 Pod가 정상 실행 중이더라도 데이터 읽기 또는 쓰기 지연이 발생할 수 있다.

특히 NFS 환경에서는 Network와 Storage Backend 상태를 함께 확인해야 한다.



8. Kubernetes Network 성능 분석

Kubernetes Network 장애는 다음과 같은 문제로 발생할 수 있다.


  • Pod 간 통신 장애
  • Service 접근 장애
  • DNS 장애
  • CNI 장애
  • NetworkPolicy 차단
  • MTU 문제
  • Node Network 장애
  • TCP Connection 지연

8.1 Pod IP 확인

kubectl get pods -A -o wide

Pod IP와 Node 위치를 확인한다.


8.2 Service 상태 확인

kubectl get svc -A

Endpoint 확인:


kubectl get endpoints -A

또는 EndpointSlice:


kubectl get endpointslices -A

Service가 존재하지만 Endpoint가 없다면 Selector와 Pod 상태를 확인한다.


kubectl describe svc api-service -n production

8.3 Pod 내부 통신 테스트

진단용 Pod를 사용하거나 기존 Pod 내부에서 테스트한다.


kubectl exec -it api-server-1 \
  -n production \
  -- sh

Pod 내부에서:


curl -v http://10.10.2.15:8080

TCP Port 확인:


nc -vz 10.10.2.15 8080

DNS 확인:


nslookup api-service

명령어는 컨테이너 이미지에 포함된 도구에 따라 사용할 수 없을 수 있다. 이 경우 진단용 이미지나 별도 Debug Pod를 활용한다.


8.4 NetworkPolicy 확인

kubectl get networkpolicy -A

상세 확인:


kubectl describe networkpolicy -n production

NetworkPolicy가 적용된 Namespace에서는 Pod 간 통신이 정책에 의해 차단될 수 있다.

NetworkPolicy가 실제로 동작하려면 해당 정책을 지원하는 CNI가 설치되어 있어야 한다.


8.5 DNS 장애 확인

kubectl get pods -n kube-system

CoreDNS 상태 확인:


kubectl get pods -n kube-system \
  -l k8s-app=kube-dns

CoreDNS 로그:


kubectl logs -n kube-system \
  -l k8s-app=kube-dns

Pod 내부에서 DNS 테스트:


nslookup kubernetes.default

DNS 문제가 발생하면 CoreDNS Pod 상태뿐 아니라 Network, DNS 설정, Node 상태도 함께 분석한다.



9. Prometheus 기반 Kubernetes 성능 분석

Kubernetes 운영에서 실시간 명령어만으로 장기적인 장애 원인을 분석하는 것은 어렵다.

따라서 Prometheus와 Grafana를 이용한 Monitoring 시스템이 필요하다.

일반적으로 다음 구조로 Monitoring을 구성한다.


Kubernetes Cluster
       |
       +-- Node Exporter
       |
       +-- Kubelet / cAdvisor
       |
       +-- Kubernetes Metrics
       |
       v
   Prometheus
       |
       v
    Grafana
       |
       v
   Dashboard

Node Exporter는 Node의 Linux 시스템 Metric을 수집하고, Kubelet 및 cAdvisor는 환경에 따라 Container 관련 Metric을 제공한다.

Prometheus는 이러한 Metric을 수집하고 Grafana에서 시각화할 수 있다.


9.1 CPU 사용량 분석

Pod CPU 사용량:


sum by (pod) (
  rate(container_cpu_usage_seconds_total{
    container!="",
    container!="POD"
  }[5m])
)

이 값은 초당 CPU 사용 시간의 증가율이며 CPU Core 단위로 해석할 수 있다.

Node CPU 사용률 예시:


100 * (
  1 -
  avg by (instance) (
    rate(node_cpu_seconds_total{
      mode="idle"
    }[5m])
  )
)

Node Exporter Metric이 수집되고 있다는 전제가 필요하다.


9.2 Memory 사용량 분석

Pod Memory 사용량:


sum by (pod) (
  container_memory_working_set_bytes{
    container!="",
    container!="POD"
  }
)

Node Memory 사용률:


100 * (
  1 -
  node_memory_MemAvailable_bytes
  /
  node_memory_MemTotal_bytes
)

Memory 사용량이 지속적으로 증가하는지 확인한다.


9.3 CPU Throttling 분석

sum by (pod) (
  rate(container_cpu_cfs_throttled_seconds_total[5m])
)

Throttling Period 비율:


sum by (pod) (
  rate(container_cpu_cfs_throttled_periods_total[5m])
)
/
sum by (pod) (
  rate(container_cpu_cfs_periods_total[5m])
)

이 Metric은 CPU Limit 설정으로 인해 CPU 실행이 제한되는 현상을 분석하는 데 도움이 된다.


9.4 Disk 분석

Node Disk 읽기 처리량:


rate(node_disk_read_bytes_total[5m])

Node Disk 쓰기 처리량:


rate(node_disk_written_bytes_total[5m])

Disk I/O 관련 Metric은 장치별로 구분하여 분석해야 하며, 모든 Disk Metric을 합산하면 실제 병목 장치를 구분하기 어려울 수 있다.


9.5 Node 상태 분석

Node Ready 상태 관련 Metric:


kube_node_status_condition{
  condition="Ready",
  status="true"
}

Node Memory Pressure:


kube_node_status_condition{
  condition="MemoryPressure",
  status="true"
}

Node Disk Pressure:


kube_node_status_condition{
  condition="DiskPressure",
  status="true"
}

이 Metric은 kube-state-metrics가 수집되고 있다는 전제가 필요하다.



10. 실전 장애 분석 사례

사례 1. API 응답 속도가 갑자기 느려졌다.

증상:


API 응답시간 증가
Pod Running
CPU 사용량 증가
Node 정상

분석 순서:


kubectl top pods -n production
kubectl top nodes
kubectl describe pod api-server-1 -n production

Prometheus에서 다음을 확인한다.


  • Pod CPU Usage
  • CPU Throttling
  • Memory Usage
  • Node CPU 사용률

CPU Throttling이 증가하고 응답 지연이 함께 발생한다면 CPU Limit 설정 및 CPU 처리량을 검토한다.


사례 2. Pod가 반복적으로 재시작된다.

증상:


RESTARTS: 15

분석:


kubectl describe pod api-server-1 -n production
kubectl logs api-server-1 -n production

이전 컨테이너 로그:


kubectl logs api-server-1 \
  -n production \
  --previous

다음 항목을 확인한다.


  • OOMKilled
  • Application Exception
  • Liveness Probe
  • Startup Probe
  • Memory Limit
  • Exit Code

OOMKilled가 확인되면 Memory 사용량이 증가하는 원인을 분석한다.


사례 3. Pod가 Pending 상태이다.

증상:


STATUS: Pending

분석:


kubectl describe pod api-server-1 -n production

Scheduler Events:


FailedScheduling

확인 항목:


  • CPU Request
  • Memory Request
  • Node Capacity
  • Node Allocatable
  • Taints
  • Tolerations
  • NodeSelector
  • Affinity
  • PVC

단순히 Node를 추가하기 전에 Pod의 Resource Request와 실제 Cluster 자원 상황을 확인한다.


사례 4. Node가 NotReady 상태이다.

증상:


worker-03   NotReady

분석:


kubectl describe node worker-03

Node 접속:


systemctl status kubelet
systemctl status containerd
df -h
df -i
free -h
top
journalctl -u kubelet -n 100
journalctl -u containerd -n 100

Disk, Memory, Runtime, Kubelet, Network 상태를 순서대로 확인한다.



11. Kubernetes 장애 분석 Runbook

운영 환경에서 장애가 발생했을 때 다음 절차를 활용한다.


Step 1. Cluster 상태 확인

kubectl get nodes
kubectl get pods -A

Step 2. 장애 Pod 확인

kubectl get pods -n production
kubectl describe pod <POD_NAME> -n production

Step 3. 로그 확인

kubectl logs <POD_NAME> -n production
kubectl logs <POD_NAME> \
  -n production \
  --previous

Step 4. Resource 확인

kubectl top nodes
kubectl top pods -A

Step 5. Node 상세 분석

kubectl describe node <NODE_NAME>

Step 6. Node 시스템 분석

free -h
df -h
df -i
iostat -xz 1 5

Step 7. Network 분석

kubectl get svc -A
kubectl get endpoints -A
kubectl get networkpolicy -A

Step 8. Monitoring 분석

Prometheus와 Grafana에서 다음 항목을 확인한다.


  • CPU Usage
  • CPU Throttling
  • Memory Usage
  • OOM
  • Disk I/O
  • Network
  • Node 상태
  • Pod Restart

Step 9. 원인 분석

장애 원인을 다음 중 하나로 분류한다.


Application
CPU
Memory
Disk
Network
Scheduler
Storage
Node
Kubernetes Component

Step 10. 조치 및 검증

장애 원인을 확인한 이후 조치한다.

조치 후에는 다음 항목을 확인한다.


kubectl get nodes
kubectl get pods -A
kubectl top nodes
kubectl top pods -A

서비스 응답, Pod 상태, Resource 사용량, 장애 재발 여부를 확인한다.



12. Kubernetes 운영에서 반드시 기억해야 할 사항

Kubernetes 성능 장애가 발생하면 다음 사항을 기억해야 한다.


  1. Pod Running 상태만으로 서비스 정상 여부를 판단하지 않는다.
  2. CPU 사용량과 CPU Throttling은 별도로 분석한다.
  3. Memory는 Request, Limit, OOMKilled를 함께 분석한다.
  4. Pending 상태는 Scheduler Events를 먼저 확인한다.
  5. Node NotReady는 Kubelet, Runtime, Disk, Memory, Network를 분석한다.
  6. Disk 장애는 공간 부족과 I/O 지연을 구분한다.
  7. Network 장애는 DNS, Service, Endpoint, CNI, NetworkPolicy를 분석한다.
  8. Monitoring 시스템을 구축하여 장애 발생 이전의 Metric을 확보한다.
  9. 장애 발생 시 무조건 Pod를 재시작하지 않는다.
  10. 장애 조치 전후의 Metric과 로그를 비교하여 재발 원인을 확인한다.

마무리

Kubernetes 운영에서 성능 장애는 단일 요소로 발생하는 경우보다 여러 요소가 복합적으로 작용하는 경우가 많다.

CPU 사용량 증가가 Memory 부족으로 이어질 수도 있고, Disk I/O 지연이 애플리케이션 응답 지연으로 이어질 수도 있으며, Network 장애가 DNS 또는 Service 장애로 나타날 수도 있다.

따라서 시스템 엔지니어는 Kubernetes 내부의 Pod, Node, Scheduler, Storage, Network 구조를 이해하고 장애가 발생한 계층을 구분할 수 있어야 한다.

Kubernetes 운영의 핵심은 단순히 Pod를 관리하는 것이 아니라 Cluster 전체의 Resource와 시스템 상태를 지속적으로 분석하고 장애를 예방하는 것이다.

다음 편에서는 Kubernetes 운영 환경에서 실제 Monitoring과 Observability를 구축하고 운영하는 방법을 다룬다.

35편 — Kubernetes Observability 실전: Prometheus, Grafana, Alertmanager 기반 Monitoring 및 장애 감지 시스템 구축

다음 편에서는 Prometheus 설치, Kubernetes Metric 수집, Grafana Dashboard 구성, Alertmanager 알림 설정, 실제 장애 감지 및 운영 Monitoring 체계 구축까지 실습 중심으로 진행한다.

다음 편부터는 단순한 Kubernetes 명령어 교육에서 벗어나 실제 운영 서버에서 활용할 수 있는 Monitoring 시스템 구축 및 장애 자동 감지 체계를 직접 구성하는 단계로 이어집니다.

댓글

아직 댓글이 없습니다.

로그인 후 댓글을 남길 수 있습니다.