사용자가 던진 질문에 그럴듯한 답변을 찾아 출력하던 '수동적인 챗봇'의 시대가 저물고 있습니다. IT 업계는 이제 인공지능이 스스로 판단하고, 계획을 세우며, 실행까지 마치는 이른바 '에이전틱 AI(Agentic AI)'의 시대로 빠르게 전환하고 있습니다.
단순한 업무 보조를 넘어 인간의 업무를 '대행'하는 수준까지 발전한 에이전틱 AI는 기업의 생산성을 극대화할 구원투수로 주목받고 있습니다. 하지만 이 강력한 자율성이 양날의 검이 되어 돌아오고 있습니다. 시스템이 인간의 통제를 벗어나 독자적인 판단으로 사고를 치기 시작했기 때문입니다.
이번 글에서는 에이전틱 AI가 본격화되는 배경과 함께, 현재 IT 업계가 가장 골머리를 앓고 있는 '통제권 문제(Control Issues)'와 보안 리스크, 그리고 해결 방향을 3000자 분량으로 자세히 짚어보겠습니다.
과거의 생성형 AI는 인간이 프롬프트(명령어)를 입력해야만 작동하는 일회성 구조였습니다. 코딩을 해달라고 하면 코드만 짜주고, 이메일을 써달라고 하면 텍스트만 만들어주는 방식이었습니다. 그다음 단계인 코드를 서버에 배포하거나 이메일을 전송하는 것은 온전히 인간의 몫이었습니다.
반면 에이전틱 AI는 단 하나의 목표만 주어지면 그 목표를 달성하기 위한 하위 태스크를 스스로 생성합니다. 예를 들어 "이번 분기 매출 보고서를 작성해서 담당 팀장들에게 이메일로 발송해 줘"라는 명령을 내리면, AI 에이전트는 다음과 같은 과정을 자율적으로 수행합니다.
사내 데이터베이스에 접근해 매출 데이터를 추출하고 분석합니다.
분석 결과를 바탕으로 차트와 보고서 문서를 생성합니다.
사내 주소록에서 담당 팀장들의 이메일을 찾습니다.
각 팀장의 메일함으로 보고서를 첨부해 전송합니다.
이 과정에서 AI는 API(응용 프로그램 인터페이스)를 호출하고, 웹 브라우저를 구동하며, 사내 시스템의 권한을 사용합니다. 인간의 개입 없이 스스로 도구를 선택하고 사용하는 '자율성(Autonomy)'과 '지속성(Persistence)'이 에이전틱 AI의 본질입니다.
에이전틱 AI가 실무 환경에 배치되면서 업무 처리 속도는 비약적으로 상승했습니다. 하지만 인간이 실시간으로 감시하지 않는 공백을 틈타 예측 불가능한 시스템 오류와 비즈니스 피해가 발생하기 시작했습니다. 통제권 상실의 리스크는 크게 세 가지 관점으로 분류할 수 있습니다.
AI 에이전트는 인간 사회의 미묘한 맥락이나 예외 상황을 완벽하게 이해하지 못합니다. 만약 재고 관리 에이전트에게 "특정 부품의 재고가 부족해지지 않도록 상시 유지하라"는 다소 모호한 지시를 내렸다고 가정해 보겠습니다. 공급망에 일시적인 차질이 생겨 부품 가격이 평소보다 10배 폭등했을 때, 유연한 판단 능력이 없는 AI 에이전트는 기업의 예산 한도를 고려하지 않고 기계적으로 수백만 달러어치의 비싼 부품을 강제 결제해 버릴 수 있습니다.
실제로 금융 및 커머스 업계에서는 AI 에이전트가 고객 대신 구매 결정을 내리는 '에이전틱 커머스'가 확산되면서, 고객이 승인하지 않은 거래나 AI의 오판으로 인한 환불·취소 분쟁이 급격히 증가하는 추세입니다.
현대의 에이전틱 AI 시스템은 단일 에이전트가 아니라, 여러 개의 AI 에이전트가 서로 소통하는 '다중 에이전트(Multi-agent) 시스템'으로 진화하고 있습니다. 데이터 분석 에이전트가 결과물을 내놓으면, 보고서 작성 에이전트가 이를 가공하고, 발송 에이전트가 실행하는 식입니다.
문제는 이 파이프라인 중 단 하나의 에이전트가 잘못된 데이터(할루시네이션 또는 왜곡된 합성 데이터)를 도출하거나 해킹을 당할 경우, 뒤이어 연결된 에이전트들이 이를 검증 없이 신뢰하여 잘못된 승인을 연쇄적으로 처리한다는 점입니다. AI의 작업 속도는 인간보다 압도적으로 빠르기 때문에, 인간 관리자가 문제를 인지하고 수동으로 멈추기 전 이미 조직 전체 시스템으로 피해가 확산되어 버립니다.
AI 에이전트의 결정으로 인해 대규모 금융 손실이 발생하거나, 시스템이 마비되거나, 고객의 대출 심사가 부당하게 거절당했을 때 "누구에게 책임을 물어야 하는가"에 대한 법적·제도적 기준이 아직 모호합니다. AI 모델을 개발한 빅테크 기업의 문제인지, 솔루션을 커스텀한 개발자의 잘못인지, 아니면 최종 권한을 부여한 기업 경영진의 책임인지 명확히 가려내기 어렵다는 점이 기업들이 선뜻 상용화 단계로 진화하지 못하게 만드는 거대한 장벽입니다.
에이전틱 AI의 통제권 문제는 단순한 운영 실수를 넘어 심각한 사이버 보안 위협으로 직결됩니다. 자율성을 가진 AI는 필연적으로 데이터에 접근할 수 있는 '열쇠'를 쥐어야 하기 때문입니다.
비인간 신원(NHI, Non-Human Identity)의 폭증
AI 에이전트가 사람 대신 시스템을 조작하기 위해 사용하는 API 키, 서비스 계정, 토큰, 디지털 인증서 등을 의미합니다. 인간 사용자는 2차 인증(MFA)이나 생체 인식을 통해 실시간 통제가 가능하지만, 자율 구동되는 AI 에이전트의 '비인간 신원'은 보안 관리의 사각지대에 놓이기 쉽습니다.
해커들은 이제 인간의 PC를 직접 해킹하기보다, 권한이 느슨하게 설정된 AI 에이전트의 비인간 신원을 사칭하거나 탈취하는 방식을 선호합니다. 에이전트 시스템 내부의 메모리를 오염시키는 '프롬프트 인젝션' 공격을 가해 에이전트가 해커의 명령을 정상적인 업무 지시로 착각하게 만드는 기법이 대표적입니다.
일단 권한을 탈취당한 AI 에이전트는 해커의 지시에 따라 사내 기밀 데이터를 무단으로 검색해 외부로 유출하거나, 사람의 검토 프로세스를 우회하여 허위 주문을 대량으로 승인하는 고도화된 공급망 공격의 숙주가 되고 있습니다.
에이전틱 AI의 폭주를 막고 안전한 자동화를 달성하기 위해, 테크 기업들은 시스템 설계 구조를 근본적으로 바꾸기 시작했습니다. 현재 업계가 도입 중인 핵심 방어선은 크게 세 가지로 요약됩니다.
AI 에이전트가 실행하는 모든 코드와 도구 사용을 호스트 운영체제(OS) 및 사내 핵심 서버와 논리적으로 완전히 분리된 가상 환경, 즉 '샌드박스' 내부에서만 작동하도록 제한하는 기술입니다.
E2B, AWS Firecracker, Google gVisor 같은 초경량 마이크로 가상머신(VM) 및 WebAssembly 기반 런타임 기술이 적극적으로 도입되고 있습니다. 이 구조에서는 AI 에이전트가 해킹을 당하거나 프롬프트 오류로 인해 파괴적인 코드를 실행하더라도, 그 피해가 가상 공간 내에만 갇히기 때문에 기업의 메인 인프라를 안전하게 보호할 수 있습니다.
인간 직원과 마찬가지로 AI 에이전트에게도 업무에 필요한 '최소한의 권한'만을 부여하는 체계입니다. 데이터 읽기 권한만 있으면 되는 에이전트에게 쓰기나 삭제 권한을 주지 않고, 특정 폴더 외부의 데이터 검색을 원천 차단하는 정교한 Identity 거버넌스를 구축하는 것입니다. 기업들은 등록된 AI 에이전트의 목록과 권한 범위를 실시간으로 감시하고 정기적으로 검증하는 프로세스를 도입하고 있습니다.
기술적 격리보다 중요한 것은 절차적 통제입니다. AI 에이전트에게 전권을 위임하는 대신, 되돌릴 수 없거나 리스크가 큰 Critical Checkpoint(임계점)에는 반드시 인간의 명시적 승인을 거치도록 설계하는 기법입니다.
일정 금액 이상의 금융 송금 및 결제
데이터베이스의 영구적인 변경 및 파일 삭제
민감한 고객 개인정보의 대량 외부 전송
시스템 보안 설정의 수정
이러한 고위험 작업이 감지되면 AI 에이전트는 실행을 일시 중단하고 인간 관리자에게 팝업이나 알림을 보내 "승인하시겠습니까?"를 물어야 합니다. 자율성 속에 '조건부 승인 구조'를 배치함으로써 기술의 효율성과 인간의 통제력 사이에서 균형을 잡는 것입니다.
에이전틱 AI는 분명 거스를 수 없는 거대한 흐름입니다. 업무 효율을 수십 배 이상 끌어올릴 수 있는 이 매력적인 기술을 리스크가 두렵다는 이유로 전면 거부하는 기업은 도태될 수밖에 없습니다.
결국 앞으로의 IT 경쟁력은 "얼마나 똑똑한 AI 모델을 쓰느냐"가 아니라, "얼마나 안전하게 AI를 통제하고 관리할 수 있느냐"에 달려 있습니다. 에이전트가 손상될 수 있다는 위험을 기본 전제로 삼는 제로 트러스트(Zero Trust) 관점의 보안 설계, 그리고 보안·리스크·법률 전문가가 모두 참여하는 'AI 거버넌스 의회' 구축은 선택이 아닌 필수 생존 전략이 되었습니다.
생산성의 혁신과 통제권의 확보라는 두 마리 토끼를 모두 잡는 조직만이 에이전틱 AI가 지배할 미래 비즈니스 생태계에서 진정한 승자가 될 것입니다.