AlpacaX

Insights

검증 가이드는 나와도 규칙으로 만드는 건 사람의 몫입니다

세션 분석은 무엇을 조여야 할지 알려 줄 수 있습니다. 규칙으로 바꿔 주는 시스템은 없습니다.

Jungyeon Lee
Jungyeon LeeContent Marketer · 2026년 9월 9일

세션 분석은 무엇을 조여야 할지 알려 줄 수 있습니다. 규칙으로 바꿔 주는 시스템은 없습니다.

지금 감사를 진행해 보면 대체로 같은 결과가 나옵니다. 표시돼야 했던 세션, 목적을 다한 뒤에도 남아 있는 접근 권한, 누군가 알아차리기 전까지 세 번이나 반복된 패턴 같은 것들입니다. 이 중 많은 경우, 시스템 안의 무언가가 이미 표시해 두었는데도 아무도 조치하지 않았습니다.

AI 시스템이 유용한 관찰 결과를 내놓는 일과 사람이 그것을 구속력 있는 규칙으로 바꾸는 일 사이에는 틈이 있습니다. 이 틈 때문에 위와 같은 결과가 감사에서 나옵니다.

권고는 이미 나와 있습니다

AI 세션 리뷰가 포함된 요금제에서는 기록된 Websh 세션의 활동이 여러 차례에 걸친 분석을 거칩니다. 분석은 명령어를 추출하고, 하나하나 분류한 다음, 그 순서를 알려진 공격 체인 패턴과 대조합니다. 마지막 분석에서는 검증 가이드, 즉 확인할 구체적인 항목을 그 세션 자체의 기록에 남깁니다. 여기에는 이유가 있습니다. 위험한 명령 하나와 그런 명령이 줄줄이 이어진 흐름은 한 줄씩만 보는 도구에는 똑같아 보이기 때문입니다. 이렇게 나온 결과는 빈 껍데기가 아닙니다. 세션을 검토하는 사람이 무슨 일이 있었는지 일일이 다시 짜맞출 필요가 없습니다.

지금은 사람의 몫으로 남아 있는 단계

서로 다른 세션 세 건에서 같은 운영자가 배정된 범위를 넘어 권한을 올려야 하는 상황이 반복해서 나타난다고 가정해 보겠습니다. 어떤 시스템도 이런 패턴을 여러 세션에 걸쳐 자동으로 모아 정책 변경으로 만들어 주지는 않습니다. 이런 상황이 세 번 반복돼도 그 바탕이 되는 접근 권한을 좁히자는 제안은 나오지 않습니다. 관찰된 패턴을 규칙으로 바꾸는 일은 지금은 사람이 직접 밟는 단계이고, 그렇게 설계된 결과입니다.

승인 절차에서는 AI 신호가 심사 강도를 높이는 방향으로만 작동합니다. 이는 코드 수준에서 강제된 불변 규칙입니다. 심사를 낮추는 방향으로는 절대 작동하지 않으며, AI 신호가 멈추거나 타임아웃 또는 장애가 발생해도 그대로 유지됩니다. 다만 이 보장이 미치는 범위는 들리는 것만큼 넓지는 않습니다. 대기 중인 결정에 심사를 더할지 정하는 장치와 관찰된 패턴을 새 규칙으로 바꾸는 장치는 서로 다르며, 지금은 둘 중 하나만 있습니다.

같은 형태의 통제는 규제에서도 나타납니다. EU AI Act(EU 인공지능법) Article 14 제4항 (d)호는 고위험 AI 시스템 제공자에게 의무를 하나 규정합니다. 사람이 그 시스템의 결과를 무시하거나 무효화하거나 뒤집을 수 있는 장치를 마련해야 한다는 것입니다. 독립형 Annex III 시스템에서는 이 의무가 2027년 12월 2일부터 적용됩니다. 아직은 시행 전입니다. 그래도 이 규정이 깔고 있는 전제는 같습니다. 사람이 나서야 작동하는 시스템이지, 혼자 작동하는 시스템이 아니라는 것입니다.

대부분의 조직은 아직 그 수준에 이르지 못했습니다

대부분의 조직에서는 관찰을 규칙으로 끌어올리는 이 단계가 아직 병목조차 아닙니다. 북미와 유럽 CISO 104명을 대상으로 한 CyberArk의 조사(2025년 11월 발표)에 따르면, AI 에이전트 도입률은 3년 안에 76%까지 늘어날 것으로 예상되지만 현재 적절한 보안·권한 통제를 갖춘 곳은 10% 미만입니다. 이 수치는 CyberArk 자체 조사에서 나온 것이라는 점을 짚어 둘 만합니다. 이 수치는 이 글의 주제와는 다른 틈을 가리킵니다. 아무도 AI의 권고를 검토하지 않는 것이 문제가 아닙니다. 대부분의 조직이 권고를 적용할 바탕이 되는 권한 통제 자체를 아직 갖추지 못한 것이 문제입니다. 사람이 세션 가이드를 검토하고 규칙을 조일지 결정하는 일은 그보다 나중 과제이고, 많은 팀이 아직 거기까지 가지 못했습니다.

그 단계에 이른 뒤에도 논리는 같습니다. SOC 2나 HIPAA 감사자도 같은 구분을 짓습니다. 무언가가 표시됐다는 사실을 보여 주는 것과 그 뒤에 무슨 일이 있었는지를 보여 주는 것은 별개입니다.

다음 AI 거버넌스 감사에서 확인할 점

AI 네이티브 PAM이나 에이전트 거버넌스 벤더를 대상으로 한 AI 거버넌스 감사가 물어야 할 질문은 하나입니다. 권고가 나온 뒤 무슨 일이 일어나는지입니다. 도구가 권고를 만들어 내는지가 아닙니다. 이 답은 세 가지 확인으로 드러납니다.

  • 사람 없이 조치하는가? 어떤 벤더 시스템은 사람 없이 스스로 조치하고, 다른 시스템은 누군가 읽고 결정할 때까지 기록에 그대로 남겨 둡니다. 지금 보고 있는 제품이 어느 쪽인지 물어보십시오.
  • 벤더가 그 답을 솔직하게 밝히는가? 일부 영업 설명은 관찰과 집행을 뭉뚱그리는데, 이 구분이 권고 자체보다 더 중요합니다.
  • 시연에서 직접 보여 줄 수 있는가? 슬라이드 설명 대신 시연을 요청하십시오. 요청해도 보여 주지 못한다면, 그 자체가 답입니다.

Alpacon은 사람이 읽고 결정할 때까지 기다리는 쪽입니다. AI 세션 리뷰가 포함된 요금제에서는 기록된 Websh 세션의 검증 가이드가 그 세션 자체의 기록에 남아, 누군가 읽고 그것으로 무엇을 할지, 혹은 아무 조치도 하지 않을지를 결정할 때까지 그대로 있습니다. 지금 이 가이드에 따라 자동으로 조치하는 시스템은 없습니다.

지난번 AI 거버넌스 감사에서 아무도 조치하지 않은 권고가 나왔다면, 더 똑똑한 모델이 답은 아닙니다. 고쳐야 할 지점은 따로 있습니다. 시스템이 이미 표시해 둔 것을 누군가 읽게 만들고, 그 일을 나중에 덧붙는 곁가지가 아니라 업무의 일부로 다루는 것입니다.

Jungyeon Lee
저자 소개Jungyeon LeeContent Marketer

Jungyeon Lee writes about AI agent security at AlpacaX—mostly incident analyses of agents that went wrong in production, plus the governance side of it, from ISO 42001 readiness to AI vendor risk. She studied economics and web programming at NYU.


검증 가이드는 나와도 규칙으로 만드는 건 사람의 몫입니다 | AlpacaX