AlpacaX

AlpacaX 블로그: 보안과 제품 이야기, 그리고 AI 에이전트 실행 제어를 만들며 쌓아가는 생각들.

승인 문서가 설명하는 모델은 이미 바뀌었을 수 있습니다

Insights

승인 문서가 설명하는 모델은 이미 바뀌었을 수 있습니다

버전을 고정하지 않았다면, 벤더의 재학습은 승인 이후에도 내부 검토 일정과 무관하게 반영될 수 있습니다.

Jungyeon Lee
Jungyeon LeeContent Marketer · 2026년 10월 15일
루프재킹: 승인한 동작과 실행된 동작의 불일치

Insights

루프재킹: 승인한 동작과 실행된 동작의 불일치

한 연구자가 에이전트 프레임워크 세 곳의 테스트 환경에서 승인 내용과 다른 동작이 실행되는 문제를 재현했습니다.

Marco Kwak
Marco KwakHead of GTM · 2026년 10월 14일
에이전틱 AI란 무엇인가: 세 가지 기준

Insights

에이전틱 AI란 무엇인가: 세 가지 기준

에이전틱 AI를 정의하는 세 가지 특성 때문에 이 용어가 남용됩니다.

Eunyoung Jeong
Eunyoung JeongFounder & CEO · 2026년 10월 12일
관리자 도구를 쥔 AI 에이전트, 접근 제어의 사각지대

Insights

관리자 도구를 쥔 AI 에이전트, 접근 제어의 사각지대

DEF CON 34에서 뚫린 건 모델이 아니라 접근 모델이었습니다.

Marco Kwak
Marco KwakHead of GTM · 2026년 10월 6일
제이드퍼퍼, 최초로 문서화된 AI 에이전트 랜섬웨어 공격

Incident

제이드퍼퍼, 최초로 문서화된 AI 에이전트 랜섬웨어 공격

타깃은 사람이 골랐지만 그 다음은 모두 에이전트 스스로의 판단이었고, 3주 간격으로 두 번 반복됐습니다.

Eunyoung Jeong
Eunyoung JeongFounder & CEO · 2026년 10월 5일
사람이 막아 낸 AI 에이전트, 통제는 아니었습니다

Incident

사람이 막아 낸 AI 에이전트, 통제는 아니었습니다

UK AISI 보고서는 사람이 이번 시도를 막았지만, 이를 반복 가능한 기술적 통제로 볼 수 없다고 지적합니다.

Marco Kwak
Marco KwakHead of GTM · 2026년 9월 24일
AI 공격 프레임워크, 6시간도 안 돼 수천 건의 자격증명 수집

Incident

AI 공격 프레임워크, 6시간도 안 돼 수천 건의 자격증명 수집

숙련된 공격자조차 할 수 없는 일이어서 위험했던 것은 아닙니다. 사람의 판단을 기다리지 않고 연속으로 실행했다는 점이 달랐습니다.

Jungyeon Lee
Jungyeon LeeContent Marketer · 2026년 9월 23일
은행의 모델 리스크 관리에서 제외된 AI 에이전트

Insights

은행의 모델 리스크 관리에서 제외된 AI 에이전트

SR 26-2는 에이전트형 AI를 모델 리스크 관리 범위에서 제외했습니다. 에이전트가 실제로 수행하는 작업은 은행이 자체 거버넌스 체계로 관리해야 합니다.

Marco Kwak
Marco KwakHead of GTM · 2026년 9월 22일
AI 벤더 체크리스트: 채점할 실행 시점 질문 6가지

Insights

AI 벤더 체크리스트: 채점할 실행 시점 질문 6가지

이번 주에 바로 돌려 볼 수 있는 실행 시점 질문 여섯 가지입니다. 실패 하나가 평균에 묻혀 통과되지 않도록 채점합니다.

Marco Kwak
Marco KwakHead of GTM · 2026년 9월 11일
접근 제어만으로는 AI 에이전트 거버넌스가 안 됩니다

Insights

접근 제어만으로는 AI 에이전트 거버넌스가 안 됩니다

AI 네이티브 PAM 대부분은 누가 접근할지만 다룹니다. 거버넌스는 그다음에 벌어지는 일까지 판단해야 합니다.

Eunyoung Jeong
Eunyoung JeongFounder & CEO · 2026년 9월 10일
AI 거버넌스 파일럿이 조직 규모가 커지면 무너지는 이유

Insights

AI 거버넌스 파일럿이 조직 규모가 커지면 무너지는 이유

정책은 잘못되지 않았습니다. 다른 팀이 알리지 않고 세운 에이전트를 감당할 크기로 설계되지 않았을 뿐입니다.

Eunyoung Jeong
Eunyoung JeongFounder & CEO · 2026년 9월 7일
EU AI Act 고위험 항목 시한 연기, 바뀌지 않은 의무

Insights

EU AI Act 고위험 항목 시한 연기, 바뀌지 않은 의무

제50조는 그대로 적용됩니다. 12월에는 신규 금지 항목 두 가지가 시작됩니다. 미뤄진 것은 고위험 분류 관련 시한입니다.

Eunyoung Jeong
Eunyoung JeongFounder & CEO · 2026년 8월 26일
ISO 42001 Stage 1 체크리스트: 심사 전에 준비해야 할 문서

Insights

ISO 42001 Stage 1 체크리스트: 심사 전에 준비해야 할 문서

Stage 1은 문서와 준비 상태를 검토하는 단계입니다. ISO 42001 심사에서 미리 준비할 수 있는 부분이기도 합니다. 심사원이 Stage 2로 넘어가기 전에 어떤 자료를 확인하는지 정리했습니다.

Marco Kwak
Marco KwakHead of GTM · 2026년 8월 13일
정렬만으로는 부족합니다: 오정렬된 에이전트의 행동을 제한하는 런타임 실행 제어

Incident

정렬만으로는 부족합니다: 오정렬된 에이전트의 행동을 제한하는 런타임 실행 제어

모델 정렬(alignment)은 에이전트가 잘못 행동할 가능성을 낮춥니다. 하지만 실제 인프라에서 움직이기 시작한 에이전트의 위험을 완전히 없애지는 못합니다.

Jungyeon Lee
Jungyeon LeeContent Marketer · 2026년 8월 12일
문서 속 AI 거버넌스와 실행 중의 거버넌스

Insights

문서 속 AI 거버넌스와 실행 중의 거버넌스

보안 사고가 더 나은 보안 정책을 보장하지 않습니다. 대신 경영진이 정책에 던지는 질문을 바꿉니다.

Eunyoung Jeong
Eunyoung JeongFounder & CEO · 2026년 8월 11일
JIT 접근 제어는 사람을 위한 것입니다. AI 에이전트에겐 무엇이 필요할까요?

Insights

JIT 접근 제어는 사람을 위한 것입니다. AI 에이전트에겐 무엇이 필요할까요?

JIT는 에이전트가 들어오는지, 그리고 언제인지를 정합니다. 일단 들어온 뒤 무엇을 하는지는 다루지 못합니다.

Eunyoung Jeong
Eunyoung JeongFounder & CEO · 2026년 7월 14일
Blog | AlpacaX Blog