이번 주에 바로 돌려 볼 수 있는 실행 시점 질문 여섯 가지입니다. 실패 하나가 평균에 묻혀 통과되지 않도록 채점합니다.
2026년 벤더 질문지 양식에도 이런 질문이 조금씩 들어가고 있습니다. Reco AI 자체 양식에는 "자율성과 가드레일" 항목이 있고, 킬 스위치 질문과 작업 단위 승인 질문이 포함돼 있습니다. 모든 답변은 0~2점으로 채점되고 총점으로 판정 구간이 나뉩니다.
하지만 자동 탈락을 강제하는 레드 플래그는 데이터 처리와 모델 학습 영역에만 있습니다. 자율성 질문에서 레드 플래그가 나와도 점수만 깎일 뿐입니다. 게다가 이 항목이 채점하는 통과 조건은 승인 게이트가 동작 유형별로 설정 가능한지 여부이고, 그 게이트가 실행 시점에 무언가를 멈추는지는 채점 대상이 아닙니다. 벤더는 "설정 가능한 승인 게이트"에서 좋은 점수를 받으면서도, 실행 중에는 한 번도 실제로 멈추지 않는 승인 절차를 그대로 내보낼 수 있습니다. 이번 주에는 실행 시점의 실패가 평균에 묻히지 않도록 이 여섯 가지 실행 시점 질문을 하나씩 채점해 보면 됩니다.
아래 각 질문에는 통과 기준(어떤 답변이어야 하는지)과, 제대로 된 답을 받기 전까지는 평가를 멈춰야 하는 레드 플래그가 함께 붙어 있습니다. 서류상으로만 여섯 문항을 모두 통과한 벤더는 사실 아무것도 통과한 것이 아닙니다. 구체적으로 답하게 만들어야 합니다.
여섯 가지 실행 시점 질문
1. 실행 시점에 어떤 명령이나 동작을 차단할 수 있고, 방법은 무엇인가요? (NIST AI RMF, EU AI Act 리스크 통제) 통과 기준: 규칙 엔진, 정책 게이트, 사람 승인 단계 같은 실제 작동 방식을 구체적으로 밝히고, 실제로 막은 명령 하나를 예로 들 수 있어야 합니다. 레드 플래그: "모든 것을 기록합니다"가 답변의 전부이거나, "아직 무언가를 차단할 필요는 없었습니다"라는 답변입니다.
2. 사람의 승인은 언제 필요하고, 사람은 어떻게 개입하나요? (EU AI Act 제14조 고위험 시스템 인적 감독 의무) 통과 기준: 위험 점수, 동작 유형, 대상 시스템 같은 명확한 트리거가 작업 실행 전에 지정된 승인자 역할로 연결돼야 합니다. 레드 플래그: "승인"이라는 말이 실은 정책 문서를 분기별로 검토한다는 뜻일 뿐, 실행 시점에 무언가를 멈춘다는 뜻이 아닌 경우입니다.
3. 실행 중인 에이전트를 종료하거나 개입할 수 있고, 얼마나 빠른가요? 통과 기준: 벤더가 구체적인 시간 기준을 문서로 약속하고, 그 기준을 지키는 방식을 설명할 수 있어야 합니다. EU AI Act 제14조의 고위험 시스템 중지 의무는 개입 능력을 요구하지만 시간 창을 명시하지 않으므로, 여기서 확인하는 수치는 벤더가 스스로 약속한 값이지 대조할 표준이 아닙니다. 레드 플래그: "언젠가는 끌 수 있습니다" 같은 답변이거나, 시간 기준이 붙지 않은 작동 방식입니다.
4. 에이전트가 무엇을 했고, 왜 했으며, 누구의 신원으로 실행했나요? (EU AI Act 제12조 기록 보관, SOC 2, ISO 42001) 통과 기준: 모든 작업이 인증된 사람까지 연결되고, 벤더가 실제 기록 샘플을 제시할 수 있어야 합니다. 레드 플래그: 책임 추적이 API 키나 공용 통합 계정에서 끝나는 경우입니다. 그건 책임질 수 있는 신원이 아닙니다.
5. 에이전트의 권한은 상시 유지되나요, 아니면 작업 단위로 제한되고 매번 다시 확인되나요? (최소 권한, NIST AI RMF govern/manage) 통과 기준: 권한이 작업 단위로 발급되고, 한 번 부여된 권한에 계속 의존하는 대신 권한이 필요한 작업마다 다시 확인돼야 합니다. 레드 플래그: "자격증명은 만료되지 않지만 주기적으로 교체합니다"라는 답변입니다. 교체는 범위를 좁히는 것과 다릅니다.
6. 도구 자체의 인바운드 공격 표면은 무엇인가요? 통과 기준: 열려 있는 모든 포트, 대기 중인 모든 프로토콜, 아웃바운드 전용인지 인바운드까지 포함하는지를 벤더가 구체적으로 제시할 수 있어야 합니다. 일반적인 보증 문구로는 부족합니다. 레드 플래그: "그건 저희 SOC 2에서 다룹니다"라는 답변입니다. 이는 에이전트 자체의 노출 범위에 대해 아무것도 말해 주지 않습니다.
추가로 확인할 레드 플래그 세 가지
이 세 가지는 실행 시점 질문은 아니지만 같은 체크리스트에 넣어야 합니다. Palavir의 2026 벤더 레드 플래그 목록이 첫 번째를 다루고, Reco AI의 질문지가 나머지 두 가지를 데이터·접근 질문으로 다룹니다.
- 문서 요청 회피. SOC 2, DPA, BAA 요청에 "나중에 드릴게요"나 "지금 준비 중입니다"라고 답한다면, 그건 지연이 아니라 그 자체가 답입니다. 좋은 벤더는 첫 세일즈 콜 전에 이미 이 문서들을 준비해 둡니다. 준비돼 있지 않다면 다른 무엇이 준비되지 않았는지도 확인해야 합니다.
- 기본값으로 고객 데이터를 학습에 사용. 옵트아웃하지 않으면 고객 데이터를 학습에 쓰고, 그 옵트아웃 설정이 계정 설정 깊숙이 숨어 있다면, 앞의 항목들과 별개로 그 자체가 레드 플래그입니다. 찾아야 하는 체크박스가 아니라 서면으로 확인을 요청해야 합니다.
- 오래 유지되고 수동으로 교체하는 API 키. 고정된 채 수동으로 교체하는 키는 5번 질문의 상시 권한 문제와 같은 패턴입니다. 다만 에이전트가 아니라 벤더 자신의 인프라에 적용된다는 점이 다릅니다.
이 체크리스트 활용법
답변을 평균으로 계산해서는 안 됩니다. Reco AI 자체 채점 기준도 모든 질문을 0~2점으로 채점하고 총점으로 판정 구간을 나눕니다. 하지만 자동 탈락으로 이어지는 유일한 경로는 데이터 처리나 모델 학습 영역의 레드 플래그 답변뿐입니다. 같은 거부권 논리를 여기에도 적용해야 합니다. 여섯 문항 중 네 개를 통과했더라도, 실패한 두 문항이 1번과 4번이라면 그 벤더는 여전히 나쁜 선택일 수 있습니다. 차단과 책임 추적은 문제가 생겼을 때 조치를 취할 수 있는지를 가르는 질문이고, 사후에 보기 좋은 서류가 있는지를 가르는 질문이 아닙니다.
이 여섯 문항 뒤에 있는 논리는 설문지가 놓치는 실행 시점 질문들에서 더 자세히 다룹니다.
