모델 리스크 검토는 끝났습니다. 법무팀은 DPIA에 서명했고, 벤더 평가도 통과했습니다. 스프레드시트, GRC 티켓, 컴플라이언스 담당자 이름이 적힌 PDF 중 어디엔가 이 모델을 이 용도로 써도 된다는 기록이 남습니다.
그 문서는 승인 당시의 모델 버전만 설명합니다. 지금 운영 중인 모델은 설명하지 못합니다.
승인 뒤에도 모델은 바뀝니다
GDPR은 필요한 경우, 적어도 처리 위험이 바뀌었을 때는 DPIA를 다시 검토하도록 요구합니다. 은행권 모델 리스크 지침도 2011년부터 올해 4월까지 상시 모니터링을 요구했습니다. 이후 OCC Bulletin 2026-13은 그 2011년 지침을 폐지하고 생성형·에이전틱 AI 모델을 적용 범위에서 명시적으로 제외했습니다. AI 특화 규정을 마련하는 동안의 조치입니다. 지금 이런 범용 모델에 실제로 적용되는 의무는 많지 않으며, GDPR의 재검토 요건이 그중 하나입니다. 그러나 실무에서는 누군가 변경 사실을 알려야 검토가 시작됩니다. 그런데 벤더 쪽 재학습은 바로 아무도 알려 주지 않는 종류의 변경입니다.
일부 모델 벤더는 고정 스냅샷을 제공합니다. 연동이 이 버전을 호출하면 승인한 모델은 저절로 바뀌지 않습니다. 문제는 고정하지 않은 경우입니다. SaaS에 내장된 AI 기능처럼 애초에 선택권이 없는 경우도 있습니다. 한 AI 거버넌스 벤더의 시장 분석에 따르면, 재학습·파인튜닝·재구성은 내부 검토 일정이 아니라 벤더 로드맵에 따라 이뤄집니다. 고정 스냅샷도 언젠가는 지원이 종료돼 이전해야 합니다. 결국 승인한 것은 특정 시점의 모델 하나입니다. 이후 나오는 버전을 모두 다시 승인하기로 한 적은 없지만, 유동 별칭(floating alias)이나 내장 기능을 쓰면 벤더가 다음에 내놓는 버전을 그대로 운영하게 됩니다.
릴리스 번호보다 중요한 것은 모델의 행동입니다. 거부 행동, 사실 신뢰성, 민감한 콘텐츠 처리 방식은 벤더의 변경 로그에 거의 남지 않아 구조적 변경보다 감사 추적에서 빠지기 쉽습니다. 이는 거버넌스 벤더만의 시장 분석이 아닙니다. 2023년 연구는 동일한 수학 문제 세트에서 GPT-4 정확도가 2023년 3월 버전의 84%에서 6월 버전의 51%로 떨어졌다고 보고했습니다. 고정된 API 엔드포인트 뒤에서 벤더가 언제, 어떻게 모델을 바꾸는지는 고객에게 보이지 않습니다. 510(k) 허가를 받은 의료기기는 안전성이나 유효성에 상당한 영향을 줄 수 있는 변경이 있으면 새 510(k)를 제출해야 합니다. 공개되지 않은 모델 변경도 이런 경우가 될 수 있으며, 앞서 인용한 거버넌스 벤더는 공정 대출 심사도 조용히 무력화될 수 있다고 봅니다.
대시보드가 아니라 표본 점검이 문제를 찾았습니다
규제 대상 제조업체의 일탈 관리 보조 시스템에서는 벤더 재학습 없이 같은 문제가 생겼습니다. 이 시스템은 운영 중에도 학습을 계속했습니다. 담당자가 기록을 최종 확정할 때마다 그 결과가 다시 학습 데이터로 들어갔습니다. 한 사업장에서 들어오는 데이터의 성격이 달라지자 분류 결과도 흔들렸습니다. 14일 동안 일탈 기록 64건이 잘못 분류됐지만 아무도 이의를 제기하지 않았습니다. 대시보드가 아니라 무작위 표본을 다시 검토하는 과정에서 발견됐습니다.
시스템은 담당자가 통과시킨 기록을 계속 학습했습니다. 그러다 마지막으로 정상 작동을 확인한 버전과 다른 판단을 내리기 시작했지만, 이를 알아챌 장치는 없었습니다. 벤더 재학습과 메커니즘은 다르지만 실패는 같습니다. 검토가 모델은 그대로일 것이라 전제한 사이, 모델은 계속 바뀌고 있었습니다.
두 규제 기관 모두 LLM 벤더의 조용한 재학습을 직접 지목하지도, 완전히 다루지도 않습니다. FDA의 Computer Software Assurance 가이드(2025년 9월 발행, 2026년 2월 개정)는 모든 것을 똑같이 문서화하는 대신 위험 수준에 맞춰 검증 강도를 조정하라고 요구합니다. AI에 한정된 원칙이 아니라 소프트웨어 검증 일반의 원칙입니다. EU의 GMP Annex 22 초안은 AI 문제를 더 깊게 다루지만 범위는 더 좁습니다. 고정된 파라미터를 가진 모델만 대상으로 하고, 초안 텍스트 자체가 LLM과 생성형 AI를 GMP 핵심 용도에서 명시적으로 제외합니다. 초안은 대상인 고정 모델에 대해서는 입력 분포 변화를 모니터링하고 변경에 재검증이 필요한지 문서로 판단하도록 요구합니다. 한 실무자의 표현을 빌리면 검사관이 계속 묻는 질문은 이렇습니다. "AI가 제대로 작동하지 않게 되면 어떻게 알아채고, 그다음엔 무엇을 할 것인가?"
같은 저자는 5단계 에스컬레이션 절차(경보→조사→범위 제한→정지→재학습)를 제시합니다. 실제 드리프트 신호를 놓치지 않으면서 노이즈 때문에 시스템을 세우지도 않게 설계한 절차입니다. 마지막 단계는 모델을 직접 재학습할 수 있다는 전제를 깔고 있는데, 벤더가 호스팅하는 모델에서는 이 단계가 사실상 "벤더에 에스컬레이션한다"는 뜻입니다.
운영 중인 모델을 계속 확인하는 방법
AI 라이프사이클을 상시로 관리한다는 건, 벤더 쪽 모델 변경을 한 번 승인하고 끝낼 일이 아니라 통지받아야 할 변경 이벤트로 다룬다는 뜻입니다. 계속 관리하는 모델 목록, 버전 변경을 추적할 담당자, 시점 승인이 아닌 실제 성능의 상시 평가가 필요합니다. 검토 주기를 짧게 만드는 것만으로는 해결되지 않습니다. LangChain이 2025년 말 1,340건의 응답을 대상으로 진행한 설문에서 에이전트를 운영하는 팀의 94%는 옵저버빌리티를 갖췄지만, 실시간 에이전트 성능을 온라인으로 평가하는 팀은 44.8%에 그쳤습니다. 대부분의 팀은 에이전트가 사후에 무엇을 했는지 확인할 수 있습니다. 지금도 기대한 대로 작동하는지를 계속 확인하는 팀은 훨씬 적습니다. 시점 승인은 아무리 잘해도, 본질적으로 계속 이어지는 질문에는 답하지 못합니다.
이번 분기에 던져야 할 질문
최근 받은 모델 리스크 승인 문서의 날짜를 확인합니다. 그다음 벤더 관계를 담당하는 사람에게 그 이후 무엇이 바뀌었는지 물어봅니다. 더 중요한 질문은 벤더가 알릴 의무를 계약서에 지고 있는지입니다. 스냅샷에 고정돼 있지 않고 통지 의무도 없다면, 그 승인은 아무도 다시 확인하지 않은 모델을 보증하게 됩니다. 감사가 같은 질문을 던지기 전에 정리할 문제입니다.
그 모델이 셸 접근 권한을 가진 에이전트를 움직인다면, 벤더 업데이트는 모델이 무엇을 쓰는지뿐 아니라 어떤 명령을 제안하는지도 바꿀 수 있습니다. Alpacon이 평가하는 것은 명령을 제안한 모델이 아니라 명령 자체입니다.
다음 글: AI 벤더 위험 평가에서 빠진 런타임 질문
