2부 패턴 레퍼런스 · 제 8장

C 운영 컴포넌트

AI 산출물이 공문·처분·대민 안내로 흘러가기 전후에 사람의 확인, 되돌림, 기록, 환류를 끼우는 횡단 부품을 다룬다. 운영 부품은 갖춘 것만 센다.

이 장에서 얻을 것

C 계층 10개 부품을 하는 일에 따라 네 묶음으로 구분한다
present·implemented·planned를 운영 증거로 가른다
권한 범위와 환경 조건에 맞춰 장착할 운영 부품을 고른다
운영 부품이 여는 AX 관문을 읽는다

초안이 공문이 되기 전에

민원 답변 초안을 써 주는 도구가 석 달째 잘 돌고 있다. 담당자들은 초안을 받아 조금 고쳐 보낸다. 어느 날 잘못된 수수료 안내가 민원인에게 그대로 나간다. 감사 부서가 묻는다. 지난달 초안 가운데 몇 건이 고쳐졌는가, 이번 건은 누가 확인했는가, 같은 실수가 다른 답변에도 들어갔는가. 도구에는 초안을 쓰는 기능만 있고, 이 물음에 답할 기록은 없다. 같은 주에 모델 API가 반나절 멈추자 상담 창구도 함께 멈춘다.

이 도구에 빠진 것은 운영 부품이다. C 계층(Operational Components)은 어떤 업무 컴포넌트에도 끼울 수 있는 횡단 부품으로, 사람의 확인, 위험도 분기, 종료와 되돌림, 기록과 지표, 경계 필터, 환류, 폴백, 권한 경계, 평가 세트를 맡는다. GoF 범주로는 행위(Behavioral) 패턴의 자리다. 카탈로그는 이 계층에 한 가지 원칙을 덧붙인다. 갖춘 것만 태그하고, 계획·설계 문서만 있으면 태그하지 않는다. AX 단계 가운데 First와 Native의 관문이 대부분 이 계층에 있기 때문이다.

열 개의 운영 부품, 네 가지 일

C 계층에는 C1부터 C9까지 아홉 부품과 C1의 변형인 심의 게이트(C1.2)가 있다. 그림 8.1은 이 열 개를 하는 일에 따라 네 묶음으로 가른다. 경계에서 거르는 묶음에는 C5가드레일 필터가 있다. 사람이 확인하는 묶음에는 C1검토 큐·C1.2심의 게이트·C2위험도 라우터가, 멈추고 되돌리는 묶음에는 C3상태 머신·롤백·C7폴백 스위치·C8권한 경계·킬스위치가, 재서 고치는 묶음에는 C4감사 로그·지표·C6환류 파이프라인·C9평가 세트·회귀시험이 든다.

네 묶음은 C4를 축으로 맞물린다. 위험도 라우터가 자동 처리 임계값을 정하려면 감사 로그에 쌓인 수정률이 있어야 하고, 폴백 스위치는 헬스체크 신호를 C4에서 읽으며, 환류 파이프라인의 입력도 C4의 수정·이의·오탐 기록이다. 그래서 C4가 없는 조립에서는 C2·C6·C7이 서류로만 존재하기 쉽다.

그림 8.1 C 계층 지도. 운영 부품 10개를 거른다, 확인한다, 멈추고 되돌린다, 재서 고친다의 네 묶음으로 나눴다. 아래 선은 C4 감사 로그·지표가 라우터와 폴백, 환류의 입력이라는 점을 보여 준다.

Gulli(2025)는 이 묶음들을 여러 장에 나눠 다룬다. 12장은 예외 처리를 탐지, 처리, 복구로 나누는데, 처리 단계의 재시도와 대체 경로가 C7에, 복구 단계의 롤백이 C3에 해당한다. 13장의 사람 개입(HITL)은 C1·C2·C8로 옮겨진다. 이 장은 사람이 정책만 정하고 AI가 그 안에서 움직이는 human-on-the-loop 방식을 소개하며, 전건 검토가 처리량을 따라가지 못하는 확장성 비용을 함께 지적한다. 9장의 학습·적응은 C6, 18장의 다층 가드레일은 C5, 19장의 평가·모니터링은 C9와 C4에 닿는다. 19장이 최종 답과 함께 도구 호출 궤적도 평가하라고 권하는 대목은 C4의 분산 추적과 맞물린다.

운영 증거와 구현 상태

C 계층을 태깅할 때 가장 자주 부딪히는 물음은 부품이 실제로 돌았느냐다. 카탈로그는 v0.6에서 모든 부품에 구현 상태 세 단계를 두었다(R3). present는 운영이나 시범 기간에 한 번 이상 작동한 기록이 있는 상태, implemented는 구현은 확인되었으나 실측 전인 상태, planned는 설계나 예정만 있는 상태다. AI-Ready 이하 과제의 C6·C7은 planned로 강등된다.

이 규칙이 엄격한 이유는 X2설계도만 있는 운영 때문이다. 분기·롤백·재학습이 예정으로만 등장하는 보고서는 운영 체계를 갖춘 것처럼 읽힌다. 그러나 First 이상의 단계는 설계 문서만으로 인정받지 못한다. 반대로 부품을 planned로 정직하게 적고 AX 단계도 그만큼 낮춰 주장한 과제는 이 안티패턴에 해당하지 않는다.

AX 관문으로 읽는 운영 부품

운영 부품을 AX 관문 위에 올리면 사다리 모양이 된다(그림 8.2). 맨 아래 칸의 검토 큐는 Enabled의 필수 관문이다. 사람이 확인하고 확정하는 절차가 실제로 돌아야 AI-Enabled로 인정된다. 그러나 전건 검토가 끝까지 남으면 업무 순서가 바뀌지 않아 First로 가지 못한다. First의 결정 관문은 위험도 라우터이고, 상태 머신·롤백과 감사 로그·지표가 함께 First를 받친다. 권한 경계는 E4가 P2 이상일 때 First 관문이 된다. Native 관문은 환류 파이프라인과 폴백 스위치다. 가드레일 필터와 평가 세트는 관문이 아니지만, C5는 해외 상용 API 조건에서 필수이고 C9는 C6 환류와 C7 모델 교체가 성립하기 위한 전제다.

그림 8.2 운영 부품의 관문 사다리. 검토 큐가 Enabled를, 위험도 라우터·상태 머신·감사 로그(P2 이상이면 권한 경계까지)가 First를, 환류와 폴백이 Native를 연다. 가드레일·평가 세트·심의는 단계와 무관하게 조건에 따라 붙는다.

무엇부터 장착하나

적용 절차(§7.1)의 다섯째 단계가 기준이다. E4가 P0~P1이면 검토 큐와 가드레일로 충분하다. P2 이상이면 위험도 라우터, 상태 머신·롤백, 감사 로그, 권한 경계가 필수이고, 상시 서비스이거나 상용 API에 의존하면 폴백이 필수다. 그림 8.3은 이 판단을 질문 순서로 늘어놓았다. 첫 질문을 빼면 각 질문은 누적된다. 앞 질문에 예라고 답해도 다음 질문으로 넘어간다.

그림 8.3 운영 부품 장착 순서. 런타임 AI 산출물이 없으면 C 부품은 필요 없다. 그 밖에는 질문마다 예일 때 오른쪽 부품을 더하고 다음 질문으로 내려간다. 권한이 P2 이상이 되는 순간 네 부품이 한꺼번에 필수가 된다.

진행 경로(§7.2)로 보면 순서가 더 분명하다. 평가 세트는 열한 단계 가운데 두 번째로, 지식 접지를 붙이기 전에 온다. 가드레일은 여섯 번째, 라우터·권한 경계·롤백은 여덟 번째, 폴백과 환류는 열 번째다. 평가 없이 검색을 붙이거나 실측 없이 라우터 임계값을 정하면 이 순서를 건너뛰게 된다.

이웃 계층과의 경계

C 계층은 세 이웃과 짝을 이룬다(표 8.1). S 계층과는 다루는 상대가 다르다. C는 실수와 장애를, S는 적대자를 다룬다. F 계층은 C의 통제를 이용자 쪽에서 보이게 하는 면이라, 거의 모든 C 부품에 짝이 되는 F 부품이 있다. B′ 계층은 C 부품의 안쪽 배선을 이룬다. 위험도 라우터의 안쪽 배선은 라우터·디스패처 원형이고, 가드레일의 Model Critic은 생성자-비평가 원형에서 왔다.

**표 8.1** C 부품과 이웃 계층의 짝
C 부품	F 이용자 면	S·B′ 이웃과의 구분
C1 · C1.2	F2편집 가능한 출력, F6에이전트 행동 검토·확인	C1.2는 제3자 전문가 심의, 이용자 본인 확정은 C1(R16)
C2	F11진행 상태·핸드오프 안내	안쪽 배선은 B′2라우터·디스패처
C3	F8대화 이력·되돌리기	C7은 경로 전환, C3는 건의 되돌림
C4	없음	S10결정적 재생은 무엇이 일어났는지를 재현, C4는 얼마나 자주인지를 센다
C5	F1출처 표시, F7한계·신뢰도 안내	적대적 입력 탐지는 S8독립 검증기·이중 심판
C6	F10이용자 자기확인·피드백	재검증 단계가 곧 C9
C8	F6에이전트 행동 검토·확인	승인 게이트로 S4·S5·S6을 대신하지 않는다(R6)

계층 안에서 고르기

표 8.2는 C 부품마다 언제 끼우는지와 무엇을 대가로 치르는지를 한 줄씩 적은 선택표다.

**표 8.2** C 운영 컴포넌트 선택표
ID	이름	한 줄 의도	쓰는 때
C1	C1검토 큐	사람이 산출물을 확인·수정·확정한다	산출물이 공문·처분·대민 안내로 이어질 때
C1.2	C1.2심의 게이트	제3자 전문가가 공개 전에 심의한다	발간·홍보처럼 법적·사실 판단이 필요할 때
C2	C2위험도 라우터	저위험은 자동, 고위험은 숙련자로 보낸다	전건 검토가 병목이고 수정률 실측이 있을 때
C3	C3상태 머신·롤백	건의 종료를 알고 잘못된 건을 되돌린다	업무 시스템에 쓰는 P2 이상, 상태가 있는 접수·심사
C4	C4감사 로그·지표	건별 흔적과 수정률·처리시간을 쌓는다	C2·C6·C7을 붙이려 할 때, 기관 전이 때
C5	C5가드레일 필터	개인정보·환각·형식 오류를 경계에서 거른다	해외 상용 API로 본문이 나갈 때, 민감 등급일 때
C6	C6환류 파이프라인	사용 결과를 재학습·기준 개정으로 되돌린다	분포가 바뀌는 감지·예측, C4·C9가 갖춰진 뒤
C7	C7폴백 스위치	모델·API가 멈춰도 경로를 바꿔 이어 간다	상시 서비스, 상용 API 의존
C8	C8권한 경계·킬스위치	할 수 있는 일의 상한과 즉시 중단을 둔다	P2 이상, 에이전트가 도구를 호출할 때
C9	C9평가 세트·회귀시험	모든 변경을 같은 자로 잰다	RAG·튜닝·모델 교체 전

PAX 사례에서 본 C 계층

운영 부품이 하나라도 붙은 PAX 사례는 133건으로, 태깅 564건의 24%다(그림 8.4). 검토 큐 46건과 가드레일 필터 44건이 앞서고, 권한 경계 22건, 감사 로그 16건, 평가 세트 16건이 그다음이다. First 관문인 위험도 라우터는 4건, 상태 머신·롤백은 6건, 환류 파이프라인은 4건이다. 검토 큐와 위험도 라우터를 함께 가진 사례는 2건뿐이다. 시스템 쓰기 권한(P2)으로 태깅된 26건 중 권한 경계를 갖춘 사례는 9건이다. 이와 별도로 planned로만 적힌 운영 부품도 있는데, 검토 큐와 폴백이 각 6건으로 가장 많다.

그림 8.4 PAX 태깅 564건의 C 부품 사용 사례 수(planned 제외). 거르고 확인하는 부품은 수십 건이지만 First·Native 관문 부품은 한 자리 수에 머문다.

PAX의 자생 도구 대부분은 사람이 결과를 보고 쓰는 Enabled 이하의 구조이고, 분기·되돌림·환류를 운영 증거와 함께 갖춘 사례는 드물다. 운영 부품이 실제로 도는 경우는 광진구가 공무원이 직접 만든 AI 도구 6종을 전 직원 업무에 투입한 사례처럼 아직 손에 꼽힌다.

사례 연구 · 가람시(가상)

전건 검토에서 위험도 분기로

가람시 민원여권과의 상담원용 답변 초안 도구(2장)는 처음부터 검토 큐를 갖췄다. 모든 초안은 담당자 화면에 올라오고, 담당자가 고쳐서 보낸다. 넉 달이 지나자 검토가 병목이 되었다. 단순한 서식 안내까지 한 건씩 열어 봐야 했기 때문이다. 과장은 저위험 건은 자동으로 보내자고 했지만 정보통신과 AX팀은 먼저 숫자를 요구했다.

AX팀은 검토 화면에 수정 여부와 수정 유형을 남기도록 감사 로그를 붙였다. 6주 동안 쌓인 기록을 보니 서식·제출 장소 안내 유형은 거의 고쳐지지 않았고, 수수료·감면 안내는 자주 고쳐졌다. 이 실측으로 위험도 라우터의 첫 기준을 정했다. 서식 안내는 자동 발송하되 발송 이력을 남기고, 수수료·감면은 숙련자에게 보낸다. 민원인 화면에는 사람에게 넘어갔다는 안내가 뜬다.

기준을 적용한 첫 달, 자동 발송 건 가운데 민원인 이의 한 건이 들어왔고 상태 머신이 그 건을 되돌려 재처리했다. 트리거에서 결과 확인까지 한 바퀴가 돈 것이다. 이 기록이 있어 감사 부서 앞에서 C2를 present로 적을 수 있었다.

A2.4 → B1 → C2 → (저위험) 자동 발송 · (고위험) C1 → C3 → C4 → F11

핵심 정리

C 운영 컴포넌트는 어떤 업무 부품에도 끼우는 횡단 부품이며, 갖춘 것만 태그한다.
10개 부품은 거른다(C5), 확인한다(C1·C1.2·C2), 멈추고 되돌린다(C3·C7·C8), 재서 고친다(C4·C6·C9)로 나눠 읽는다.
present는 한 번의 완결된 실행 사이클이 서술될 때만 인정한다. 의지형 서술은 implemented가 상한이다(R12).
C1이 Enabled를, C2·C3·C4(P2 이상이면 C8)가 First를, C6·C7이 Native를 연다.
P0~P1은 C1·C5로 충분하고, P2 이상이면 C2·C3·C4·C8이 한꺼번에 필수다. 상시 서비스나 상용 API 의존이면 C7을 더한다.
C는 실수와 장애를, S는 적대자를 다루며, F는 C의 통제를 이용자에게 보이게 한다.
PAX 564건 중 운영 부품을 가진 사례는 133건이고, 위험도 라우터는 4건에 그친다.

패턴 프로필

C1검토 큐AI 산출물이 다음 단계로 넘어가기 전에 사람이 맞고 틀림을 확인·수정·확정하는 대기열을 두어, 오류가 업무 결과로 흘러가지 않게 한다.C1.2심의 게이트팩트체크·법무·윤리 심의처럼 제3자 전문가가 수행하는 승인 게이트를 AI 산출물의 공개·반영 전에 두어, 업무 담당자 확인만으로 걸러지지 않는 법적·사실적 위험을…C2위험도 라우터건별 위험도·신뢰도를 매겨 저위험은 자동 처리, 중간은 검토 큐, 고위험은 숙련자에게 보내 사람의 검토를 필요한 곳에 집중시킨다.C3상태 머신·롤백건이 끝났음을 시스템이 알게 하고, 잘못 처리된 건을 되돌리는 경로(롤백·재처리·이의제기)를 제공한다. 여러 시스템에 걸친 처리는 보상 트랜잭션으로 되돌린다.C4감사 로그·지표처리 건마다 흔적을 적재하고 수정률·처리시간·자동처리율·가용성을 집계해, '지난달 수정률'을 숫자로 답하게 한다.C5가드레일 필터개인정보·환각·편향·형식 오류가 프롬프트나 산출물에 들어가지 못하게 시스템이 경계에서 걸러낸다. 비식별 전처리, 출처 검증, 구조적 출력 제약이 대표 변형이다.C6환류 파이프라인사용 결과(수정·이의·오탐 기록)가 정해진 주기와 트리거로 재학습·기준 개정에 되돌아오게 해, 배포 뒤에도 성능과 기준을 계속 고친다.C7폴백 스위치모델·API·도구가 멈추거나 품질이 떨어질 때 대체 모델·규칙 기반 축소·수동 처리로 경로를 바꿔 서비스가 끊기지 않게 한다.C8권한 경계·킬스위치AI 부품이 할 수 있는 일의 상한을 P0~P4로 못 박고, 도구별 실행 승인·읽기/쓰기 분리·속도 제한·즉시 중단 스위치를 제공한다.C9평가 세트·회귀시험배포 전에 업무 맥락의 질문·정답·채점 기준을 세트로 만들어, 프롬프트·모델·설정의 모든 변경을 같은 자로 재고 회귀를 잡는다.

검토 큐

Review Queue · HITL · Human-in-the-loop · 담당자 최종 확인

확립 · 사용례 46건

요구어떻게 하면 AI 산출물이 사람의 확인 없이 공문·처분·안내로 나가지 않게 할 수 있는가?

AI 산출물이 다음 단계로 넘어가기 전에 사람이 맞고 틀림을 확인·수정·확정하는 대기열을 두어, 오류가 업무 결과로 흘러가지 않게 한다.

문제

생성·인식 모델의 산출물이 확정 전 상태를 거치지 않고 공문·처분·안내가 된다. 틀린 결과가 나가도 누가 확인했는지 남지 않는다.

해법

AI 산출물을 신뢰도·근거와 함께 검토 대기열에 올리고, 검토자가 승인·수정·반려 가운데 하나를 골라 확정하게 한다.

적용

B1·B2·B4·B7처럼 산출물이 업무 결과로 이어지는 B 부품 뒤에 끼우고, 결정과 수정 내역을 C4로 보낸다. 수정률이 안정되면 C2 분기로 옮긴다.

영향

검토 인력과 처리 시간이 든다. 전건 검토가 오래 남으면 자동화 이득이 사라지고, 검토가 형식적 승인으로 굳을 수 있다.

원칙

AIM02 예외 경로를 먼저 · AIM04 처리마다 흔적 · 통제 우선

적용 범위

서비스 (검토 대기열·검수 화면은 범정부 탑재 가능)

AX 관문

Enabled 필수 관문. PAX 564건 중 인간 통제 서술이 있는 사례는 140건이다. 전건 검토에 머물면 First로 가지 못하고, C2 분기를 붙여야 First에 들어선다.

PAX 사례 564건 중

46 건

PAX 사용 비율

8.2 %

계층

C 운영 컴포넌트

공공AX 패턴 성좌의 디렉터리에서 C1 보기 ↗이 부품을 쓰는 PAX 사례 목록, 같이 쓰이는 부품, 3D 위치

01문제

생성·인식 모델은 비결정적이다. 같은 입력에도 늘 같은 답을 내지 않고, 때로 틀린다. 공공 업무에서는 틀린 초안·판독이 그대로 공문·처분·안내로 나가면 책임 소재가 사라진다. 그런데 '최종 판단은 사람'이라는 원칙만 적고 실제로 누가 어디서 무엇을 확인하는지 절차가 없는 서비스가 많다.

맥락. AI 산출물이 공문·처분·대민 안내·기록으로 이어지는 모든 B 부품(B1 코파일럿, B4 인식 파이프라인, B2 예측기, B7 콘텐츠 생성기 등). 이용자 본인이 최종 확정자인 자기서비스형 도구도 포함한다(R16).

힘(forces) — 서로 당기는 요구

정확성·책임성 vs 처리 속도(전건 검토는 자동화 이득을 깎는다)
검토자의 숙련 vs 자동화 편향(AI 결과를 그대로 승인하는 경향)
전건 검토의 안전 vs 위험도별 분기(C2)로 가야 하는 효율 압력

그림 8.5검토 큐가 없을 때: 코파일럿이 쓴 초안이 확정 전 상태를 거치지 않고 그대로 기안이 된다. 누가 무엇을 고쳤는지도 남지 않는다.

02해법

AI 산출물에 신뢰도·근거를 붙여 검토 대기열에 올리고, 검토자가 승인·수정·반려 중 하나를 고르게 한다. 수정·반려 내역은 C4 감사 로그에 남겨 수정률을 집계하고 C6 환류의 입력으로 쓴다. 검토 화면은 원문 위치·근거를 함께 보여 줘 확인 비용을 줄인다. 전건 검토로 시작하되, 수정률 실측이 쌓이면 C2 위험도 라우터로 저위험 건을 자동 종결하는 단계로 옮긴다.

그림 8.6검토 큐(C1)를 끼운 뒤: 초안은 대기열에서 담당자의 승인·수정·반려를 기다리고, 결정과 수정 내역은 C4에 쌓여 C6 환류의 입력이 된다.

그림 8.7검토 큐의 구조. 가운데 상자 안이 이 패턴을 이루는 참여자와 역할이다.

변형

변형	설명
전건 검토형	모든 AI 산출물을 담당자가 확인·확정
예외 검수형	정상 건은 일괄 승인하고 저신뢰 항목만 개별 검수하는 검수 UI
파이프라인 내장 관문형	멀티에이전트·다단계 파이프라인의 각 관문에 승인·보완·재작성 선택지를 둠
자기서비스형	이용자 본인이 최종 확정자인 HITL. 실제 운영 중이면 C1 present(R16)
C1.2심의 게이트심의 게이트	팩트체크·법무·윤리처럼 제3자 전문가가 수행하는 승인 게이트

03적용

AI 산출물이 사람의 확인 없이 다음 단계로 넘어가는 지점을 조립도에서 모두 찾는다.
각 지점의 검토자(담당자·팀장·이용자 본인)와 결정 선택지(승인·수정·반려)를 정한다.
검토 화면에 신뢰도·근거·원문 위치를 함께 보여 주고 F2 편집 가능한 출력을 붙인다.
검토 결정과 수정 내역을 C4에 적재하고 수정률을 주기적으로 집계한다.
운영(시범 운영 포함) 기간 중 실제 검토 건수·수정 건수를 기록해 운영 증거로 남긴다(present 요건).
수정률이 안정되면 C2 위험도 라우터로 저위험 건을 자동 종결하는 단계로 옮긴다.

점검 질문

AI 산출물이 확정 전 상태로 머무는 지점이 명시되어 있는가
검토자와 승인·수정·반려 선택지가 정해져 있는가
검토 결정과 수정 내역이 로그로 남는가
운영(시범 운영 포함) 기간의 검토·수정 건수가 기록되어 있는가
전건 검토에서 분기로 옮길 조건이 정해져 있는가

환경 조건. E4가 P1 이상이면 기본 장착, P2 이상이면 C2·C3·C4·C8과 함께 필수. P0~P1이면 C1·C5로 충분하다(§7.1). E4 P2 이상인 B1은 'C1 전건 검토 → C2 분기'가 조건별 필수 의존이다(§5 매트릭스).

그림 8.8배선 예시 A1 → B1 → C1 → D7 · C1 → C4 (수정 내역) · C1 → C6 (환류). 굵은 테두리가 이 패턴이다.

적용 노트

태깅에서 "최종 판단은 사람이 한다"는 원칙 서술만 있으면 C1은 implemented를 넘지 못한다(R3·R12). present가 되려면 운영(시범 운영 포함) 기간의 검토 건수나 수정 기록 같은 운영 증거가 원문에 나와야 한다. 그러니 도입 계획서에는 검토 건수를 어떻게 셀지부터 적어 둔다.

검토가 형식적 승인으로 굳는 자동화 편향은 검토 화면에서 막는다. 신뢰도와 근거의 원문 위치를 산출물 옆에 함께 보여 주면 검토자가 실제로 대조하는 비용이 줄어든다.

경계가 흐린 이웃 부품과 구별해 둔다. 법무·팩트체크 같은 제3자 전문가가 승인하면 C1.2심의 게이트이고, 이용자가 정확함·틀림만 표시할 뿐 확정 권한이 없으면 F10이용자 자기확인·피드백이다. 사람이 하는 확인을 C5가드레일 필터로 태그하지 않는다(R4·R16).

PAX 564건 태깅에서 C1은 46건에 쓰였다. E4가 P2 이상이면 C1만으로는 부족하고 C2·C3·C4·C8을 함께 갖춰야 한다(§7.1).

사람 개입(Human-in-the-Loop)의 가장 큰 비용으로 Gulli가 꼽는 것은 규모를 키우기 어렵다는 점이다. 그래서 물량은 자동화에 맡기고 정확도가 걸린 건만 사람에게 보내라고 권한다(Gulli 13장). 이 카탈로그에서는 C1에서 C2로 옮겨 가는 길이 그 혼합이다.

04영향

얻는 것

오류가 업무 결과로 나가기 전에 차단
책임 소재가 명확해짐
수정 내역이 C4 지표와 C6 환류의 원천 데이터가 됨

치르는 대가

전건 검토가 남으면 처리 시간 이득이 줄고 업무 순서가 그대로다
자동화 편향으로 검토가 형식화될 위험
검토 인력 비용

이럴 때 쓴다

AI 산출물이 공문·처분·대민 안내로 그대로 이어질 때
E4가 P1 이상이고 되돌리는 데 사람 시간이 많이 드는 조치가 있을 때
서비스 유형 ② 접수·심사, ④ 기안 코파일럿, ⑥ 콘텐츠 제작, ⑦ 대조·점검, ⑩ 위험 예측, ⑪ 추천·매칭, ⑫ 개발 코파일럿처럼 C1이 필수인 유형

이럴 때는 쓰지 않는다

B0 결정적 도구처럼 런타임 AI 산출물이 없을 때
쉽게 되돌릴 수 있고 저위험인 조치를 이미 C2로 자동 종결하도록 실측 근거를 갖춘 구간(전건 검토를 영원히 남기지 않는다)

05판정

식별 신호

Human-in-the-loop담당자 최종 확인검수검토 후 사용(…명시)PAX human = H2

presentAI 산출물을 사람이 확인·수정·확정하는 절차가 운영(시범 운영 포함) 기간에 실제 운영된 기록(검토 건수·수정 기록·검수 화면 운영 등)이 원문에 있음. 이용자 본인이 확정자인 자기서비스형도 실제 운영 중이면 present(R16).

implemented검수 화면·승인 버튼 등 검토 절차가 구현되었거나 운영 규정으로 명문화되었으나 운영(시범 운영 포함) 기간 검토 실행 기록은 없음. '최종 판단은 사람' 같은 원칙 서술만 있으면 최대 implemented(R3·R12).

planned검토 절차를 향후 도입·검토 예정으로만 언급.

헷갈리는 이웃	가르는 규칙
C1.2심의 게이트	검토자가 팩트체크·법무·윤리 심의를 수행하는 제3자 전문가면 C1.2, 업무 담당자나 이용자 본인이 확정하면 C1(R16).
C5가드레일 필터	C5는 시스템이 구현한 필터, C1은 사람이 수행하는 확인. 사람이 하는 팩트체크를 C5로 태그하지 않는다(R4).
C2위험도 라우터	모든 건을 사람이 보면 C1만, 위험도·신뢰도로 자동 종결과 검토를 나누고 실측치가 있으면 C2를 함께 태그.
F10이용자 자기확인·피드백	이용자가 결과를 '정확함/틀림'으로 표시만 하고 확정 권한이 없으면 F10, 산출물을 확정하는 절차면 C1.

06관계

그림 8.9검토 큐과 이웃 패턴. 선 위 글자가 관계의 성격이다.

패턴	관계
C2위험도 라우터	다음 단계 — 전건 검토에서 위험도 분기로 승급
C1.2심의 게이트	변형 — 제3자 전문가 심의 게이트
F2편집 가능한 출력	이용자 쪽 대응 — 검토자가 직접 고치는 화면
F6에이전트 행동 검토·확인	이용자 쪽 대응 — 에이전트 행동 실행 전 확인
C4감사 로그·지표	기록처 — 검토 결정·수정 내역
C6환류 파이프라인	후속 — 수정 내역이 환류의 입력

의존. C4감사 로그·지표

빠지기 쉬운 함정. X2설계도만 있는 운영

알려진 사용례

PAX 9dc1a7081bc869b1 광진구 — 담당자·팀장 최종 판단 책임 등 4대 관리 원칙 명문화

사례 연구 · 가람시(가상)

전년도 단가가 적힌 기안이 결재선에 오른 날

가람시 기획예산과는 지난해부터 기안 코파일럿을 쓴다. 담당자가 사업명과 요지를 넣으면 코파일럿이 내부 예산 자료를 읽고 초안을 쓴다. 초안은 곧바로 전자결재 상신 화면으로 넘어갔고, 바쁜 담당자는 첫 문단만 훑고 상신 버튼을 누르곤 했다.

추경 시기에 일이 났다. 시설 유지보수 기안 한 건에 전년도 단가가 그대로 적혀 결재선에 올랐고, 과장 결재 단계에서야 발견되었다. 누가 언제 초안을 확인했느냐는 물음에 아무도 답하지 못했다. 코파일럿 화면에는 확인의 흔적을 남길 자리가 없었다.

정보통신과 AX팀은 코파일럿과 전자결재 사이에 C1검토 큐를 끼웠다. 이제 초안은 확정 전 상태로 대기열에 머문다. 담당자는 초안 옆에 표시된 근거 자료의 위치를 열어 대조한 뒤 승인·수정·반려 가운데 하나를 고른다. 고치는 화면은 F2편집 가능한 출력을 그대로 썼고, 결정과 수정 내역은 C4감사 로그·지표에 쌓이게 했다. 배선은 A1 → B1 → C1 → D8.3 · C1 → F2 · C1 → C4이다.

석 달 뒤 수정 내역을 집계하자 경향이 보였다. 담당자들이 가장 자주 고친 곳은 단가와 근거 조항이었고, 사업 개요 문단은 거의 손대지 않았다. AX팀은 이 기록을 들고 다음 분기에 C2위험도 라우터로 옮겨 갈 조건을 논의하기로 했다. 도입 계획서 첫 장에 전건 검토를 언제 끝낼지 적어 둔 덕분에 가능한 논의였다.

출처·문헌: 카탈로그 §6 C1 카드 · 카탈로그 §4.3 위치 매트릭스 · 카탈로그 §5 조건별 필수 의존 매트릭스 · 카탈로그 §7.1·§7.3 · 카탈로그 §13 C1 레지스트리 · 분류기준 §4 C1, R3, R4, R12, R16 · Google ADK HITL · Gulli ch.13 Human-in-the-Loop · Towards AI 동기·비동기 HITL · Chain of Responsibility

C1.2

심의 게이트

Deliberation Gate · 팩트체크·법무 심의 · 제3자 승인 게이트

확립 · 사용례 3건

요구어떻게 하면 기관 밖으로 나가는 AI 산출물의 법적·사실적 위험을 작성자가 아닌 전문가가 공개 전에 걸러 낼 수 있는가?

팩트체크·법무·윤리 심의처럼 제3자 전문가가 수행하는 승인 게이트를 AI 산출물의 공개·반영 전에 두어, 업무 담당자 확인만으로 걸러지지 않는 법적·사실적 위험을 막는다.

문제

홍보물·안내문·공개 지식의 저작권·초상권·표시광고·개인정보 위험은 작성 담당자의 확인이나 자동 필터로는 판단되지 않는다.

해법

공개나 색인 반영 직전에 작성과 분리된 제3자 심의자(법무·심의·윤리·원문 대조 담당)의 승인 단계를 두고, 심의 기준을 문서로 정한다.

적용

B7 콘텐츠 생성기나 외부 공개 지식베이스 뒤, C5 자동 필터와 C1 담당자 확인 다음에 끼운다. 심의 결과와 사유는 C4에 남긴다.

영향

발행이 늦어지고 심의 인력이 병목이 된다. 기준 문서가 없으면 형식적 승인으로 흐른다.

원칙

AIM02 예외 경로를 먼저 · AIM04 처리마다 흔적 · 통제 우선

적용 범위

기관 (심의 주체와 기준이 기관 조직에 속한다)

AX 관문

카탈로그는 C1.2에 별도 AX 관문을 두지 않았다. C1의 변형이므로 Enabled 판정에서는 C1과 같은 사람 통제 증거로 읽힌다.

PAX 사례 564건 중

3 건

PAX 사용 비율

0.5 %

계층

C 운영 컴포넌트

공공AX 패턴 성좌의 디렉터리에서 C1.2 보기 ↗이 부품을 쓰는 PAX 사례 목록, 같이 쓰이는 부품, 3D 위치

01문제

홍보물·안내문·공개 지식처럼 기관 밖으로 나가는 산출물은 저작권·초상권·표시광고·개인정보·사실 오류의 책임이 기관에 돌아온다. 이런 판단은 작성 담당자의 몫을 넘어서므로 법무·심의 조직이 내려야 한다. 그런데 v0.6 이전에는 사람이 하는 팩트체크가 C5 가드레일(시스템 필터)로 잘못 태그되었다.

맥락. B7 콘텐츠 생성기, 외부 공개 지식베이스·MCP 응답, 법정대리인 동의·개인정보 처리처럼 법무 기준이 필요한 서비스. C1.2는 v0.6에서 C1의 변형으로 신설되었고, v0.7(R16)에서 범위가 제3자 전문가 심의로 좁혀졌다.

힘(forces) — 서로 당기는 요구

공개 전 법적 안전 vs 발행 속도
전문 심의 인력의 희소성 vs 심의 대상 물량
심의 기준의 문서화 vs 심의자 재량

그림 8.10심의 게이트가 없을 때: 자동 필터와 작성 담당자의 사실 확인만 거친 콘텐츠가 공개된다. 초상권·표시광고 같은 법적 판단의 자리가 비어 있다.

02해법

AI 산출물이 외부로 공개되거나 색인·응답에 반영되기 전에, 작성 담당자와 분리된 심의 주체(법무·심의·윤리팀, 원문 대조 검증자)의 승인 단계를 둔다. 심의 기준(저작권·초상권·표시광고·법령 원문 일치 등)을 문서로 명시하고, 승인된 것만 다음 단계로 흐르게 한다. 심의 결과와 사유는 C4에 남긴다. 시스템이 맡을 자동 검사는 C5로 앞단에 두고, C1.2는 사람의 판단이 필요한 부분만 맡는다.

그림 8.11심의 게이트(C1.2)를 넣은 뒤: 공개 직전에 법무·심의 담당이 문서화된 기준으로 승인하고, 심의 결과와 사유는 C4에 남는다. 자동 검사는 앞단 C5가 그대로 맡는다.

그림 8.12심의 게이트의 구조. 가운데 상자 안이 이 패턴을 이루는 참여자와 역할이다.

변형

변형	설명
제작 사슬 내 승인 단계	제작→법무·심의·윤리 승인→배포의 다단계 사람 통제 사슬 중 승인 단계
색인 반영 전 승인	사람이 승인한 내용만 검색 색인·MCP 응답에 포함
원문 대조 검증 표시	공식 원문과 대조해 검증 완료를 표시한 항목만 공개

03적용

산출물이 기관 밖으로 나가거나 공유 지식에 반영되는 지점을 찾는다.
그 지점에서 필요한 심의 영역(사실·저작권·초상권·표시광고·개인정보·법령 일치)과 심의 주체를 정한다.
심의 기준을 문서로 명시하고 C5로 자동화할 수 있는 항목은 앞단으로 뺀다.
승인된 산출물만 배포·색인되도록 흐름을 막고, 심의 결정과 사유를 C4에 남긴다.
운영(시범 운영 포함) 기간에 실제 심의 건과 반려 사유를 기록해 운영 증거로 둔다.

점검 질문

심의 주체가 작성 담당자와 분리되어 있는가
심의 기준이 문서로 명시되어 있는가
승인 전 산출물이 공개·색인되지 않게 막혀 있는가
심의 결과와 반려 사유가 기록되는가

환경 조건. E4와 무관하게 외부 공개가 있으면 필요. E5가 S 이상(개인정보 포함)이면 개인정보 처리 기준을 심의 항목에 넣는다.

그림 8.13배선 예시 A9 → B7 → C5 → C1 → C1.2 → D8.10 · C1.2 → C4 (심의 기록). 굵은 테두리가 이 패턴이다.

적용 노트

C1.2는 v0.6에서 C1의 변형으로 생겼고, v0.7의 R16에서 범위가 좁혀졌다. 작성과 분리된 제3자 전문가가 승인할 때만 C1.2이고, 업무 담당자나 이용자 본인이 확정하면 C1이다. 사람이 하는 팩트체크는 v0.6 이전에 C5로 잘못 태그되곤 했다. 지금 규칙은 사람이 하면 C1.2, 시스템이 하면 C5다(R4).

심의 기준을 문서로 남기지 않으면 심의자가 바뀔 때마다 잣대가 달라지고, 결국 도장만 찍는 절차가 된다. 개인정보가 들어가는 산출물(E5가 S 이상)은 개인정보 처리 기준을 심의 항목에 넣는다. 심의 게이트는 E4 권한 수준과 무관하게 외부 공개가 있으면 필요하다.

심의 인력은 언제나 부족하다. 시스템이 거를 수 있는 항목을 C5에서 먼저 걸러야 심의자가 사람의 판단이 필요한 건에 시간을 쓴다. PAX 564건을 태깅했을 때 C1.2가 붙은 사례는 3건뿐이었다.

04영향

얻는 것

외부 공개 산출물의 법적·사실적 위험 차단
기관 책임 범위가 문서화됨
공개 지식의 신뢰성 표시 근거

치르는 대가

발행 지연
심의 인력 병목
심의 기준이 없으면 형식적 승인이 됨

이럴 때 쓴다

산출물이 기관 밖으로 공개되는 D8.10 발간·홍보, 대민 안내
저작권·초상권·표시광고·개인정보 등 법적 판단이 필요한 콘텐츠
외부에 제공하는 지식베이스·MCP 응답의 정확성을 보증해야 할 때

이럴 때는 쓰지 않는다

내부 참고용 초안으로 외부 공개가 없을 때(C1으로 충분)
업무 담당자나 이용자 본인이 확정하는 절차(C1)
시스템이 자동으로 수행하는 필터·스키마 검증(C5)

05판정

식별 신호

법무 검토심의팩트체크윤리 검토검증 완료 표시승인된 내용만 게시

present제3자 전문가(법무·심의·윤리·팩트체크 담당)의 승인 단계가 운영(시범 운영 포함) 기간에 실제 수행된 기록이 원문에 있음.

implemented심의 절차·기준이 문서화되고 흐름에 구현되었으나 실제 심의 수행 기록은 없음.

planned심의·법무 검토를 향후 절차로만 언급.

헷갈리는 이웃	가르는 규칙
C1검토 큐	업무 담당자·이용자 본인의 확정은 C1, 작성과 분리된 제3자 전문가의 승인은 C1.2(R16).
C5가드레일 필터	사람이 수행하는 팩트체크·법무 심의는 C1.2, 시스템이 구현한 출처 검증·금칙어 필터는 C5(R4).

06관계

그림 8.14심의 게이트과 이웃 패턴. 선 위 글자가 관계의 성격이다.

패턴	관계
C1검토 큐	부모 — 사람 검토의 제3자 심의 변형
C5가드레일 필터	앞단 — 자동 처리가 가능한 항목을 시스템 필터가 먼저 거름
B7콘텐츠 생성기	끼울 자리 — 콘텐츠 생성기의 공개 전 단계
D8.10발간·홍보	전형 블록 — 발간·홍보
C4감사 로그·지표	기록처 — 심의 결정과 사유

의존. C1검토 큐 C4감사 로그·지표

알려진 사용례

PAX ea2bce110972762e 사람이 승인한 내용만 검색 색인과 MCP 응답에 포함하는 심의 게이트를 빌더 단계에 내장
PAX 65f9634aacca2170 법정대리인 동의·개인정보 처리 설계에 법무 심의 기준을 문서로 명시
PAX aa58f3a62af622b6 공식 법령 원문과 대조해 141개 제도를 검증 완료 표시

사례 연구 · 가람시(가상)

폭염 카드뉴스에 들어간 낯익은 얼굴

여름이 오면 가람시 재난안전과는 폭염 대비 카드뉴스부터 낸다. 올해는 콘텐츠 생성기로 문구와 삽화를 만들었다. 시스템이 금칙어와 개인정보 패턴을 거르고(C5가드레일 필터), 작성 담당자가 내용을 확인한 뒤(C1검토 큐) 시 누리집과 SNS에 올리는 흐름이었다.

게시 이틀 전에 제보가 들어왔다. 삽화 속 노인의 얼굴이 지역 방송에 자주 나오는 실존 인물과 닮았다는 것이었다. 다른 한 장에는 특정 냉방 용품이 효과를 보장한다는 문구가 들어 있었다. 작성 담당자는 폭염 행동 요령이 맞는지는 확인했지만 초상권과 표시광고 문제는 판단할 수 없었다. 자동 필터도 이런 것은 잡지 못했다.

AX팀은 공개 직전에 C1.2심의 게이트를 두었다. 심의는 작성 부서와 떨어진 법무 담당 주무관이 맡았고, 심의 기준(저작권·초상권·표시광고·개인정보)은 한 장짜리 문서로 정했다. 시스템이 할 수 있는 검사는 앞단 C5에 남기고, 사람의 판단이 필요한 항목만 심의로 넘겼다(배선 A9 → B7 → C5 → C1 → C1.2 → D8.10 · C1.2 → C4).

첫 달에는 발행이 하루 이틀씩 늦어졌다. 대신 심의 기록이 쌓이면서 반려 사유가 생성 삽화의 인물 표현에 몰려 있다는 사실이 보였다. 재난안전과는 인물을 실루엣으로 그리도록 A9업무 규범 스킬의 스타일 지침을 고쳤고, 다음 달부터 같은 사유의 반려는 나오지 않았다.

출처·문헌: 카탈로그 §0 v0.6 C5 경계·v0.7 R16 표 · 카탈로그 §13 C1.2 레지스트리 · 분류기준 R4, R16 · 카탈로그 v0.6 개정 C5 경계 · 분류기준 R16

위험도 라우터

Risk Router · Triage · 등급 분기 · 신뢰도 임계 분기

확립 · 사용례 4건

요구어떻게 하면 사람의 검토를 위험이 큰 건에 집중시키고, 나머지는 근거를 갖고 자동으로 처리할 수 있는가?

건별 위험도·신뢰도를 매겨 저위험은 자동 처리, 중간은 검토 큐, 고위험은 숙련자에게 보내 사람의 검토를 필요한 곳에 집중시킨다.

문제

전건 검토는 처리 시간 이득을 없애고, 검토 없는 자동 처리는 고위험 건의 오류를 그대로 내보낸다. 어떤 건을 사람에게 보낼지 기준과 실측치가 없다.

해법

건마다 위험도와 신뢰도를 매기고, 버전이 붙은 분기 기준표로 자동 종결·검토 큐·숙련자 이관 중 하나로 보낸다.

적용

C1 검토 큐가 운영되어 수정률 실측이 쌓인 B 부품 뒤에 끼운다. 경로별 건수와 자동 처리율은 C4에, 이관 고지는 F11에 연결한다.

영향

임계값을 정하고 유지하는 비용이 든다. 임계값이 잘못되면 고위험 건이 자동 종결되고, 기준이 기관마다 달라 재사용할 때 다시 보정해야 한다.

원칙

AIM03 위험도로 분기 · AIM04 처리마다 흔적 · 운영 증거

적용 범위

서비스 (분기 엔진은 범정부 탑재, 임계값과 개입 조건은 기관별)

AX 관문

First의 결정 관문. PAX 564건에서 C2를 쓰는 사례는 4건(구현 3건)뿐이다. C6·C7·C2는 AX 하위점수·단계와 정합해야 한다(§12).

PAX 사례 564건 중

4 건

PAX 사용 비율

0.7 %

계층

C 운영 컴포넌트

공공AX 패턴 성좌의 디렉터리에서 C2 보기 ↗이 부품을 쓰는 PAX 사례 목록, 같이 쓰이는 부품, 3D 위치

01문제

전건 검토(C1)는 안전하지만 처리 시간 이득을 없애 업무 순서가 그대로 남는다. 반대로 검토 없이 자동 처리하면 고위험 건의 오류가 처분·조치로 나간다. 어떤 건을 사람에게 보내야 하는지 기준과 실측치가 없으면 자동화 범위를 넓힐 근거도 없다.

맥락. C1 검토 큐가 이미 운영되고 수정률 실측이 쌓인 B 부품. 특히 E4 P2 이상이거나 D3 자격·심사, D6 점검·감시, ⑩ 위험 예측처럼 건수가 많고 위험 편차가 큰 업무.

힘(forces) — 서로 당기는 요구

자동 처리율 vs 오류 비용
임계값의 보수성 vs 검토 인력 부담
분기 기준의 일관성 vs 기관·업무별 기준 차이

그림 8.15위험도 라우터가 없을 때: 예측기가 낸 모든 건이 한 검토 대기열에 들어가 순서대로 처리된다. 고위험 건이 뒤에 묻히고, 자동화 범위를 넓힐 실측치도 없다.

02해법

건마다 위험도(업무 규칙상 위험 유형)와 신뢰도(모델 확신·정합도)를 산출하고, 버전이 붙은 분기 기준으로 자동 종결·검토 큐·숙련자 이관 중 하나로 보낸다. 사람 개입 조건(근거 없음·신뢰도 미달·안전·개인정보 등)은 명문화한다. 분기 결과와 자동 처리율은 C4에 적재하고, 이관 시 이용자에게는 F11로 진행 상태를 알린다. 임계값은 실측 오류율로 조정하고 조정 이력을 남긴다.

그림 8.16위험도 라우터(C2)를 끼운 뒤: 기준표가 건을 자동 종결·검토 큐·숙련자 배정으로 나누고, 경로별 건수와 자동 처리율이 C4에 남아 임계값 조정의 근거가 된다.

그림 8.17위험도 라우터의 구조. 가운데 상자 안이 이 패턴을 이루는 참여자와 역할이다.

변형

변형	설명
등급 자동분류형	위험 등급(예: 5단계)으로 자동 종결·검수·중점 검수를 분기
신뢰도 임계형	필드별·건별 신뢰도 점수가 임계값 미만이면 사람 검토
조치 위험도형	복구 가능한 저위험 조치는 자동, 차단·신고·설비 중단 같은 고위험 조치는 운영자 승인

03적용

C1 운영 기록에서 건 유형별 수정률·오류 유형을 집계한다.
사람 개입 조건(근거 없음·신뢰도 미달·안전·개인정보·현장 지원 요청 등)과 위험 등급을 명문화한다.
위험도·신뢰도 산정 방식과 임계값을 정하고 분기 기준에 버전을 붙인다.
경로별 건수와 자동 처리율을 C4로 실측하고, 이관 건은 F11로 이용자에게 알린다.
실측 오류율로 임계값을 조정하고 조정 이력을 남긴다.

점검 질문

분기 기준과 사람 개입 조건이 문서로 명시되어 있는가
분기 기준에 버전이 있는가
자동 처리율·검토 비율 실측치가 있는가
고위험 건이 자동 종결되지 않음을 확인했는가

환경 조건. E4 P2 이상에서 필수(C3·C4·C8과 함께). P2a 물리 작동에서는 복구 가능한 저위험 조치만 자동으로 두고 고위험 조치는 승인으로 보낸다.

그림 8.18배선 예시 A5 → B5 → C2 → D5 (자동 대응) · C2 → C1 (검토) · C2 → C4 (자동 처리율). 굵은 테두리가 이 패턴이다.

적용 노트

C2를 태그하려면 분기 경로가 운영(시범 운영 포함) 기간에 운영되고, 자동 처리율이나 검토 대상 비율 같은 실측치가 원문에 나와야 한다. 모든 건을 사람이 보면 C1만 태그한다. 실측 수정률 없이 임계값부터 정하면 근거 없는 자동화가 되므로 C1과 C4로 데이터를 먼저 쌓는다.

B′2라우터·디스패처와 헷갈리기 쉽다. B′2는 의도나 유형에 따라 처리 경로와 도구를 고르는 제어 흐름이고, C2는 위험도·신뢰도로 사람의 개입 여부를 정하는 통제다. 규칙으로 후보를 먼저 좁혀 모델 호출을 줄이는 장치는 B′10선게이트·후보축소다.

P2a 물리 작동처럼 조치가 현장 장치를 움직이면 복구할 수 있는 저위험 조치만 자동으로 두고 고위험 조치는 승인으로 보낸다. 사람에게 넘길 때는 이용자가 상황을 알도록 F11진행 상태·핸드오프 안내를 함께 붙인다. 연속값 예측이나 참고용 순위만 내고 등급 분류가 없는 유형 ⑩ 사례는 C2 필수에서 면제된다(R10).

카탈로그 v0.7.1 작성 당시 집계로는 PAX 459건 가운데 운영 근거가 있는 사례가 5건(전부 후보)뿐이었다. PAX 564건 태깅에서 C2가 붙은 사례는 4건이다.

Gulli는 사람이 개별 건을 모두 보는 대신 정책을 정하고 AI가 그 정책 안에서 움직이는 방식을 human-on-the-loop라 부른다(Gulli 13장). C2의 분기 기준표가 바로 그 정책이며, 기준표에 버전을 붙여야 사람이 정책을 고친 흔적이 남는다.

04영향

얻는 것

사람의 검토를 고위험 건에 집중
자동화 범위를 넓힐 실측 근거 확보
업무 순서가 실제로 바뀜(First 진입)

치르는 대가

임계값 설정·유지 비용
잘못된 임계값이 고위험 건을 자동 종결할 위험
분기 기준이 기관별이라 재사용 시 재보정 필요

이럴 때 쓴다

C1 전건 검토가 병목이고 수정률 실측이 있을 때
E4 P2 이상(§7.1 필수)
유형 ② 접수·심사, ③ 현장 감시(등급 분기), ⑩ 위험 예측에서 등급 자동분류가 있을 때

이럴 때는 쓰지 않는다

실측 수정률이 없어 임계값 근거가 없을 때(먼저 C1·C4로 데이터를 쌓는다)
연속값 예측·참고용 순위만 내고 등급 분류가 없을 때(R10: 유형 ⑩에서 면제)
P0 조회 도구처럼 자동 처리할 조치가 없을 때

05판정

식별 신호

자동 승인임계값 이상만 검토숙련자 이관자동 처리 비율 실측치위험등급 분기

present위험도·신뢰도로 자동 처리 / 검토 / 이관을 분기하는 경로가 운영(시범 운영 포함) 기간에 운영되고 실측치(자동 처리율·검토 대상 비율 등)가 원문에 있음.

implemented분기 기준·임계값이 구현되었으나 경로별 실측치는 없음.

planned등급 분기·자동 승인을 향후 설계·도입 예정으로만 언급.

헷갈리는 이웃	가르는 규칙
B′2라우터·디스패처	B′2는 의도·유형으로 전문 경로·도구를 고르는 제어 흐름, C2는 위험도·신뢰도로 사람 개입 여부를 정하는 통제.
C1검토 큐	모든 건을 사람이 보면 C1만. 분기와 실측치가 있을 때만 C2.
B′10선게이트·후보축소	B′10은 규칙으로 후보를 먼저 좁혀 모델 호출을 줄이는 선게이트, C2는 결과의 위험도로 처리 경로를 나눔.

06관계

그림 8.19위험도 라우터과 이웃 패턴. 선 위 글자가 관계의 성격이다.

패턴	관계
C1검토 큐	선행 — 전건 검토의 실측이 임계값 근거
F11진행 상태·핸드오프 안내	이용자 쪽 대응 — 사람 이관 시 진행 상태·핸드오프 안내
C4감사 로그·지표	기록처 — 경로별 건수·자동 처리율
C8권한 경계·킬스위치	짝 — 고위험 도구는 사람 승인으로 보냄
B′2라우터·디스패처	구분 — 유형 라우팅 제어 흐름

의존. C1검토 큐 C4감사 로그·지표

빠지기 쉬운 함정. X2설계도만 있는 운영

사례 연구 · 가람시(가상)

위기가구 명단이 한 사람의 책상에 쌓일 때

단전·단수·체납 같은 신호가 겹치는 집은 위기가구일 가능성이 높다. 가람시 복지정책과는 이런 신호로 점수를 매기는 예측기를 쓴다. 처음 반년은 예측기가 낸 명단 전부를 사회복지 담당자가 한 건씩 확인했다(C1검토 큐). 안전한 방식이었지만 명단이 길어질수록 확인이 밀렸다.

한파가 닥친 주에 문제가 드러났다. 점수가 가장 높던 가구가 대기열 뒤쪽에 묻혀 사흘 동안 아무도 열어 보지 않았다. 담당자는 점수가 낮은 가구를 확인하느라 하루를 다 쓰고 있었고, 그 사실을 알 방법이 없었다.

AX팀은 반년 동안 쌓인 검토 기록(C4감사 로그·지표)을 꺼냈다. 점수 구간별로 담당자가 실제 지원 대상으로 확정한 비율을 계산하자 구간마다 차이가 뚜렷했다. 이 실측치를 근거로 C2위험도 라우터의 분기 기준표를 만들었다. 저위험 구간은 자동 종결하되 다음 달 재산정 대상으로 남기고, 중간 구간은 기존 검토 큐로, 고위험 구간은 숙련 담당자에게 바로 배정한다. 근거 신호가 빠졌거나 신뢰도가 기준에 못 미치면 무조건 사람에게 보낸다는 조건도 적었다. 이 조립을 배선으로 옮기면 A4 → B2 → C2 → C1 · C2 → C4 순서가 된다.

기준표에는 버전 번호를 붙였다. 자동 종결된 가구 가운데 다음 달 고위험으로 다시 올라온 사례가 나오자 AX팀은 저위험 임계값을 한 단계 보수적으로 고치고 그 이력을 남겼다. 자동 처리율은 조금 내려갔다. 대신 감사 담당관이 기준을 왜 바꿨느냐고 물었을 때 숫자로 답할 수 있었다.

출처·문헌: 카탈로그 §6 C2 카드 · 카탈로그 §4.3 위치 매트릭스 · 카탈로그 §7.1·§7.3 · 카탈로그 §12 운영 컴포넌트 태그 조건 · 카탈로그 §13 C2 레지스트리 · 분류기준 §4 C2, R10 · Google ADK Coordinator · Gulli Routing·Prioritization · API Gateway · Triage

상태 머신·롤백

Closure & Rollback · Saga · 재처리·이의제기 경로

확립 · 사용례 6건

요구어떻게 하면 AI가 처리한 건이 어디서 멈췄는지 시스템이 알고, 잘못 처리된 건을 되돌릴 수 있는가?

건이 끝났음을 시스템이 알게 하고, 잘못 처리된 건을 되돌리는 경로(롤백·재처리·이의제기)를 제공한다. 여러 시스템에 걸친 처리는 보상 트랜잭션으로 되돌린다.

문제

AI가 처리한 건의 현재 상태를 시스템이 모르면 누락·중복이 생긴다. 잘못된 판독·분류를 되돌릴 경로가 없어 담당자가 여러 시스템을 손으로 고치고, 시민은 이의를 제기할 곳이 없다.

해법

건의 상태(접수→처리→승인/거부→통지→종료)와 전이 조건을 정의해 기록하고, 롤백·재처리·이의제기 경로와 시스템별 보상 동작(Saga)을 둔다.

적용

E4 P2 이상으로 업무 시스템에 쓰는 B 부품, 상태가 있는 D2·D3·D5 서비스, 여러 시스템에 걸쳐 쓰는 B6·B8에 붙인다. 이력은 C4로, 이용자 면은 F8로 연결한다.

영향

여러 시스템에 걸친 보상 동작을 설계하는 비용이 크다. 상태 정의가 현장의 예외를 담지 못하면 우회 처리가 생긴다.

원칙

AIM01 결과가 아니라 종료를 설계 · AIM02 예외 경로를 먼저 · AIM04 처리마다 흔적

적용 범위

서비스 (상태 머신·롤백 틀은 범정부 탑재 가능)

AX 관문

First 관문. PAX 4축 평가에서 업무 완결성 C축이 C3(운영 폐쇄루프)에 이른 사례는 564건 중 1건(광진구 AI 도구 6종 전 직원 투입)이다. 이 부품(상태 머신·롤백)이 붙은 사례는 564건 태깅에서 6건(운영 중 2건, 구현 4건)으로, 4축의 C3와는 다른 기준이다.

PAX 사례 564건 중

6 건

PAX 사용 비율

1.1 %

계층

C 운영 컴포넌트

공공AX 패턴 성좌의 디렉터리에서 C3 보기 ↗이 부품을 쓰는 PAX 사례 목록, 같이 쓰이는 부품, 3D 위치

01문제

AI가 처리한 건이 어느 단계에서 멈췄는지 시스템이 모르면 누락·중복이 생긴다. 잘못된 판독·분류가 발견돼도 되돌리는 경로가 없으면 담당자가 수작업으로 여러 시스템을 고쳐야 하고, 시민은 이의를 제기할 길이 없다.

맥락. E4 P2 이상으로 업무 시스템에 쓰는 B 부품, 접수→처리→승인/거부→통지→종료의 상태가 있는 D2·D3·D5 서비스, 여러 시스템에 걸쳐 쓰는 B6·B8.

힘(forces) — 서로 당기는 요구

되돌림 가능성 vs 구현 복잡도(여러 시스템에 걸친 보상 처리)
상태 정의의 엄격함 vs 현장 업무의 예외
이의제기 개방 vs 처리 부담

그림 8.20상태 머신·롤백이 없을 때: 건이 끝났는지 시스템이 확인하지 못하고, 잘못 처리된 건을 되돌릴 경로도 이의제기 창구도 없다.

02해법

건의 상태(접수→처리→승인/거부→통지→종료)와 전이 조건을 정의하고 시스템이 현재 상태를 기록한다. 잘못 처리된 건은 롤백·재처리 경로로 이전 상태로 되돌리고, 여러 시스템에 걸친 처리는 단계마다 보상 동작을 정의해 Saga로 되돌린다. 이용자에게는 이의제기 절차와 F8 되돌리기를 제공한다. 상태 전이·롤백·이의제기 이력은 C4에 남긴다.

그림 8.21상태 머신·롤백(C3)을 갖춘 뒤: 건은 정의된 상태를 따라 종료까지 추적되고, 통지 이후에도 롤백·재처리 경로로 처리 단계에 되돌아간다. 시민의 이의제기도 같은 경로에 합류하며, 전이와 롤백 이력은 C4에 남는다.

그림 8.22상태 머신·롤백의 구조. 가운데 상자 안이 이 패턴을 이루는 참여자와 역할이다.

변형

변형	설명
종료 추적	상태 코드로 건의 종결을 시스템이 확인
롤백·재처리	오인식·오분류 건을 이전 상태로 되돌려 다시 처리
이의제기 절차	이용자가 결과에 이의를 제기하는 공식 경로
보상 트랜잭션(Saga)	여러 시스템에 걸친 처리를 단계별 보상 동작으로 되돌림
원복	취합·변환 자동화에서 변환 전 원본으로 되돌림(유형 ⑧)

03적용

건이 거치는 상태와 전이 조건을 정의하고 상태 코드를 붙인다.
각 쓰기 단계에 대해 되돌리는 방법(롤백·재처리·보상 동작)을 정한다.
이용자·담당자가 결과에 이의를 제기하는 절차와 화면(F8)을 만든다.
상태 전이·롤백·이의제기 이력을 C4에 남긴다.
운영(시범 운영 포함) 기간에 실제 롤백·재처리·이의제기 처리를 1회 이상 수행해 기록한다.

점검 질문

건의 상태 코드와 종료 조건이 정의되어 있는가
쓰기 단계마다 되돌림 방법이 있는가
이의제기 경로가 이용자에게 열려 있는가
롤백·재처리 이력이 기록되는가

환경 조건. E4 P2 이상에서 필수(C2·C4·C8과 함께). B8 오버레이는 DOM 조작에 원자성이 없어 C3 되돌림이 조건별 필수다(§5 매트릭스). 원격 코드 실행 위협에는 C3 롤백이 대응 C 부품으로 붙는다(§6 위협 매트릭스).

그림 8.23배선 예시 A10 → B4 → C1 → C3 → D2 · C3 → C4 (전이·롤백 이력) · C3 → F8 (이용자 되돌리기). 굵은 테두리가 이 패턴이다.

적용 노트

C3는 개별 건을 되돌리는 경로이고, C7폴백 스위치는 시스템 경로 전체를 바꾸는 전환이다. 이력을 남기기만 하면 C4, 그 이력으로 되돌릴 수 있어야 C3이다. 이용자 화면에 되돌리기 버튼만 있고 시스템이 건 상태를 관리하지 않으면 F8대화 이력·되돌리기로 태그한다.

B8레거시 오버레이는 화면(DOM)을 조작하므로 원자성이 없다. 조작 도중 실패하면 반쯤 바뀐 상태가 남기 때문에 C3 되돌림이 조건별 필수 의존이다(§5 매트릭스). 원격 코드 실행 위협에도 C3 롤백이 대응 부품으로 붙는다(§6 위협 매트릭스).

상태를 엄격하게 정의할수록 현장의 예외가 갈 곳이 없어진다. 보류나 수작업 이관 같은 예외 상태를 처음부터 두면 우회 처리가 줄어든다(AIM02). E4가 P2 이상이면 C3는 C2·C4·C8과 함께 필수다.

PAX 564건 태깅에서 C3 부품이 붙은 사례는 6건(운영 중 2건, 구현 4건)이다. 4축 평가의 업무 완결성 C3(운영 폐쇄루프, 564건 중 1건)와는 다른 기준이다.

Gulli는 예외 처리를 탐지·처리·복구로 나눈다(Gulli 12장). 처리 단계에는 기록·재시도·대체 경로가, 복구 단계에는 이전 상태로 되돌리기와 사람에게 넘기기가 들어간다. C3는 이 가운데 되돌리기를 건 단위로 맡고, 경로 전환은 C7이 맡는다.

04영향

얻는 것

누락·중복 건 방지
잘못된 처리의 신속한 복구
시민 이의제기 권리 보장

치르는 대가

여러 시스템에 걸친 보상 동작 설계 비용
상태 정의가 현장 예외를 못 담을 위험

이럴 때 쓴다

E4 P2 이상으로 업무 시스템·운영 DB에 쓰는 경우(필수)
유형 ② 접수·심사처럼 건의 상태가 있는 서비스
B8 레거시 오버레이처럼 DOM 조작에 원자성이 없는 경우
B4 인식 파이프라인의 오인식 되돌림

이럴 때는 쓰지 않는다

P0 읽기 전용 도구로 되돌릴 상태가 없을 때
산출물이 업무 시스템 밖 초안에 머무는 P1 코파일럿(F2 편집·F8 이력으로 충분)

05판정

식별 신호

롤백재처리이의제기 절차상태 코드 정의원복

present건의 종료 상태 확인과 되돌림(롤백·재처리·이의제기) 경로가 운영(시범 운영 포함) 기간에 실제 작동한 기록이 원문에 있음.

implemented상태 코드·롤백 기능·이의제기 절차가 구현되었으나 실제 되돌림 실행 기록은 없음.

planned상태 관리·롤백을 향후 설계·도입 예정으로만 언급.

헷갈리는 이웃	가르는 규칙
C7폴백 스위치	C7은 시스템 경로 전체의 전환, C3은 개별 건의 되돌림·재처리.
F8대화 이력·되돌리기	F8은 이용자가 이전 요청·결과를 보고 되돌리는 화면, C3은 시스템이 건 상태를 관리하고 되돌리는 경로. 화면만 있으면 F8.
C4감사 로그·지표	이력을 남기기만 하면 C4, 그 이력으로 되돌리는 경로가 있으면 C3.

06관계

그림 8.24상태 머신·롤백과 이웃 패턴. 선 위 글자가 관계의 성격이다.

패턴	관계
F8대화 이력·되돌리기	이용자 쪽 대응 — 대화 이력·되돌리기
C4감사 로그·지표	기록처 — 전이·롤백 이력
B′8계획-실행	짝 — 계획-실행 원형의 단계 추적
C8권한 경계·킬스위치	짝 — 되돌릴 수 없는 조치는 권한 경계로 먼저 막음
C7폴백 스위치	구분 — 시스템 경로 전환

의존. C4감사 로그·지표

빠지기 쉬운 함정. X2설계도만 있는 운영

알려진 사용례

PAX 시장실 결재 대기 현황판 퇴실 키오스크로 건을 종료 처리하는 상태 머신. 564건 태깅에서 C3가 운영 중(present)으로 확인된 2건 가운데 하나
PAX 내편안전(서울 중구 중대재해·산업안전 통합관리시스템) 점검·사후조치 건의 상태를 끝까지 추적. C3 운영 중(present) 태깅

사례 연구 · 가람시(가상)

엉뚱한 집으로 간 전입 확인 문자

가람시 민원여권과에 들어온 전입신고 첨부 서류는 인식 파이프라인이 먼저 읽는다. 담당자가 판독 결과를 확인하고(C1검토 큐) 승인하면, 시스템이 읽어 낸 주소를 행정 시스템에 반영하고 신고인에게 확인 문자를 보낸다.

어느 날 신고인 한 사람이 문자를 받지 못했다며 민원을 넣었다. 확인해 보니 판독기가 호수의 숫자 하나를 잘못 읽었고, 담당자도 그 숫자를 놓쳤다. 문자는 같은 건물 다른 세대로 갔다. 바로잡으려면 행정 시스템의 주소, 문자 발송 기록, 민원 처리 대장을 각각 담당자가 손으로 고쳐야 했다. 신고인이 이의를 제기할 공식 창구도 없어 전화로 처리했다.

AX팀은 이 흐름에 C3상태 머신·롤백을 붙였다. 건마다 접수·처리·승인·통지·종료의 상태를 기록하고, 통지 뒤 오류가 확인되면 처리 단계로 되돌리는 롤백 경로를 만들었다. 시스템별 보상 동작도 정했다. 주소 반영은 취소하고, 이미 나간 문자에는 정정 안내를 보내며, 처리 대장에는 재처리 표시를 남긴다. 신고인에게는 누리집에 이의제기 창구를 열었다. 부품은 A10 → B4 → C1 → C3 → D2 · C3 → C4 순서로 이어진다.

석 달 뒤 같은 유형의 오류가 다시 한 번 났다. 이번에는 담당자가 롤백 버튼 하나로 세 시스템을 함께 되돌렸고, 전이와 롤백 이력이 그대로 남았다. 민원여권과는 종료 상태에 이르지 못하고 처리 단계에 머문 건을 매주 목록으로 받아 보기 시작했다.

출처·문헌: 카탈로그 §6 C3 카드 · 카탈로그 §4.3 위치 매트릭스 · 카탈로그 §5 조건별 필수 의존 매트릭스 · 카탈로그 §6 위협 × 보안 부품 매트릭스 · 카탈로그 §7.1·§7.3·§7.5 · 분류기준 §4 C3, R3 · Gulli ch.12 Exception Handling·Recovery · Microservice Saga · Memento · Command

감사 로그·지표

Audit Trail · Observability · 처리 이력 · 운영 지표

확립 · 사용례 16건

요구어떻게 하면 AI 도입 뒤 무엇이 나아졌고 어디서 틀렸는지를 숫자로 답할 수 있는가?

처리 건마다 흔적을 적재하고 수정률·처리시간·자동처리율·가용성을 집계해, '지난달 수정률'을 숫자로 답하게 한다.

문제

처리 건의 흔적이 남지 않아 수정률·처리시간·가용성을 말할 수 없다. 그 결과 C2 임계값, C6 재학습, C7 전환 판단의 근거가 모두 사라진다.

해법

모든 부품의 이벤트를 건 단위로 적재하고 로그 집계·성능 지표·분산 추적·헬스체크의 네 하위 항목으로 집계해, 정해진 주체가 실제로 읽게 한다.

적용

AI 산출물이 업무 결과에 영향을 주는 모든 B 부품과 C1·C8에서 이벤트를 받는다. 지표는 대시보드나 정기 보고로 내고 C2·C6·C7이 읽는다.

영향

저장 공간과 개인정보 관리 부담이 생긴다. 지표를 아무도 보지 않으면 형식적 기록으로 끝난다.

원칙

AIM04 처리마다 흔적 · AIM06 결과가 기준을 고치게 · 운영 증거

적용 범위

기관 (로그 집계·지표 틀은 범정부 탑재 가능)

AX 관문

First 관문. C2·C6·C7이 모두 이 부품의 지표를 읽는다. PAX 564건 가운데 감사 로그 서술이 확인된 사례는 0건, C4를 쓰는 사례는 16건이다.

PAX 사례 564건 중

16 건

PAX 사용 비율

2.8 %

계층

C 운영 컴포넌트

공공AX 패턴 성좌의 디렉터리에서 C4 보기 ↗이 부품을 쓰는 PAX 사례 목록, 같이 쓰이는 부품, 3D 위치

01문제

AI를 도입한 뒤 무엇이 나아졌는지, 어떤 건에서 틀렸는지를 물으면 답하지 못하는 서비스가 대부분이다. 로그가 없으면 C2 임계값도, C6 재학습도, C7 전환 판단도 근거가 없다. PAX 564건 평가에서 감사 로그 서술이 확인된 사례는 0건이고, 패턴 태깅에서 C4를 쓰는 사례도 16건뿐이다.

맥락. AI 산출물이 업무 결과에 영향을 주는 모든 B 부품. 특히 C2·C6·C7을 붙이려는 서비스, E4 P2 이상, 기관 공식으로 전이하려는 자생 도구.

힘(forces) — 서로 당기는 요구

기록의 완전성 vs 저장·개인정보 부담
지표의 단순성 vs 업무 실상 반영
로그 적재 vs 실제로 지표를 보고 조치하는 조직 습관

그림 8.25감사 로그·지표가 없을 때: 코파일럿·검토 큐·오케스트레이터·모델 서빙의 이벤트가 어디에도 남지 않아 지난달 수정률 같은 기본 질문에 답할 수 없다.

02해법

모든 부품의 이벤트(요청·응답·검토 결정·수정·전환·오류)를 건 단위로 적재한다. 로그 집계, 성능 지표(수정률·처리시간·자동처리율), 분산 추적(에이전트 호출 연쇄), 헬스체크(도구·모델 가용성)의 네 하위 항목으로 나눠 구현한다. 지표는 대시보드나 정기 보고로 실제로 보고, C2·C6·C7이 이 지표를 읽어 판단하게 한다. 개인정보가 들어가는 로그는 E5 등급에 맞춰 보관 범위를 정한다.

그림 8.26감사 로그·지표(C4)를 둔 뒤: 모든 부품의 이벤트가 네 하위 항목으로 집계되고, C2·C6·C7이 그 지표를 읽어 임계값 조정·환류·경로 전환을 판단한다.

그림 8.27감사 로그·지표의 구조. 가운데 상자 안이 이 패턴을 이루는 참여자와 역할이다.

변형

변형	설명
로그 집계	건별 처리 이력 적재
성능 지표	수정률·처리시간·자동처리율·이용량 집계
분산 추적	에이전트 호출 연쇄를 추적해 '왜 그렇게 답했는지' 복원
헬스체크	도구·모델 가용성 감시

03적용

각 부품이 내는 이벤트(요청·응답·검토 결정·수정·전환·오류)와 건 식별자를 정한다.
로그 적재 위치와 보관 기간을 E5 데이터 등급에 맞춰 정한다.
수정률·처리시간·자동처리율·가용성 등 핵심 지표와 산식을 정의한다.
지표를 대시보드·정기 보고로 실제로 보고 조치하는 주기를 정한다.
운영(시범 운영 포함) 기간의 지표 값을 집계해 운영 기록으로 남긴다(present 요건).

점검 질문

건별 로그가 적재되는가
수정률·처리시간 등 지표가 정의되어 있는가
운영(시범 운영 포함) 기간 지표가 실제로 집계되었는가
C2·C6·C7이 읽는 지표가 C4에서 나오는가

환경 조건. E4 P2 이상에서 필수. E1 로컬 PC 완결 도구는 C4 로그가 사라지므로 기관 전이 시 재장착한다(§5 매트릭스). 부인(否認)과 사후 분석 불가 위협에 대응하는 C 부품이다(§6 위협 매트릭스).

그림 8.28배선 예시 B1 → C1 → C4 → C6 · A8 → B6 → C4 (호출 추적). 굵은 테두리가 이 패턴이다.

적용 노트

카탈로그는 마이크로서비스 관측 4종을 C4의 하위 항목으로 둔다. 로그 집계, 성능 지표, 분산 추적(에이전트 호출 연쇄), 헬스체크(도구·모델 가용성)이다. 서비스를 점검할 때는 넷 가운데 무엇을 갖췄는지 따로 본다.

이웃 부품과의 경계는 이렇다. S10결정적 재생은 프롬프트·검색·도구 호출·정책 결정을 순서대로 기록해 사고를 재현하는 장치이고, 지표만 있으면 C4만 태그한다. C9평가 세트·회귀시험은 배포 전 고정 세트로 변경을 재고, C4는 운영 중 실제 건을 잰다. 기록이 주기와 트리거에 따라 재학습·기준 개정으로 이어지면 C6환류 파이프라인이다.

E1 로컬 PC 완결 도구에서는 구조상 C4 로그가 남지 않는다. §5 매트릭스는 기관 전이 때 로그를 다시 달도록 정한다. 개인정보가 담기는 로그는 E5 등급에 맞춰 보관 범위를 정한다.

PAX 564건의 4축 평가에서 감사 로그가 확인된 사례는 없다(전건 미확인). 태깅 기준으로 C4가 쓰인 사례는 16건이다.

C4의 분산 추적은 Gulli가 말하는 경로(trajectory) 기록에 해당한다. Gulli는 운영 중인 에이전트를 정확도와 함께 지연, 토큰 비용, 성능 저하(drift)로도 재야 하고, 최종 답과 함께 거쳐 간 경로도 평가하라고 한다(Gulli 19장).

04영향

얻는 것

성과를 숫자로 제시
C2·C6·C7의 판단 근거
사고 시 원인 추적

치르는 대가

저장·개인정보 관리 부담
지표를 아무도 보지 않으면 형식적 로그로 끝남

이럴 때 쓴다

C2·C6·C7 중 하나라도 붙이려 할 때(이들이 C4를 읽는다)
E4 P2 이상
유형 ② 접수·심사, ③ 현장 감시, ⑤b 데이터 에이전트(호출 추적), ⑧ 취합·변환의 기관 전이
자생 도구가 부서 공유·기관 공식으로 전이하려 할 때

이럴 때는 쓰지 않는다

E1 로컬 PC 완결 개인 도구로 개인 사용에 머물 때(단, 기관 전이 시 재장착 — §5 매트릭스)

05판정

식별 신호

처리 이력 로그수정률감사 대시보드모니터링 대시보드PAX audit_log

present처리 건별 로그와 수정률·처리시간 등 지표가 운영(시범 운영 포함) 기간에 적재·집계된 결과가 원문에 있음.

implemented로그 적재·대시보드가 구현되었으나 운영(시범 운영 포함) 기간 지표 집계 결과는 없음(로그만 있고 지표로 보지 않는 경우, v0.5 본문은 planned였으나 R3 이후 implemented).

planned로그·모니터링을 향후 도입 예정으로만 언급.

헷갈리는 이웃	가르는 규칙
S10결정적 재생	C4는 집계 지표, S10은 프롬프트·검색·도구 호출·정책 결정을 순서대로 기록해 재현하는 것. 지표만 있고 재생 기록이 없으면 C4만.
C6환류 파이프라인	C4는 기록, C6은 그 기록이 주기·트리거로 재학습·기준 개정에 반영되는 것.
C9평가 세트·회귀시험	C9는 배포 전 고정 세트로 재는 평가, C4는 운영 중 실제 건의 지표.

06관계

그림 8.29감사 로그·지표과 이웃 패턴. 선 위 글자가 관계의 성격이다.

패턴	관계
C2위험도 라우터	이용처 — 자동처리율·임계값 조정
C6환류 파이프라인	이용처 — 수정·이의·오탐 기록이 환류 입력
C7폴백 스위치	이용처 — 헬스체크가 전환 신호
S10결정적 재생	구분 — 재현 가능한 순서 기록
C9평가 세트·회귀시험	짝 — 배포 전 평가와 운영 지표 대조

빠지기 쉬운 함정. X5성능표만 있는 학습 X8MCP 서버 개수 세기 X14재생할 수 없는 사고 X15빌린 성과표

알려진 사용례

PAX 55f606c2835337ba 전북특별자치도 — 운영 3개월 누적 이용 10만 건·이용자 3천 명 지표 공개
PAX 망분리 환경용 로컬 AI 에이전트 감사 대시보드(§9 조립 예시)

사례 연구 · 가람시(가상)

01문제

해외 상용 API를 쓰면 행정망 문서 본문이 기관 밖으로 나가고, 생성 모델은 존재하지 않는 조문·수치를 그럴듯하게 만든다. 사람의 검토(C1)만으로는 모든 건의 개인정보·인용 오류를 잡지 못하므로 시스템이 경계에서 먼저 걸러야 한다.

맥락. 외부 모델을 부르거나 대민에 답하는 모든 B 부품. 특히 E2 해외 상용 API, E5 S 이상 데이터, B3 지식 접지 상담, 유형 ① 대민 상담, ④ 기안, ⑥ 콘텐츠, ⑦ 대조·점검, ⑨ 인수인계, ⑬ 비식별·정제 도구.

힘(forces) — 서로 당기는 요구

차단의 엄격함 vs 과잉 차단으로 인한 유용성 저하
비식별 강도 vs 문맥 보존
결정적 검증의 신뢰성 vs 구현 범위

그림 8.30가드레일 필터가 없을 때: 민원인의 이름과 연락처가 섞인 질의가 그대로 기관 밖 모델로 나가고, 모델이 만든 인용이 검증 없이 출처로 표시된다.

02해법

프롬프트가 기관 밖으로 나가기 전 PII를 마스킹하고 원복 키를 보관하는 비식별 전처리기를 둔다. 응답에는 인용을 원본(법령정보센터·통계표 등)과 대조하는 출처 검증기와, JSON 스키마·허용 목록 같은 구조적 출력 제약을 건다. 근거가 없으면 답하지 않거나 '확인 필요'로 표시한다. 차단 사유는 C4에 남기고, 이용자에게는 F1 출처와 F7 한계 안내로 보인다. 사람이 하는 팩트체크·법무 심의는 C5에 넣지 않고 C1.2에 둔다.

그림 8.31가드레일 필터(C5)를 앞뒤로 둔 뒤: 질의는 비식별을 거쳐 나가고, 응답의 인용은 원문과 대조된 것만 F1로 표시된다. 근거가 없으면 확인 필요로 답하고, 차단 사유는 C4에 남는다.

그림 8.32가드레일 필터의 구조. 가운데 상자 안이 이 패턴을 이루는 참여자와 역할이다.

변형

변형	설명
로컬 비식별 전처리기	외부 전송 전 PII 마스킹·원복(PAX에서 독립 부품으로 확인)
출처 검증기	인용을 법령정보센터·KCI·CrossRef 원본과 대조
구조적 출력 제약·스키마 검증	JSON 스키마·허용 목록으로 출력 범위를 고정(v0.6 식별 신호 추가)
근거 재대조형 환각 검증	추출값의 근거 문장을 원문에서 재대조해 '문서확인/AI추정/문서에없음'으로 재분류

03적용

데이터가 기관 경계를 넘는 지점과 이용자에게 답이 나가는 지점을 조립도에서 찾는다.
외부 전송 전 지점에는 비식별 전처리기(마스킹·원복 키)를 둔다.
응답 지점에는 출처 검증과 구조적 출력 제약(스키마·허용 목록)을 건다.
근거가 없을 때의 동작(답변 거부·'확인 필요' 표시·소관기관 안내)을 정한다.
차단·수정 사유를 C4에 남기고 F1·F7로 이용자에게 보인다.

점검 질문

외부 전송 전 무엇이 걸러지는지 답할 수 있는가
인용이 원본과 대조되는가
근거 없을 때의 동작이 정해져 있는가
차단 사유가 기록되는가

환경 조건. E2 해외 상용 API에서 필수(B3는 C5 비식별 + C7, B8은 행정망 본문이 외부로 나감). E5가 S 이상이면 A2 내부망 프록시와 함께 둔다. E1 로컬 PC 완결이면 비식별이 불필요해지는 대신 C4 로그가 사라진다.

그림 8.33배선 예시 C5 (비식별) → A2.1 → B3 → C5 (출처 검증) → F1 · C5 → C4 (차단 사유). 굵은 테두리가 이 패턴이다.

적용 노트

C5는 시스템이 구현한 필터에만 붙인다. 사람이 하는 팩트체크·법무 심의는 C1.2심의 게이트다(R4). 인젝션·탈옥 같은 적대적 입력을 검사하는 독립 검증기는 S8독립 검증기·이중 심판이고, 외부 전송 전에 온디바이스 소형 모델로 비식별하는 구조는 S13로컬 비식별 게이트 후보로 함께 태그해도 된다. 목적이 업무 규칙 준수면 C5다.

출처를 화면에 보이기만 하고 원문과 대조하지 않으면 F1만 태그한다. 검증 없는 출처 표시는 오히려 잘못된 신뢰를 준다. C5 출처 검증의 품질은 대조할 원문이 얼마나 최신인지에 달려 있으므로, 원문 저장소의 갱신 주기를 함께 관리한다.

E2가 해외 상용 API이면 C5는 필수다. E5가 S 이상이면 A2.4 내부망 프록시와 함께 둔다. E1 로컬 PC 완결 도구는 데이터가 밖으로 나가지 않아 비식별이 필요 없어지지만 출처 검증은 별개로 남는다.

PAX 564건 태깅에서 유형별 필수 결손 1위가 C5다(178건). C5가 붙은 사례는 44건이다.

Gulli가 권하는 방어는 여러 겹이다. 입력 검증, 출력 필터, 행동 지침, 도구 제한, 외부 검열, 사람의 감독을 쌓고 어느 한 겹에만 기대지 않는다(Gulli 18장). 값싼 모델을 앞단 선별기로 두는 방법도 같은 장에 나온다. C5는 그 가운데 업무 규칙을 거르는 층이다.

04영향

얻는 것

개인정보 외부 유출 차단
환각 인용 감소
상용 API 사용 조건 충족

치르는 대가

과잉 차단으로 유용성 저하
비식별 시 문맥 손실
검증 대상 원본 API 의존

이럴 때 쓴다

E2 해외 상용 API로 행정망 본문이 외부로 나갈 때(필수)
E5 S 이상 개인정보·민감정보를 다룰 때
B3 대민 응답처럼 인용·수치의 정확성이 신뢰의 핵심일 때
C5가 필수인 유형 ①④⑥⑦⑨⑪⑬

이럴 때는 쓰지 않는다

E1 로컬 PC 완결로 데이터가 밖으로 나가지 않으면 비식별이 필요 없어지기도 한다(§5 매트릭스). 출처 검증은 별개다
사람이 수행하는 심의만 있을 때(C1.2로 태그)
적대적 입력 탐지가 목적일 때(S8)

05판정

식별 신호

비식별마스킹가명출처 자동 인용인용 검증환각 방지구조적 출력 제약·스키마 검증

present비식별·마스킹·출처 검증·환각 검증·금칙어·출력 스키마 필터가 시스템으로 구현되어 운영(시범 운영 포함) 기간에 작동한 기록이 원문에 있음.

implemented필터가 구현되었으나 운영(시범 운영 포함) 기간 작동 기록(처리 건수·차단 사례)은 없음.

planned비식별·검증 기능을 향후 도입 예정으로만 언급.

헷갈리는 이웃	가르는 규칙
C1.2심의 게이트	사람이 수행하는 팩트체크·법무 심의는 C1.2, 시스템이 구현한 필터만 C5(R4).
S8독립 검증기·이중 심판	S8은 적대적 입력(인젝션·탈옥)을 검사하는 독립 검증기, C5는 업무 규칙(PII·환각·형식) 필터.
S13로컬 비식별 게이트	외부 전송 전 온디바이스 소형 모델로 비식별하는 구조는 S13 후보로 함께 태그해도 된다. 목적이 업무 규칙 준수면 C5.
F1출처 표시	F1은 출처를 이용자에게 보이는 면, C5는 출처를 검증하는 시스템. 표시만 있고 검증이 없으면 F1만.

06관계

그림 8.34가드레일 필터과 이웃 패턴. 선 위 글자가 관계의 성격이다.

패턴	관계
F1출처 표시	이용자 쪽 대응 — 검증된 출처 표시
F7한계·신뢰도 안내	이용자 쪽 대응 — 근거 없을 때 한계 안내
A2.4모델 서빙 · 내부망 프록시	짝 — 민감정보 외부 유출 대응
C1.2심의 게이트	구분 — 사람이 하는 심의
S8독립 검증기·이중 심판	구분 — 적대적 입력 탐지
S13로컬 비식별 게이트	변형 후보 — 로컬 비식별 게이트

의존. C4감사 로그·지표

알려진 사용례

PAX Korean Stats MCP KOSIS 통계 출처 자동 인용

사례 연구 · 가람시(가상)

시범 운영 로그에서 발견된 전화번호

여권·가족관계 민원을 안내하는 챗봇이 가람시 민원여권과에서 시범 운영에 들어갔다. 상용 LLM은 내부망 프록시를 거쳐서만 부를 수 있었고, 챗봇은 민원 편람과 조례를 검색해 답을 만들었다.

시범 운영 2주 차에 AX팀이 프록시 로그를 점검하다 멈칫했다. 민원인이 상담창에 적은 이름과 휴대전화 번호, 자녀의 생년월일이 질의 본문에 섞여 그대로 외부로 나가고 있었다. 같은 주에 한 민원인은 챗봇이 알려 준 조례 조항을 들고 창구에 왔는데, 그 조항은 2년 전에 개정되어 번호가 바뀐 것이었다.

챗봇 앞뒤로 C5가드레일 필터가 섰다. 앞쪽 비식별 전처리기는 이름·전화번호·주민등록번호 패턴을 가리고 원복 키를 행정망 안에 보관한다. 뒤쪽 출처 검증기는 응답에 인용된 조례·편람 조항을 원문 저장소와 대조해 일치할 때만 F1출처 표시로 내보낸다. 대조에 실패하면 답 대신 담당 부서 연락처와 확인 필요 안내를 보인다(F7한계·신뢰도 안내). 필터가 양끝을 감싸는 배선은 C5 → A2.4 → B3 → C5 → F1 · C5 → F7 · C5 → C4이다.

처음 일주일은 확인 필요 응답이 많아 민원여권과가 불만을 냈다. 차단 사유 기록을 보니 상당수가 편람 개정판이 원문 저장소에 반영되지 않아 생긴 대조 실패였다. 저장소 갱신 주기를 맞추자 확인 필요 응답은 줄었고, 개인정보가 외부로 나간 기록은 더 나오지 않았다.

출처·문헌: 카탈로그 §6 C5 카드 · 카탈로그 §0 v0.6 C5 경계 · 카탈로그 §4.3 위치 매트릭스 · 카탈로그 §5 조건별 필수 의존 매트릭스 · 카탈로그 §7.3·§7.5 · 카탈로그 §13 C5 레지스트리 · 분류기준 §4 C5, R4 · Fowler Guardrails · InfoQ Output Guardrails·Model Critic · Gulli ch.18 Guardrails · Heiland 규칙 기반 안전장치 · Proxy · Decorator

환류 파이프라인

Feedback Loop · 지속 학습 · 재학습 주기 · 기준 개정

확립 · 사용례 4건

요구어떻게 하면 배포 뒤 쌓인 수정·이의·오탐 기록이 정해진 주기와 조건에 따라 모델과 기준을 고치게 할 수 있는가?

사용 결과(수정·이의·오탐 기록)가 정해진 주기와 트리거로 재학습·기준 개정에 되돌아오게 해, 배포 뒤에도 성능과 기준을 계속 고친다.

문제

배포 시점의 정확도만 보고하고 끝난다. 담당자의 수정, 시민의 이의, 오탐 기록은 쌓이기만 하고 모델이나 기준을 바꾸지 않는다.

해법

C4의 기록을 입력으로 재학습·기준 개정의 주기와 트리거를 수치로 정하고, C9 재검증을 통과한 것만 재배포한다. 반영 상한과 동결 조건도 함께 정한다.

적용

C4가 수정·이의·오탐을 기록하는 B2·B4·B5·추천형 B1 뒤에 붙인다. 이용자 쪽 입력은 F10, 재검증은 C9가 맡는다.

영향

재학습과 재검증마다 비용이 든다. 오염되거나 치우친 피드백이 들어올 수 있고, 상한 없이 반영하면 품질이 흔들린다.

원칙

AIM06 결과가 기준을 고치게 · AIM04 처리마다 흔적 · 운영 증거

적용 범위

기관 (환류 데이터와 개정 권한이 기관에 속한다)

AX 관문

Native 관문. PAX 564건에서 C6을 쓰는 사례는 4건, 계획만 있는 사례는 2건이다. C6은 AX 하위점수와 연동하지 않는다(R3).

PAX 사례 564건 중

4 건

PAX 사용 비율

0.7 %

계층

C 운영 컴포넌트

공공AX 패턴 성좌의 디렉터리에서 C6 보기 ↗이 부품을 쓰는 PAX 사례 목록, 같이 쓰이는 부품, 3D 위치

01문제

대부분의 서비스는 배포 시점의 정확도를 보고하는 데서 멈춘다. 배포 후 담당자가 고친 결과와 시민의 이의, 오탐 기록은 쌓이기만 하고 모델이나 기준을 바꾸지 않는다. '지속적으로 개선한다'는 서술은 많지만 주기·트리거·표본·임계값이 정해진 경우는 드물다.

맥락. C4가 수정·이의·오탐을 기록하고 있는 B2 예측기, B4 인식 파이프라인, B5 감지·경보, 추천형 B1. 유형 ③ 현장 감시, ⑤a 분석, ⑩ 위험 예측, ⑪ 추천·매칭.

힘(forces) — 서로 당기는 요구

개선 속도 vs 검증 비용(재학습마다 C9 재검증)
현장 피드백 반영 vs 피드백 오염·편향
자동 반영 vs 반영 범위 상한

그림 8.35환류 파이프라인이 없을 때: 오탐 판정과 시민 제보가 C4에 쌓이지만 모델로 돌아갈 길이 없다. 감지 모델은 배포 때 그대로 남는다.

02해법

C4의 수정·이의·오탐 기록을 입력으로, 재학습 또는 기준 개정의 주기(예: 6개월)와 트리거(예: 일치율 임계 미만)를 수치로 정한다. 개정 전에는 C9 평가 세트로 재검증해 기준을 넘는 경우에만 배포하고, 개정 이력을 남긴다. 반영 범위에 상한을 두고 평가 기간에는 루프를 동결하는 조건도 정한다. 이용자 쪽에서는 F10 피드백이 입력이 된다.

그림 8.36환류 파이프라인(C6)을 둔 뒤: 기록이 주기·트리거에 따라 재학습 입력이 되고, C9 재검증을 통과한 모델만 다시 배포된다. 반영 상한과 동결 조건이 고리를 묶어 둔다.

그림 8.37환류 파이프라인의 구조. 가운데 상자 안이 이 패턴을 이루는 참여자와 역할이다.

변형

변형	설명
주기 재학습	정해진 주기로 수정 데이터를 모아 모델 재학습
전문가 판정 적재 플라이휠	전문가 검수 결과를 Ground Truth DB로 적재해 재학습에 환류
프롬프트·기준 개정	재학습 없이 피드백을 프롬프트·기준에 상한을 두고 반영
표본 대조 재조정	주기적으로 표본을 전문가 판단과 대조해 일치율 미달 시 재조정

03적용

C4에서 환류 입력으로 쓸 기록(수정·이의·오탐·F10 피드백)을 정한다.
재학습·개정의 주기와 트리거, 표본, 임계값을 수치로 정한다.
반영 범위 상한과 평가 기간 동결 조건을 정한다.
개정 전 C9로 재검증하고 기준을 넘는 경우에만 배포한다.
운영(시범 운영 포함) 기간에 트리거→재학습·개정→결과 확인의 사이클을 최소 1회 실행하고 기록한다(present 요건).

점검 질문

주기·트리거가 수치로 정해져 있는가
환류 입력 데이터가 C4에서 나오는가
개정 전 재검증 절차가 있는가
운영(시범 운영 포함) 기간에 완결된 사이클이 1회 이상 기록되었는가

환경 조건. E1 폐쇄망에서는 재학습 데이터·모델 반입 경로를 함께 설계한다. E5 S 이상이면 환류 데이터의 비식별(C5)이 선행한다.

그림 8.38배선 예시 B1 → C1 → C4 → C6 → C9 → B1 (재배포). 굵은 테두리가 이 패턴이다.

적용 노트

"지속적으로 개선한다"는 서술만으로는 C6가 성립하지 않는다. present가 되려면 운영(시범 운영 포함) 기간에 트리거, 재학습이나 기준 개정, 결과 확인으로 이어진 사이클이 최소 한 번 원문에 서술되어야 한다(R12). C6는 AX 하위점수와 연동하지 않는다(R3).

기록만 쌓이면 C4, 이용자가 피드백을 남기는 창구만 있으면 F10이다. 한 건을 처리하는 동안 초안·비평·개선을 도는 런타임 반복은 B′6반복 개선으로, 운영 기간에 걸친 C6와 다르다.

반영 범위에 상한이 없으면 X12상한 없는 반영 루프에 빠진다. E1 폐쇄망에서는 재학습 데이터와 모델의 반입 경로를, E5가 S 이상이면 환류 데이터의 비식별(C5)을 먼저 설계한다. 대민 피드백 텍스트는 신뢰 불가 입력이므로 반영 전에 검토한다.

C6는 Native 관문이다. PAX 564건의 4축 평가에서 환류가 부분 확인된 사례는 32건이고 525건은 미확인이다. 태깅에서 C6를 단 사례는 3건이다.

Gulli는 학습과 적응을 피드백에서 배운 결과로 나타나는 관찰 가능한 행동 변화로 정의한다. 스스로 개선하는 시스템일수록 궤도를 잡아 줄 감독자와 기준 시험이 필요하다고 덧붙인다(Gulli 9장). C6에 C9 재검증과 반영 상한을 붙이는 이유도 여기에 있다.

04영향

얻는 것

배포 후 성능 개선
현장 기준 변화 반영
Native 단계 진입 근거

치르는 대가

재학습·재검증 비용
피드백 오염·편향 유입 위험
상한 없이 반영하면 품질이 흔들림

이럴 때 쓴다

C4에 수정·오탐 기록이 쌓이는 학습 모델 기반 부품
데이터 분포가 시간에 따라 바뀌는 감지·예측 업무
유형 ③⑤a⑩⑪처럼 C6가 필수인 유형

이럴 때는 쓰지 않는다

B0 결정적 도구처럼 학습·개정할 모델·기준이 없을 때
C4 기록과 C9 평가 세트가 없어 반영 결과를 검증할 수 없을 때(먼저 C4·C9)

05판정

식별 신호

6개월 재학습편향지표 목표치미탐지 제보의 학습 반영AX feedback_loop = 2

present운영(시범 운영 포함) 기간에 트리거→재학습·기준 개정→결과 확인의 완결된 사이클이 최소 1회 원문에 서술됨(R12).

implemented환류 절차·주기가 설계·구현되었으나 완결된 실행 사이클 기록은 없음. '지속적으로 개선함'·'반영 예정' 같은 진행형·의지형 서술은 최대 implemented. AX feedback_loop≥1은 최소 implemented를 보장할 뿐 present 근거가 아니다(R3).

planned재학습·기준 개정을 향후 계획으로만 언급. AI-Ready 이하 과제는 planned로 강등(R3).

헷갈리는 이웃	가르는 규칙
C4감사 로그·지표	기록만 쌓이면 C4, 그 기록이 주기·트리거로 모델·기준을 바꾸면 C6.
B′6반복 개선	B′6은 한 건 처리 중 초안→비평→개선을 도는 런타임 반복, C6은 운영 기간에 걸친 재학습·개정.
F10이용자 자기확인·피드백	F10은 이용자가 피드백을 남기는 화면, C6은 그 피드백을 반영하는 파이프라인. 제보 창구만 있으면 F10.

06관계

그림 8.39환류 파이프라인과 이웃 패턴. 선 위 글자가 관계의 성격이다.

패턴	관계
C4감사 로그·지표	입력 — 수정·이의·오탐 기록
C9평가 세트·회귀시험	재검증 단계 — C6의 재검증이 곧 C9
F10이용자 자기확인·피드백	이용자 쪽 입력 — 자기확인·피드백
C1검토 큐	원천 — 검토 수정 내역
A1데이터 자산 서비스	기록처 — 재학습 데이터셋

의존. C4감사 로그·지표 C9평가 세트·회귀시험

빠지기 쉬운 함정. X2설계도만 있는 운영 X5성능표만 있는 학습

사례 연구 · 가람시(가상)

장마철마다 울리는 같은 경보

가람시 재난안전과 현장 서버에서는 하천 CCTV 영상으로 수위 이상을 잡아내는 경보 모델이 돈다. 경보가 울리면 관제 요원이 영상을 보고 실제 상황인지 오탐인지 판정하고, 그 판정은 감사 로그에 남는다.

두 번째 장마를 지나며 관제 요원들의 불만이 커졌다. 야간 조명이 수면에 반사되는 특정 교량 구간에서 해마다 같은 오탐이 났다. 오탐 판정 기록은 수백 건이 쌓였지만 모델은 처음 배포한 그대로였다. 납품 때 받은 성능 보고서의 정확도만 문서함에 있었다.

AX팀은 C6환류 파이프라인의 규칙부터 문서로 정했다. 재학습은 6개월마다 하되, 특정 구간의 오탐 비율이 기준을 넘으면 앞당긴다. 재학습한 모델은 C9평가 세트·회귀시험의 고정 영상 세트로 재검증해 기존 모델보다 나쁘면 배포하지 않는다. 한 번에 반영하는 학습 데이터에는 상한을 두고, 장마 기간에는 고리를 동결한다. 행정망이 폐쇄되어 있어 학습 데이터와 새 모델을 현장 서버로 반입하는 절차도 함께 정했다. 고리 전체는 A5 → B5 → C1 → C4 → C6 → C9 → B5 · F10 → C1로 다시 B5에 닿는다.

시민이 누리집에 남긴 미탐지 제보(F10이용자 자기확인·피드백)는 바로 반영하지 않고, 관제 요원의 확인을 거친 것만 학습 데이터에 넣었다. 첫 재학습 뒤 교량 구간의 반사광 오탐은 절반 아래로 줄었다.

출처·문헌: 카탈로그 §6 C6 카드 · 카탈로그 §4.3 위치 매트릭스 · 카탈로그 §7.1·§7.5 · 카탈로그 §11 X2·X5 · 카탈로그 §13 C6 레지스트리 · 분류기준 §4 C6, R3, R12 · computer.org 지속 학습 · Gulli ch.9 Learning & Adaptation · Observer · State · PAX AIM06

폴백 스위치

Fallback · Circuit Breaker · 강등 경로 · Bulkhead · Blue-Green

확립 · 사용례 12건

요구어떻게 하면 모델·API·도구가 멈추거나 품질이 떨어져도 접수·처리·통지가 끊기지 않게 할 수 있는가?

모델·API·도구가 멈추거나 품질이 떨어질 때 대체 모델·규칙 기반 축소·수동 처리로 경로를 바꿔 서비스가 끊기지 않게 한다.

문제

단일 상용 API 하나에 모든 경로를 걸어 두어, 모델이 멈추면 접수·처리·통지가 함께 멈춘다. 공공 서비스는 AI 장애를 이유로 업무를 멈출 수 없다.

해법

오류율·지연·단가 신호를 감시하다 임계를 넘으면 재시도, 대체 경로, 대체 모델, 규칙 기반 축소, 수동 전환 순으로 경로를 바꾸고, 복귀 조건과 전환 이력을 남긴다.

적용

상용 API나 단일 모델에 의존하는 B 부품과 A2 모델 서빙 계층 사이에 둔다. 전환은 C4에 기록하고, 품질 저하는 F7로 알린다.

영향

대체 경로를 상시 유지하고 전환을 시험하는 비용이 든다. 대체 경로는 품질이 낮고, 자동 전환이 오작동하기도 한다.

원칙

AIM05 모델 하나에 묶지 않기 · AIM02 예외 경로를 먼저 · AIM04 처리마다 흔적

적용 범위

서비스 (대체 모델 풀과 전환 규칙은 범정부 탑재 가능)

AX 관문

Native 관문이자 가장 흔한 실패 지점. PAX 564건에서 C7을 쓰는 사례는 12건, 계획만 있는 사례는 6건이다(로컬 실행이 곧 완화책인 경우가 많다). 해외 상용 API에 의존하는 64건 가운데 C7을 갖춘 사례는 3건(모두 구현 단계)뿐이다(태깅 모델 의존 기준). C7은 AX 하위점수와 연동하지 않는다(R3).

PAX 사례 564건 중

12 건

PAX 사용 비율

2.1 %

계층

C 운영 컴포넌트

공공AX 패턴 성좌의 디렉터리에서 C7 보기 ↗이 부품을 쓰는 PAX 사례 목록, 같이 쓰이는 부품, 3D 위치

01문제

모델·API가 멈추면 접수·처리·통지가 함께 멈춘다. 공공 서비스는 AI 장애를 이유로 민원 처리를 멈출 수 없는데, 많은 서비스가 상용 API 하나에 모든 경로를 걸어 둔다.

맥락. 상용 API 또는 단일 모델에 의존하는 모든 B 부품. 특히 E2가 해외 상용 API이거나 B5처럼 상시 가동해야 하는 서비스.

힘(forces) — 서로 당기는 요구

가용성 vs 비용(대체 경로를 상시 유지하는 비용)
품질 일관성 vs 대체 경로의 품질 저하
자동 전환의 신속성 vs 전환 판단의 오작동 위험

그림 8.40폴백 스위치가 없을 때: 요약 도구가 프록시 너머 상용 LLM 하나에만 연결되어 있어, 장애가 나면 대체 모델도 축소 운영도 수동 절차도 없이 업무가 멈춘다.

02해법

오류율·지연·단가 신호를 감시하다가 임계를 넘으면 재시도 → 기존 API → 대체 MCP → 대체 모델 → 규칙 기반 축소 → 수동 전환 순으로 경로를 바꾼다. 장애 범위는 격리(Bulkhead)로 한 부품에 가두고, 모델 교체는 무중단(Blue-Green)으로 한다. 전환은 C4 감사 로그에 남기고, 복구 후에는 원래 경로로 되돌리는 조건도 함께 정한다. 대체 경로의 품질 저하는 이용자에게 F7 한계 안내로 알린다.

그림 8.41폴백 스위치(C7)를 둔 뒤: 장애를 감지하면 로컬 오픈웨이트 모델로 넘어가고, 그마저 안 되면 규칙 기반 축소와 수동 처리로 내려간다. 전환 이력은 C4에 남고, 이용자에게는 F7로 품질 저하를 알린다.

그림 8.42폴백 스위치의 구조. 가운데 상자 안이 이 패턴을 이루는 참여자와 역할이다.

변형

변형	설명
대체 모델 전환	상용 API 장애 시 다른 상용 모델 또는 로컬 오픈웨이트 모델(A2.2)로 전환
규칙 기반 축소	AI 판정 대신 결정적 규칙·공식 템플릿으로 기능을 줄여 계속 운영(Fail-safe)
수동 전환	담당자 처리로 되돌리고 접수만 유지
격리(Bulkhead)	장애가 난 부품의 영향 범위를 가둠
무중단 교체(Blue-Green)	모델 업데이트를 병행 운영 후 전환하고 급락 시 이전 안정 모델로 복귀

03적용

주 경로가 의존하는 외부 요소(모델·API·MCP)를 나열하고 각각의 장애 증상과 감지 신호(오류율·지연·단가)를 정한다.
대체 경로를 품질이 높은 순서로 줄 세우고, 마지막 단계는 반드시 수동 처리로 둔다.
전환 임계와 복귀 조건을 수치로 정하고 C4 감사 로그에 전환 이력을 남긴다.
운영(시범 운영 포함) 기간 중 장애 주입 시험으로 한 번 이상 실제 전환을 실행해 본다(present 요건).
대체 경로로 운영 중임을 이용자에게 F7로 안내한다.

점검 질문

대체 경로가 최소 하나 구현되어 있는가
전환 임계와 복귀 조건이 수치로 정의되어 있는가
전환 이력이 로그로 남는가
운영(시범 운영 포함) 기간에 전환을 1회 이상 실행한 기록이 있는가

환경 조건. E2가 해외 상용 API·혼합이면 필수에 가깝다(E2 해외 상용 API인데 C7이 없으면 경고, §12). E1 폐쇄망·행정망이면 C7 경로는 '수동 전환·로컬 모델'만 가능하다(§5 매트릭스). E2 모델 중립(BYO)이면 모델 교체 가능성이 곧 C7이다. E4가 P2 이상이면 전환 중 쓰기 동작을 멈추는 조건을 함께 둔다.

그림 8.43배선 예시 A2.1 → B3 → C7 → A2.2 (장애 시) · C7 → C4 (전환 기록). 굵은 테두리가 이 패턴이다.

적용 노트

즉시 중단 스위치만 있으면 C8권한 경계·킬스위치이고, 장애 때 다른 경로로 서비스를 이어 가야 C7이다. 개별 건을 되돌리는 것은 C3상태 머신·롤백이다.

E1 폐쇄망·행정망에서는 C7 경로가 수동 전환과 로컬 모델로 한정된다(§5 매트릭스). E2가 모델 중립(BYO)이면 모델을 바꿔 끼울 수 있다는 사실 자체가 C7 역할을 한다. E4가 P2 이상이면 전환 중에 쓰기 동작을 멈추는 조건을 함께 둔다. 모델을 무중단으로 교체(Blue-Green)하기 전에는 C9 회귀시험을 거친다.

C7 present는 트리거, 전환, 결과 확인의 사이클이 운영(시범 운영 포함) 기간에 최소 한 번 서술되어야 인정된다(R12). 전환 시험을 정기적으로 해 두면 이 증거가 자연히 남는다. 상용 API를 직접 부르면서 C7이 없는 구조는 X4단일 모델 인질이다.

C7은 Native 관문이자 가장 흔한 실패 지점이다. PAX 564건의 4축 평가에서 복원력이 부분 확인된 사례는 46건이고 468건은 미확인이다. 태깅에서는 12건이 C7을 갖췄다.

Gulli는 예외 처리의 처리 단계에 재시도, 대체 경로, 기능을 줄여 계속 운영하는 단계적 축소를 넣고, 자원 최적화 패턴에서는 대체 모델을 두는 방법을 함께 다룬다(Gulli 12장·16장). C7의 전환 순서는 이 두 장의 방법을 공공 망 환경에 맞춰 줄 세운 것이다.

04영향

얻는 것

핵심 서비스 연속성
벤더 종속 완화(X4 예방)

치르는 대가

대체 경로의 품질 저하
경로 전환 시험 비용
대체 모델 상시 유지 비용

이럴 때 쓴다

E2가 해외 상용 API이거나 혼합일 때
B5 현장 감지·경보처럼 상시 서비스일 때 필수
대민 자동응답(B3 대민형)처럼 중단 비용이 큰 경우
유형 ① 대민 상담(상시), ③ 현장 감시

이럴 때는 쓰지 않는다

B0 결정적 도구처럼 런타임 AI가 없을 때
로컬 완결 도구로 외부 의존이 없을 때
유형 ①·⑦에서 model_dependency가 없음(비LLM)일 때는 필수에서 면제(R7)

05판정

식별 신호

대체 모델Fail-safe수동 전환이중화장애 시 규칙 기반 처리Claude CLI 폴백로컬 실행으로 외부 의존 완화AX resilience_fallback ≥ 1

present운영(시범 운영 포함) 기간에 트리거→전환→결과 확인의 완결된 전환 사이클이 최소 1회 원문에 서술됨(R12).

implemented대체 경로가 구현·설정되어 있으나 실제 전환 실행 기록은 없음. '설계됨'·'대비함' 서술은 최대 implemented. AX resilience_fallback≥1은 최소 implemented를 보장할 뿐이다(R3).

planned대체 경로를 향후 계획·검토로만 언급. AI-Ready 이하 과제는 planned로 강등(R3).

헷갈리는 이웃	가르는 규칙
C8권한 경계·킬스위치	C8은 권한을 막는 통제(킬스위치 포함), C7은 장애 시 계속 서비스하는 경로. 즉시 중단만 있으면 C8.
C3상태 머신·롤백	C3은 개별 건의 되돌림·재처리, C7은 시스템 경로 전체의 전환.

06관계

그림 8.44폴백 스위치과 이웃 패턴. 선 위 글자가 관계의 성격이다.

패턴	관계
C8권한 경계·킬스위치	짝 — 권한 경계는 막는 통제, 폴백은 이어 가는 통제
A2모델 서빙 계층	끼울 자리 — 대체 모델은 모델 서빙 계층에 등록
C4감사 로그·지표	기록처 — 헬스체크가 전환 신호, 전환 이력 기록
C9평가 세트·회귀시험	선행 — 모델 교체(Blue-Green) 전 회귀시험
F7한계·신뢰도 안내	이용자 쪽 대응 — 대체 경로 운영 중 한계 안내

의존. A2모델 서빙 계층 C4감사 로그·지표

빠지기 쉬운 함정. X4단일 모델 인질

알려진 사용례

PAX MiroFish-Ko Codex CLI → Claude CLI → 로컬 LLM 폴백 (증거 E1)

사례 연구 · 가람시(가상)

예산 편성 마감일 오전의 침묵

예산 편성 마감일 오전, 가람시 기획예산과의 요약 도구가 응답을 멈췄다. 부서별 예산 요구서를 요약해 주던 이 도구는 내부망 프록시를 거쳐 상용 LLM 하나만 불렀는데, 그 상용 서비스에 장애가 난 것이다. 요약 버튼을 누르면 한참 돌다가 오류 문구만 떴고, 담당자 여섯 명이 동시에 손을 놓았다.

정보통신과에는 로컬 오픈웨이트 모델 서버가 한 대 있었다. 그러나 요약 도구는 상용 API 주소 하나만 알고 있었고, 다른 모델로 넘기는 설정도 절차도 없었다. 담당자들은 결국 수십 쪽짜리 요구서를 직접 읽었다.

마감이 끝난 뒤 AX팀은 C7폴백 스위치를 설계했다. 오류율과 응답 지연이 정한 값을 넘으면 먼저 한 번 재시도하고, 그래도 실패하면 로컬 모델(A2.2주권형 온프레미스)로 전환한다. 로컬 모델까지 멈추면 표 추출과 목차 요약만 하는 규칙 기반 축소 모드로, 마지막에는 수동 처리 안내로 내려간다. 행정망 환경이라 고를 수 있는 대체 경로는 로컬 모델과 수동 전환뿐이라는 점도 문서에 적었다(배선 B1 → C7 → A2.4 → A2.1 · C7 → A2.2 (장애 시) · C7 → F7 · C7 → C4).

로컬 모델로 넘어간 동안에는 화면 위쪽에 "로컬 모델로 운영 중이며 긴 표 요약의 품질이 낮을 수 있습니다"라는 안내(F7한계·신뢰도 안내)가 뜬다. 복귀 조건도 정했다. 상용 서비스가 정상 응답을 일정 시간 이어 가면 원래 경로로 돌아온다. AX팀은 분기마다 한 번 일부러 상용 경로를 끊어 전환이 실제로 작동하는지 시험한다.

출처·문헌: 카탈로그 §4.1 스키마 예시(C7) · 카탈로그 §6 C7 카드 · 카탈로그 §5 조건별 필수 의존 매트릭스 · 카탈로그 §7.5 · 카탈로그 §12 환경 조건 기록 규칙 · 카탈로그 §13 C7 레지스트리 · 패턴_분류기준.md §4 C7, R3, R7, R12 · Gulli ch.12 Exception Handling · Microservice 패턴 #15 Circuit Breaker · Bulkhead · Blue-Green · PAX Native 관문 4

권한 경계·킬스위치

Permission Scope · Kill Switch · 읽기/쓰기 분리 · 도구별 실행 승인

확립 · 사용례 22건

요구어떻게 하면 AI 부품이 할 수 있는 일의 상한을 정하고, 문제가 생기면 곧바로 멈출 수 있는가?

AI 부품이 할 수 있는 일의 상한을 P0~P4로 못 박고, 도구별 실행 승인·읽기/쓰기 분리·속도 제한·즉시 중단 스위치를 제공한다.

문제

에이전트가 어느 시스템에 무엇을 쓸 수 있는지 아무도 답하지 못하고 멈출 스위치도 없다. MCP 도구 설명은 조회인데 실제 코드는 쓰기·실행 권한을 갖는 일이 흔하다.

해법

부품별 허용 권한(P0~P4)을 정하고 도구마다 읽기/쓰기를 분리한다. 고위험 도구는 실행 전 사람 승인을 받고, 호출 상한과 전역 킬스위치를 둔다.

적용

도구를 부르거나 시스템에 쓰는 B6·B8·A8 호스트와 도구 사이에 둔다. 승인 화면은 F6, 이력은 C4, 도구 설명 검증은 A8 6축 검증과 묶는다.

영향

승인 절차가 이용 마찰을 만들고 권한 정책을 유지하는 비용이 든다. 지나치게 막으면 자동화 이득이 줄어든다.

원칙

AIM03 위험도로 분기 · AIM04 처리마다 흔적 · 통제 우선

적용 범위

범정부 (권한 정책 틀과 킬스위치는 E4 기준으로 공유 가능)

AX 관문

P2 이상에서 First 관문. PAX 564건 중 승인 게이트 서술은 0건, P2 사례는 20건, C8을 쓰는 사례는 22건이다. v0.5 등재 때는 후보(사례 2건)였고, PAX 564건 태깅에서 참조 구현 후보는 4건이다.

PAX 사례 564건 중

22 건

PAX 사용 비율

3.9 %

계층

C 운영 컴포넌트

공공AX 패턴 성좌의 디렉터리에서 C8 보기 ↗이 부품을 쓰는 PAX 사례 목록, 같이 쓰이는 부품, 3D 위치

01문제

에이전트가 어떤 시스템에 무엇을 쓸 수 있는지 아무도 답하지 못하고, 멈출 스위치도 없다. MCP 환경에서는 도구 설명이 '조회'인데 실제 코드는 쓰기·실행 권한을 갖는 일이 흔하다. 공공에서는 자율성보다 통제가 성숙도의 구성요소다(PAX 원칙 2.5).

맥락. 도구를 호출하거나 시스템에 쓰는 B6 오케스트레이터, A8 MCP 서버·호스트, B8 레거시 오버레이, 처분 보조(P3) 서비스. 유형 ⑤b 데이터 에이전트, ⑨ 인수인계(접근 범위).

힘(forces) — 서로 당기는 요구

자동화 범위 vs 통제
승인 절차의 안전 vs 이용 마찰
도구 설명의 편의 vs 실제 권한과의 일치 검증 비용

그림 8.45권한 경계가 없을 때: 에이전트가 세 도구를 같은 권한으로 부른다. 조회라고 설명된 도구가 실제로는 처리 상태를 바꾸고, 문자 발송까지 막을 장치가 없다.

02해법

부품별 허용 권한 범위(P0 읽기 전용 ~ P4 자율 처분)를 정하고, 도구 목록마다 읽기/쓰기를 분리한다. 위험도가 높은 도구는 실행 전 사람 승인(C2·F6)을 받게 하고, 호출 상한(속도 제한)을 둔다. 전역 킬스위치를 달아 즉시 멈추게 하고, 승인·실패·중단 이력을 C4에 남긴다. MCP 도구는 설명과 실제 권한이 일치하는지 A8 6축 검증으로 확인한다.

그림 8.46권한 경계·킬스위치(C8)를 둔 뒤: 읽기 도구는 바로 실행되고, 쓰기 도구는 F6 확인을 거쳐야 실행된다. 상한·속도 제한·킬스위치가 한 경계에 모이고 모든 결정은 C4에 남는다.

그림 8.47권한 경계·킬스위치의 구조. 가운데 상자 안이 이 패턴을 이루는 참여자와 역할이다.

변형

변형	설명
읽기 전용·쓰기 배제	도구 세트를 읽기 전용으로 한정하거나 쓰기 기능을 설계에서 배제
도구별 위험도·실행 승인	도구마다 위험도를 평가하고 고위험 도구는 실행 전 승인
판정 필드 비도달 설계	AI가 판정·업무 필드에 쓸 수 없게 코드 수준으로 분리
속도 제한	도구 호출 상한(Rate Limiter)
킬스위치	전역 즉시 중단과 기존 절차 전환

03적용

AI 부품이 호출할 수 있는 도구와 쓸 수 있는 시스템을 전부 나열한다.
각 도구의 읽기/쓰기 여부와 위험도를 평가하고 허용 권한 범위(P)를 정한다.
고위험 도구에는 실행 전 승인(F6)을, 전체에는 호출 상한과 킬스위치를 둔다.
MCP 도구는 설명과 실제 권한이 일치하는지 검증한다(A8 6축 검증).
승인·거부·중단 이력을 C4에 남기고 운영(시범 운영 포함) 기간에 실제로 작동한 기록을 확보한다.

점검 질문

AI가 쓸 수 있는 시스템 목록을 답할 수 있는가
도구별 읽기/쓰기 구분과 위험도가 있는가
고위험 도구에 실행 승인이 걸려 있는가
킬스위치가 있고 누가 누를 수 있는지 정해져 있는가
도구 설명과 실제 권한이 일치하는가

환경 조건. E4 권한 범위가 이 부품의 정의다. E3 MCP 환경에서는 도구 설명과 실제 권한이 어긋나는 것이 가장 큰 위험이다(PAX MCP 6축 검증 93건 중 권한 표면 주의 36건, 2026년 10월 14일 기준). 그래서 A8, C8 읽기/쓰기 분리, MCP 6축 검증을 함께 둔다. E4 P2 이상인데 C8·C3이 없으면 경고(§12).

그림 8.48배선 예시 A8 → B6 → C8 (도구별 승인) → C4 (감사 대시보드) · C8 → F6. 굵은 테두리가 이 패턴이다.

적용 노트

E3 MCP 환경에서는 도구 설명과 실제 권한이 다른 것이 가장 큰 위험이다. PAX MCP 6축 검증에서 권한 표면 주의는 93건 중 36건이었다(2026년 10월 14일 기준). 이 함정이 X7도구 설명 ≠ 실제 권한이다. 막으려면 A8, C8 읽기/쓰기 분리, MCP 6축 검증을 함께 갖춰야 한다.

C8의 승인 게이트는 S4·S5·S6의 대체 통제로 인정되지 않는다. 태깅에서는 완화 장치로 rationale에 적는다(R6). 다만 유형 5b 데이터 에이전트의 필수 부품 판정에서는 R10에 따라 C8이 대체로 인정된다. 실행 전 확인을 이용자에게 보이는 화면은 F6에이전트 행동 검토·확인으로 따로 태그한다.

E4가 P2 이상인데 C8과 C3이 없으면 검증기가 경고를 낸다(§12). PAX 564건의 4축 평가에서 승인 게이트가 확인된 사례는 없고(전건 미확인), 태깅에서 C8이 붙은 사례는 22건이다.

Gulli는 에이전트를 소프트웨어처럼 다루라고 권한다. 체크포인트와 되돌리기, 구조화된 로그, 최소 권한으로 사고의 피해 반경을 줄이라는 것이다(Gulli 18장). 사람의 개입을 언제 요청할지 정한 상향 보고 정책도 사람 개입 패턴의 한 측면으로 다룬다(Gulli 13장). C8은 최소 권한과 상향 보고를 한 경계에 모은다.

04영향

얻는 것

되돌릴 수 없는 조치 방지
도구 설명과 실제 권한의 불일치(X7) 예방
감사 가능한 행동 기록

치르는 대가

승인 절차로 인한 마찰
권한 정책 유지 비용
과도한 제한으로 자동화 이득 감소

이럴 때 쓴다

E4 P2 이상(필수, First 관문)
E3 MCP·CLI 환경에서 에이전트가 도구를 호출할 때
B6 오케스트레이터에 상용 API를 쓰는 경우(A2 + C7 + C8 도구별 승인)
유형 ⑤b-host, ⑨ 인수인계(접근 범위)

이럴 때는 쓰지 않는다

도구 호출·시스템 쓰기가 없는 서술 전용 코파일럿(P1)
B0 결정적 도구로 AI가 행동을 고르지 않을 때

05판정

식별 신호

읽기 전용 MCP쓰기 기능 배제도구별 위험도 평가·실행 승인킬스위치PAX p = P2 이상

present읽기/쓰기 분리·도구별 실행 승인·즉시 중단 스위치가 명시·구현되고 운영(시범 운영 포함) 기간에 작동(승인·거부·중단 이력 등)한 기록이 원문에 있음.

implemented권한 분리·승인 게이트·킬스위치가 구현되었거나 설계 문서에 명시되었으나 실제 작동 기록은 없음.

planned권한 통제를 향후 도입 예정으로만 언급.

헷갈리는 이웃	가르는 규칙
C7폴백 스위치	즉시 중단만 있으면 C8, 장애 시 다른 경로로 계속 서비스하면 C7.
S5계획 후 실행·코드 후 실행	C8 승인 게이트는 S4·S5·S6의 대체 통제로 인정하지 않고 rationale에 완화 장치로 기록(R6). 단 R10은 5b 필수에서 C8을 대체로 인정한다.
C1검토 큐	C1은 산출물의 맞고 틀림 확인, C8은 행동 권한의 상한과 실행 승인.
F6에이전트 행동 검토·확인	F6은 실행 전 확인을 이용자에게 보이는 화면, C8은 권한 정책 자체.

06관계

그림 8.49권한 경계·킬스위치과 이웃 패턴. 선 위 글자가 관계의 성격이다.

패턴	관계
C7폴백 스위치	짝 — 막는 통제와 이어 가는 통제
F6에이전트 행동 검토·확인	이용자 쪽 대응 — 에이전트 행동 검토·확인
A8MCP 서버·호스트	의존 — 도구 설명과 실제 권한의 일치
C2위험도 라우터	의존 — 고위험 도구는 사람 승인
C4감사 로그·지표	기록처 — 승인·실패·롤백 로그
S1AI 게이트웨이·단일 진입점	짝 — 단일 진입점에서 요청 상한·인증

의존. A8MCP 서버·호스트 C4감사 로그·지표 C2위험도 라우터

빠지기 쉬운 함정. X7도구 설명 ≠ 실제 권한 X13도구 출력이 지시가 되는 에이전트

알려진 사용례

PAX 망분리 환경용 로컬 AI 에이전트 도구별 위험도 평가·실행 승인·감사 대시보드(§9, PAX 564건 태깅에서 C8이 운영 중(present)으로 확인된 2건 가운데 하나. 구현 단계까지 합치면 22건)
PAX 갈피 법령 MCP 쓰기 배제 설계

사례 연구 · 가람시(가상)

조회만 한다던 MCP 서버가 바꾼 처리 상태

가람시 민원여권과의 한 주무관은 민원 대장을 조회하는 MCP 서버를 직접 만들어 동료들과 써 왔다. 정보통신과 AX팀은 이 서버를 데이터 에이전트에 연결해 "이번 주 처리 지연 민원 목록"을 묻고 답하는 기능을 시험하고 있었다.

시험 사흘째, 민원 대장에서 처리 상태 몇 건이 "완료"로 바뀌어 있었다. 추적해 보니 MCP 서버 안에 처리 상태를 갱신하는 함수가 들어 있었다. 도구 설명에는 조회라고만 적혀 있었고, 에이전트는 지연 원인을 정리하다 그 함수를 불렀다. 누구도 에이전트를 멈출 방법을 몰라 서버 프로세스를 강제로 내렸다.

AX팀은 연결을 끊고 C8권한 경계·킬스위치부터 설계했다. 데이터 에이전트의 상한은 P1로 정했다. 도구 목록을 읽기와 쓰기로 나누고, 쓰기 도구는 실행 전 담당자의 확인(F6에이전트 행동 검토·확인)을 받게 했다. 호출 횟수 상한을 두고, 운영 화면에 전역 킬스위치를 달았다. MCP 서버는 A8MCP 서버·호스트 6축 검증으로 도구 설명과 실제 권한이 일치하는지 다시 확인했다. 배선으로 적으면 A8 → B6 → C8 → F6 → C4 순서다.

서버를 만든 주무관은 갱신 함수를 별도 서버로 떼어 냈다. 이제 데이터 에이전트에는 조회 서버만 연결되어 있고, 갱신 서버는 담당자 승인을 거쳐야만 불린다. 승인·거부·중단 이력은 모두 감사 로그에 남는다.

출처·문헌: 카탈로그 §6 C8 카드 · 카탈로그 §4.2 등재 규칙(후보) · 카탈로그 §5 조건별 필수 의존 매트릭스 · 카탈로그 §7.1·§7.3·§7.5 · 카탈로그 §9 망분리 로컬 에이전트 · 카탈로그 §11 X7 · 카탈로그 §13 C8 레지스트리 · 분류기준 §4 C8, R6, R10 · aiux Agent Action Review · Towards AI 체크포인트 휴리스틱 · Gulli ch.18 Guardrails · Access Token · Rate Limiter · Bulkhead · PAX 원칙 2.5

평가 세트·회귀시험

Evals · Versioned Test Set · 회귀 테스트 · 프롬프트 버전 관리

확립 · 사용례 16건

요구어떻게 하면 프롬프트·모델·설정을 바꿀 때마다 무엇이 나아지고 무엇이 망가졌는지 같은 자로 잴 수 있는가?

배포 전에 업무 맥락의 질문·정답·채점 기준을 세트로 만들어, 프롬프트·모델·설정의 모든 변경을 같은 자로 재고 회귀를 잡는다.

문제

모델을 바꾸거나 프롬프트를 고쳐도 무엇이 나아지고 무엇이 망가졌는지 모른다. 성능 수치는 보고하지만 그 수치를 낸 세트가 남지 않는다.

해법

업무 질문·정답·채점 기준(사람 라벨과 LLM 심판)을 세트로 만들고, 프롬프트·모델·설정 조합을 버전 관리해 모든 변경을 같은 세트로 재평가한다. 기준 미달이면 배포하지 않는다.

적용

RAG를 붙이거나 모델을 고르기 전에 만든다. A1이 정답 출처를, A2가 모델 버전 고정을 받치고, C6 재학습과 C7 모델 교체 앞에 게이트로 선다.

영향

세트를 만들고 유지하는 비용이 든다. 세트가 업무 변화를 따라가지 못하면 의미가 줄고, LLM 심판에는 편향이 있다.

원칙

AIM05 모델 하나에 묶지 않기 · AIM06 결과가 기준을 고치게 · 증거 우선

적용 범위

기관 (세트는 업무 고유, 채점 틀과 버전 관리 방식은 타 기관이 재사용)

AX 관문

단계 관문은 아니지만 C6 환류와 C7 모델 교체가 성립하려면 먼저 있어야 한다. Fowler는 'RAG를 붙이기 전에 평가부터' 하라고 권한다. PAX Native 복원력 항목이 요구하는 '품질 급락·모델 변경을 탐지하는 회귀시험'이 이 부품이다. v0.5 등재 때는 후보(사례 2건)였고, PAX 564건 태깅에서 참조 구현 후보는 9건이다.

PAX 사례 564건 중

16 건

PAX 사용 비율

2.8 %

계층

C 운영 컴포넌트

공공AX 패턴 성좌의 디렉터리에서 C9 보기 ↗이 부품을 쓰는 PAX 사례 목록, 같이 쓰이는 부품, 3D 위치

01문제

모델을 바꾸거나 프롬프트를 고쳤는데 무엇이 나아지고 무엇이 망가졌는지 아무도 모른다. 많은 도구가 성능 수치는 내세우면서 그 수치를 낸 세트를 남기지 않아, 다음 변경 때 같은 자로 잴 수 없다. 비결정적 시스템에서 '좋아졌다'를 말할 유일한 방법이 평가 세트다.

맥락. 모델·프롬프트·검색 설정이 바뀌는 모든 AI 부품. 특히 B3 지식 접지(검색 품질은 평가 없이 개선 불가), E2 상용 API(예고 없는 모델 업데이트), 유형 ①④⑤a⑦⑩⑫.

힘(forces) — 서로 당기는 요구

평가 세트 구축 비용 vs 변경의 안전
사람 라벨의 정확성 vs LLM 심판의 규모
세트 고정(비교 가능성) vs 업무 변화 반영(세트 갱신)

그림 8.50평가 세트가 없을 때: 프롬프트·모델·검색 설정의 변경이 검사 없이 바로 배포된다. 좋아졌는지도, 어떤 질문에서 망가졌는지도 알 수 없다.

02해법

RAG를 붙이거나 모델을 고르기 전에 업무 질문·정답·채점 기준(사람 라벨 + LLM 심판)을 세트로 만든다. 프롬프트·모델·설정 조합을 릴리스처럼 버전 관리하고, 모든 변경마다 같은 세트로 재평가해 점수표와 회귀 실패 목록을 남긴다. 기준을 넘지 못하면 배포하지 않는 게이트를 둔다. 학습 데이터와 평가 세트는 누수 없이 분리한다.

그림 8.51평가 세트·회귀시험(C9)을 둔 뒤: 모든 변경이 같은 세트로 재평가되어 점수표와 회귀 실패 목록을 남기고, 기준을 넘은 변경만 배포 게이트를 통과한다.

그림 8.52평가 세트·회귀시험의 구조. 가운데 상자 안이 이 패턴을 이루는 참여자와 역할이다.

변형

변형	설명
모델 선정 블라인드 비교	여러 모델을 동일 조건·평가 의도 은닉으로 채점해 운영 모델 선별
배포 전 회귀검증 게이트	응답 로직 변경 시 기준 질의의 기대응답 대조를 통과해야 배포
재학습 모델 비교 게이트	재학습 시 이전 버전 대비 성능을 비교해 기준 상회 모델만 배포
공인시험 기반 검증 세트	검출 기준을 명시한 검증 세트와 공인시험

03적용

업무 담당자와 함께 실제 업무 질문·정답·채점 기준을 모아 세트를 만든다.
학습·튜닝 데이터와 평가 세트를 분리해 누수를 막는다.
프롬프트·모델·설정 조합에 버전을 붙이고 세트로 기준 점수를 잰다.
모든 변경마다 같은 세트로 재평가하고 회귀 실패 목록을 남긴다.
기준 미달 변경은 배포하지 않는 게이트를 두고 운영(시범 운영 포함) 기간 실행 기록을 남긴다.

점검 질문

업무 질문·정답·채점 기준 세트가 있는가
프롬프트·모델·설정이 버전 관리되는가
변경마다 재평가한 기록이 있는가
기준 미달 시 배포를 막는 절차가 있는가

환경 조건. E2가 상용 API면 모델 업데이트가 예고 없이 오므로 필수. 폐쇄망 로컬 모델은 교체 시점에 필수. 코퍼스·도구 오염 위협의 대응 C 부품(C9 회귀시험)이다(§6 위협 매트릭스).

그림 8.53배선 예시 A1 → C9 → A2.1 → B3 · C6 → C9 → B3 (재배포 전 재검증). 굵은 테두리가 이 패턴이다.

적용 노트

성능 수치를 보고한 것만으로는 C9가 아니다. 고정된 질문·정답·채점 기준 세트로 변경을 재평가한 절차가 운영(시범 운영 포함) 기간에 실행된 기록이 있어야 present다. 운영 중 실제 건의 지표는 C4, 런타임에 건마다 생성과 검증을 나누는 제어 흐름은 B′5생성자-비평가로 구분한다.

E2가 상용 API면 모델 업데이트가 예고 없이 오므로 C9가 필수다. 폐쇄망 로컬 모델은 교체 시점에 반드시 거친다. 코퍼스·도구 오염 위협에도 C9 회귀시험이 대응 부품으로 붙는다(§6). 평가 없이 RAG를 붙이는 함정은 X10평가 없는 RAG, RAG 없는 튜닝이다.

학습 데이터와 평가 세트는 누수 없이 분리한다. 세트를 고정해야 비교가 되지만 업무가 바뀌면 세트도 갱신해야 하므로, 세트에도 버전을 붙여 어느 버전으로 잰 점수인지 남긴다. 기각한 시도와 그 이유를 함께 기록해 두면 다음 변경 때 같은 실패를 반복하지 않는다.

C9는 v0.5 등재 때 후보(사례 2)였고, PAX 564건 태깅에서 참조 구현 후보로 지목된 사례는 9건이다. PAX 564건 태깅에서는 16건이 C9를 썼다.

평가 방법마다 비용과 신뢰도가 다르다. Gulli는 사람 평가, LLM 심판, 자동 지표를 나란히 놓고 비교한다. 또 프롬프트를 넘어 검증 가능한 산출물을 약속하는 계약으로 옮겨 가야 한다고 본다(Gulli 19장). C9의 사람 라벨과 LLM 심판 조합은 이 비교에서 나온 절충이다.

04영향

얻는 것

변경의 효과와 회귀를 숫자로 확인
모델 교체·재학습의 안전
모델 선정 근거 확보

치르는 대가

세트 구축·유지 비용
세트가 업무 변화를 못 따라가면 무의미해짐
LLM 심판의 편향

이럴 때 쓴다

RAG·튜닝을 붙이기 전(§7.1 4단계, §7.2 진행 경로 2단계)
E2 상용 API로 모델 업데이트가 예고 없이 올 때(필수)
폐쇄망 로컬 모델의 교체 시점
C6 환류·C7 모델 교체를 하려 할 때(선행 조건)

이럴 때는 쓰지 않는다

B0 결정적 도구처럼 비결정적 출력이 없을 때
유형 5a 중 순수 시각화(R10: 면제)

05판정

식별 신호

평가 데이터셋회귀 테스트정확도 N% (테스트 세트)프롬프트 버전 관리성능을 정량 수치로 검증한 서술

present업무 질문·정답·채점 기준 세트로 변경 시 재평가하는 절차가 운영(시범 운영 포함) 기간에 실행된 기록이 원문에 있음. 단순 성능 수치 보고만으로는 해당하지 않는다.

implemented평가 세트가 구축되었으나 변경마다 재평가하는 절차의 실행 기록이 없음(1회성 성능 측정용 세트).

planned평가 세트·회귀시험을 향후 도입 예정으로만 언급.

헷갈리는 이웃	가르는 규칙
C4감사 로그·지표	C4는 운영 중 실제 건의 지표, C9는 고정 세트로 변경을 재는 평가.
C6환류 파이프라인	C6의 재검증 단계가 곧 C9. 재학습만 있고 고정 세트 재평가가 없으면 C6만.
B′5생성자-비평가	B′5는 런타임에 건마다 생성과 검증을 분리하는 제어 흐름, C9는 배포 전 변경 단위의 평가.

06관계

그림 8.54평가 세트·회귀시험과 이웃 패턴. 선 위 글자가 관계의 성격이다.

패턴	관계
C6환류 파이프라인	후속 — 환류의 재검증 단계
C7폴백 스위치	후속 — 모델 교체(Blue-Green) 전 회귀시험
B3지식 접지 상담	끼울 자리 — 검색 품질 개선의 전제
A1데이터 자산 서비스	의존 — 정답 출처
A2모델 서빙 계층	의존 — 모델 버전 고정

의존. A1데이터 자산 서비스 A2모델 서빙 계층 C4감사 로그·지표

빠지기 쉬운 함정. X10평가 없는 RAG, RAG 없는 튜닝 X15빌린 성과표 X5성능표만 있는 학습

알려진 사용례

PAX MOPAN 기각한 시도 15건의 실패 기전을 기술 보고서로 남김

사례 연구 · 가람시(가상)

새 모델로 바꾼 뒤 틀리기 시작한 휴가 일수

직원들이 복무 규정을 물을 때 쓰는 챗봇은 가람시 정보통신과 AX팀이 직접 운영한다. 로컬 오픈웨이트 모델 위에 복무 규정과 내부 지침을 검색해 붙이는 구조다. 새 버전의 오픈웨이트 모델이 나오자 AX팀은 몇 가지 질문을 던져 보고 답이 더 매끄럽다는 이유로 모델을 바꿨다.

두 주 뒤 총무과에서 연락이 왔다. 챗봇이 육아시간과 장기재직휴가 일수를 틀리게 안내해, 이를 믿고 휴가를 신청한 직원 몇 명이 반려되었다는 것이다. 이전 모델은 같은 질문에 제대로 답했느냐는 물음에 아무도 답하지 못했다. 이전 모델로 어떤 질문을 시험했는지조차 남아 있지 않았다.

AX팀은 모델을 되돌린 뒤 C9평가 세트·회귀시험을 만들었다. 총무과 담당자와 함께 자주 묻는 복무 질문과 정답, 정답의 근거 조항을 정리하고 채점 기준을 붙였다. 사람이 라벨을 단 핵심 문항에 LLM 심판으로 채점하는 넓은 문항을 더했다. 프롬프트·모델·검색 설정의 조합에는 버전 번호를 붙이고, 어느 하나라도 바뀌면 같은 세트로 다시 채점한다. 기존 점수보다 낮거나 핵심 문항에서 하나라도 틀리면 배포하지 않는다. 배선은 A1 → C9 → A2.2 → B3이다.

새 모델을 다시 세트에 올리자 문제가 숫자로 드러났다. 전체 점수는 올랐지만 휴가 일수 계산 문항들이 나란히 떨어졌다. AX팀은 검색 설정을 고쳐 회귀를 잡은 뒤에야 모델을 교체했고, 점수표와 회귀 실패 목록을 교체 기록에 붙여 두었다.

출처·문헌: 카탈로그 §6 C9 카드 · 카탈로그 §4.2 등재 규칙(후보) · 카탈로그 §4.3 위치 매트릭스 · 카탈로그 §7.1·§7.2·§7.5 · 카탈로그 §11 X10·X15 · 카탈로그 §13 C9 레지스트리 · 분류기준 §4 C9, R10 · Fowler Evals · InfoQ AI-Ops · Prompt-Model-Config Versioning · Gulli ch.19 Evaluation & Monitoring