조례를 두고 AI가 낸 답변 문장이 인용한 조문에 정말 근거하는지를 판단 전용 모델에게 채점시키는 게이트 한 칸을 시험하고, 데이터셋과 생성 스크립트, 실행기, 원자료, 판정표를 모두 열어 둔 재현 패키지다. 조례 다섯 건의 조문 열일곱 개에 직역·의역·부정문·두 조문 결합·단서 생략·타법 혼입 여섯 유형으로 만든 백 쌍을 돌려 아흔일곱을 맞혔고, 틀린 셋도 통과시키면 안 될 것을 통과시킨 쪽은 없었다고 유형별로 갈라 적었다. 한 번의 관찰이며 성능 주장이 아니라고 스스로 못 박았다.
사례 대상 바로가기 · 공유 링크 · 아카이브에서 보기
상세 정보
- 사례 성격
- 참고
- 출처 채널
- 오픈채팅
- 수집일
- 2026-09-20
- 태그
- #조례 #근거검증 #평가데이터셋 #재현성 #판단모델
- 실행 환경
- 설치 필요
- 망 요건
- 인터넷 필수
- 배포 환경
- 인터넷망
- AI 모델
- 해외 상용 API — Jev(TypeSafe AI System One, Vercel AI Gateway 경유)
- 라이선스
- MIT (확인 2026-09-20)
- 저장소
- 유지보수 활발
- 링크 점검
- 정상 (2026-11-02)
4축 평가
| AX 단계 | AI-Enabled |
|---|---|
| 업무 범위 | S1 Script/보조 |
| 업무 완결성 | C1 결과 제공 |
| 권한(P축) | P1 산출물 생성(잠정) |
| 위험도 | R0 최소 |
| 인간 통제 | 해당 없음 |
| 증거 등급 | E1 코드·도구 확인 |
| 신뢰도 | 중간 |
데이터셋과 실행기로 판정을 재 보는 실험 스크립트라 Script/보조·C1이며 스스로 1회 관찰이라 밝혀 PoC로 둔다. 생성 모델을 대체하는 대신 답의 근거를 다른 모델이 채점하는 게이트를 세우고, 오답 세 건을 유형별로 갈라 정답 라벨 쪽 문제까지 적은 자기비판이 아카이브에서 드물다. 저장소 문서·데이터로 확인했고 직접 돌려 보지는 않았다.
디자인 패턴 분석
『모두의 공공AX 디자인 패턴』 카탈로그 v0.7.1 기준 — 사례를 기관이 함께 쓰는 AI 부품과 그 조립으로 읽은 결과입니다. · 패턴 성좌에서 전체 보기 ↗
업무 패턴 B2 예측·추천기 변형: 판정 모델 근거 검증 게이트(인용 조문 근거성 채점, 실험 패키지)
환경 축 배포:인터넷망 네트워크:인터넷 필수 모델:해외 상용 API 런타임:설치 필요 권한:P1 산출물 생성
- 제어 흐름(B′)
- B′9 결정론 판정 게이트
- 공통 서비스(A)
- A1 데이터 자산 서비스 A2.1 모델 서빙 · 상용 API 호출
- 운영(C)
- C9 평가 세트·회귀시험 C2 위험도 라우터 구현 확인 C5 가드레일 필터 구현 확인 C1 검토 큐 계획
- 신뢰할 수 없는 입력
- 검증 대상 AI 답변 문장(타 모델 생성물)
- 서비스 블록(D)
- D8.4 대조·점검
- 부품 배선
- A1 → C9 · A2.1 → B2 · B2 → B′9 · B′9 → C2 · C9 → B2 · B2 → C5 · B2 → D8.4
- 참조 구현 후보
- C9 평가 세트·회귀시험 6개 오류 유형으로 설계한 100쌍 평가 세트와 실행기·원자료를 모두 공개하고 '1회 관찰'임을 명시한, 공공 법무 AI용 근거 검증 게이트 평가의 재현 가능한 기준 사례
판정 근거
AI가 조례에 대해 낸 답변 문장이 인용 조문에 실제로 근거하는지를 판단 전용 모델(Jev, Vercel AI Gateway 경유 상용 API → A2.1)에게 채점시키는 게이트 한 칸의 재현 실험. 생성이 아니라 근거 확률(grounded)을 수치로 내고 사람이 판단 자료로 쓰므로 가치 흐름상 B2 예측·점수기로 봄(텍스트 생성 LLM이 아닌 판정 모델). 0.5 미만은 사람 검토로 넘기는 임계값 구조라 B′9 결정론 판정 게이트, 임계 분기는 C2이나 1회 실험이라 implemented. 조문 17개·6유형 100쌍 데이터셋(A1)과 채점 기준을 공개해 실제 1회 돌렸으므로 C9 present(97/100). 게이트 자체는 환각·근거 검증 필터 C5 implemented. 사람 검토 절차는 설계뿐이라 C1 planned. 해외 상용 API인데 C7 없음 경고는 실험 패키지라 폴백 설계가 범위 밖이어서 수용. 참고 사례라 개인 사용. 유형 7 필수 A3·F7 없음. URL 확인(GitHub README).
구현 가이드
주 패턴 B2 예측·추천기을 구현할 때
구현 단계
- 예측 대상과 이 값이 바꿀 담당자 결정(점검 순서·배정 등)을 먼저 정한다.
- A1에서 기준 시점 스냅샷으로 시간 누수를 막은 데이터셋을 만들고, 시험 세트를 분리해 C9로 둔다.
- 모델을 학습해 A2.5로 서빙하고, 등급화가 필요하면 임계값·산식을 규칙 게이트(B′9)로 분리한다.
- 결과를 F9 기여 요인·F7 한계 안내와 함께 담당자 화면에 내고 C1에서 조치를 확정하게 한다.
- 실제 결과를 C4로 적재하고 C6 재학습 주기와 배포 전 C9 비교 게이트를 정한다.
점검표
- 시간 누수를 막은 독립 시험 세트가 있는가
- 예측 근거(기여 요인)가 담당자에게 보이는가
- 등급 산정 규칙이 모델과 분리되어 있는가
- 재학습 주기와 배포 전 비교 기준이 정해져 있는가
환경 조건
E2 비LLM이 보통이어서 폐쇄망 이식이 쉽다. E4는 P1이 기본이고, 순위가 지급·승인·반려 결과에 직결되면 P3이며 C1·C2가 필수다. 유형 ⑩에서 C2는 등급 자동분류가 있을 때만 필수이고 연속값 예측·참고용 순위는 면제된다(R10).
주의할 점
- 도메인별 재학습이 필요해 기관 간 재사용이 제한됨
- 근거 표시 없이는 현장 수용이 낮음
- 적대적 접점에서 근거 노출이 취약점이 될 수 있음(X16)
- 성능표만 보고하고 배포 후 환류가 없으면 X5
기본 배선 예
A1 → A2.5 → B2 (B′9) → C1 → D6 · C4 → C6 → B2 (재학습)
보완이 필요한 필수 부품
이 조합에서 카탈로그가 함께 갖추라고 권하는 부품 가운데 아직 확인되지 않은 것이다.
- A3 공공 API 제공자 정부·공공이 운영하는 모델·데이터·개발 도구(범정부 AI 공통기반, 모두의 AI 실험실, 공공데이터포털, 공공 깃랩)를 범정부 Provider로 소비한다.
- F7 한계·신뢰도 안내 AI가 무엇을 못 하는지, 얼마나 확신하는지, 공식 판단이 아님을 이용자가 볼 수 있는 곳에 적어 과신을 막는다.
피해야 할 안티패턴
- X5 성능표만 있는 학습 학습 모델의 정확도는 보고하지만 배포 후 수정률을 누가 집계해 무엇을 바꾸는지가 없어, 개선이 배포 시점에 멈추는 함정이다. 대처: 배포 후 사람이 고친 기록을 C4 감사 로그·지표로 모아 수정률·오탐·이의를 숫자로 말하게 한다. C1 검토 큐의 수정 내역을 C4·C6의 입력으로 연결하고, C6 환류 파이프라인에 재학습·기준 개정의 주기와 트리거(예: 수정률 임계)를 정한다. 재학습한 모델은 C9 평가 세트로 재검증한 뒤 교체한다. 판정 질문은 '지난 분기 지표 때문에 바뀐 규칙이 하나라도 있는가'다.
- X15 빌린 성과표 실증 고유의 실측치 없이 벤더 상용 서비스의 KPI를 준용해 성과로 보고하는 함정이다. 195건 태깅에서 별도 명명이 요청되어 v0.6에 추가됐다. 대처: 기관 업무 데이터(A1)에서 정답을 뽑아 C9 자체 평가 세트를 만들고, 도입한 벤더 모델을 그 세트로 직접 잰다. 실증 기간 동안의 처리 건수·처리시간·수정률은 C4 지표로 적재해 실측치로 보고한다. 벤더 KPI를 인용할 때는 '참고(벤더 제시)'로 출처를 밝혀 실측치와 분리 표기한다. 벤더 블랙박스라 내부 평가가 어렵더라도 입력·출력 수준의 C9 평가는 가능하다.
- X16 기준을 노출하는 위조 탐지 진위 판정 근거를 이용자 화면에 그대로 보여 줘 위조범이 탐지 기준을 역추적하게 만드는 함정이다. F9 근거 표시가 적대적 접점에서는 취약점이 된다. 대처: F9 판정 근거·기여도 표시를 역할별로 나눈다. 이용자 화면에는 '정상/위조의심'만 노출하고, 의심 부위·사유 코드·기여도 같은 세부 근거는 관리자 화면에만 보여 준다(근거 은닉, anti-oracle — 카탈로그가 S 계층 후보로 둔 반대편 부품). 관리자 화면 접근은 C8 권한 경계로 제한하고, '위조의심' 건은 C1 검토 큐에서 담당자가 세부 근거를 보고 확정한다. 이용자에게는 F7 한계·신뢰도 안내로 추가 확인 절차를 알리고, 반복 제출·판정 이력은 C4·S10에 남겨 역추적 시도를 탐지할 근거로 삼는다.
관련 가이드라인
이 사례가 쓰는 부품과 이어지는 공공 AX 안내서·지침이다 (부록 E 공공 AX 가이드라인 문서 해설 기준, 겹치는 부품이 많은 순).
- 공공기관 신뢰가능 AI 구현 실용가이드 쓰는 작업: 기관 AI 윤리 지침이나 내부 거버넌스 규정을 처음 만드는 기획 부서가 원칙의 뼈대를 잡을 때 참고한다. 인간개입과 고객소통 항목은 검토 절차와 이용자 안내 문구를 설계하는 데 아직 쓸 만하다.주의: 생성형 AI 이전 문서다. PAX 목록은 원칙 참고용이며 구축 절차는 최신 문서를 우선하라고 적었다.
- 금융분야 AI 위험관리프레임워크 쓰는 작업: 금융회사의 리스크관리 부서가 업무별 AI에 위험등급을 매기고, 등급마다 독립 검증을 누가 언제 하는지와 사람이 어느 단계에서 결과를 확인하는지를 내규 초안에 적을 때 편다. 등급이 높을수록 사람이 개입하는 지점이 앞당겨진다.주의: 문서 원문은 금융감독원 배포본으로 확인한다.
- 신뢰할 수 있는 인공지능 개발 안내서 쓰는 작업: 개발사가 신뢰성 요구사항을 개발 산출물에 대응시킬 때, 발주 기관이 검증항목 일부를 인수 조건으로 고를 때 쓴다. 공공 서비스는 공공·사회 분야판을, 챗봇과 문서 생성은 생성 AI 분야판을 먼저 본다.주의: 배포 페이지에는 TTA 표기가 따로 보이지 않는다. 발행 기관은 PAX 목록의 표기를 따랐다. 67개 항목 전부를 인수 조건으로 넣으면 검수가 불가능해지므로, 사업 성격에 맞는 항목을 골라 넣는다.
- KS X ISO/IEC TS 4213 기계 학습 분류 성능에 대한 평가 쓰는 작업: 민원 분류, 문서 유형 판별, 이상 탐지처럼 분류 모델을 납품받는 사업에서 인수 시험 계획서의 성능 지표와 측정 방법을 정할 때 쓴다. 과업지시서에 "정확도 90% 이상"만 적으면 측정 방법을 두고 다툼이 생긴다. 이 표준을 인용해 지표 정의와 평가 데이터 구성을 함께 적는다.주의: 분류 성능에 한정된다. 생성형 AI의 답변 품질 평가는 이 표준의 범위가 아니다.
- KS X ISO/IEC 22989 인공지능 개념 및 용어, KS X ISO/IEC TR 24028 인공지능의 신뢰성 개요 쓰는 작업: 과업지시서와 제안요청서의 용어 정의 절에 22989를 인용하면 "학습", "추론", "AI 시스템" 같은 말의 범위를 두고 다투는 일이 준다. TR 24028은 신뢰성 요구사항을 처음 정리하는 기획 단계에서 점검 항목의 출처로 쓴다.주의: TR은 기술보고서라 요구사항이 아니다. 신뢰성 검증 항목은 TTA 신뢰할 수 있는 AI 개발 안내서처럼 구체 문서로 내려간다.
- 공공부문 데이터 분석 업무 운영 가이드 이 사례와 겹치는 부품 B2 예측·추천기 A1 데이터 자산 서비스쓰는 작업: AI가 예측이나 추천을 내는 사업, 또는 분석 결과가 정책 결정으로 들어가는 사업에서 분석 담당자는 이 절차를 작업 절차서의 뼈대로 삼는다. 분석 결과를 정책 보고서로 옮기는 해석 단계의 점검은 AI 산출물 검토에도 그대로 들어맞는다.주의: AI 전용 문서가 아니다. 모델 보안이나 개인정보 처리는 아래 KISA·개보위 문서로 따로 채운다.
- 공공데이터의 인공지능 친화적 관리 가이드라인 이 사례와 겹치는 부품 A1 데이터 자산 서비스 A3 공공 API 제공자쓰는 작업: 데이터 담당 부서가 공공데이터나 내부 문서를 RAG 지식베이스와 API로 내놓기 전에 편다. 데이터 개방 계획서의 메타데이터 항목, 지식베이스에 넣을 문서의 형식 변환 기준, 데이터 품질 점검표를 이 문서로 쓴다. 공공 API를 MCP 서버로 감싸려는 담당자에게도 기본 문서다.주의: NIA가 v1.1 개정을 공지했으므로 내려받은 파일의 판을 확인한다.
- AI 기반 신용평가모형 검증체계 이 사례와 겹치는 부품 B2 예측·추천기 C9 평가 세트·회귀시험쓰는 작업: 점수나 등급을 매기는 예측 모델을 검증할 때, 금융이 아닌 공공 분야에서도 검증 항목의 틀로 빌려 쓸 만하다. 인수 시험 계획서의 검증 영역을 이 네 칸으로 나누면 빠지는 항목이 줄어든다.주의: 같은 날 발표된 2023년 금융분야 AI 보안 가이드라인은 2026년 문서로 대체되었으나, 이 검증체계는 PAX 목록에 현행으로 남아 있다.
같은 주 패턴(B2)을 쓰는 다른 사례
같은 업무 패턴으로 조립된 사례를 서비스 유형이 같은 것부터 모았다. 구현할 때 비교해 볼 수 있다.
이 사례에 쓰인 패턴
B2 예측·추천기 업무 컴포넌트
과거 데이터로 학습한 모델이나 비학습 최적화 알고리즘이 수치·등급·순위·이상점수를 내고, 사람이 이를 판단 자료로 쓴다(LLM이 아님).
PAX 사례 4건이 이 부품을 쓴다
맥락
시계열·속성 데이터가 축적된 기관의 예측·이상탐지·우선순위 선별·추천 업무에 쓴다. 유형 5a 분석 대시보드, ⑩ 위험 예측·표적 선별, ⑪ 추천·매칭에서 주 부품이 된다. PAX 자생 도구에는 드물다(557건 중 주 부품 B2는 4건).
맞서는 힘(긴장)
- 예측 성능 vs 설명 가능성(현장 수용)
- 희소·불균형 데이터 vs 순위 안정성
- 자동 반영의 효율 vs 잘못된 순위가 작업 지시를 바꿀 위험
- 도메인별 재학습 필요 vs 기관 간 재사용
해법
A1 데이터 자산에서 시간 누수를 막은 학습 데이터셋을 만들고, 자체 학습 모델(A2.5)이나 공간·조합 최적화 알고리즘으로 예측값·이상 점수·추천 순위를 낸다. 결과는 기여 요인(F9)과 한계 안내(F7)와 함께 사람에게 판단 자료로 제시한다. 등급을 자동으로 매기는 경우 규칙 게이트(B′9)가 임계값·산식으로 등급을 확정하고 사람이 최종 판단한다. 운영 중 실제 결과를 C4로 적재하고 C6 재학습 주기로 모델을 갱신하며, C9 평가 세트로 재학습 모델이 이전보다 나은지 확인한 뒤 배포한다.
이럴 때 쓴다
- 과거 데이터가 충분하고 수치·등급·순위가 사람 판단의 입력이 될 때
- 점검·단속 대상 선별처럼 한정된 인력을 우선순위로 배분해야 할 때
- 설명(F9)과 재학습(C6)을 운영할 수 있을 때
이럴 때는 쓰지 않는다
- 규칙 점수화로 충분히 순위가 정해질 때(B0 결정론 점수 엔진)
- 산출물이 문장·문서일 때(B1·B3)
- 학습 데이터나 실제 결과 회수 경로가 없어 재학습을 할 수 없을 때
얻는 것
- 한정된 인력의 우선순위 배분
- 폐쇄망 이식이 쉬움(비LLM)
- 재학습으로 도메인에 맞춰 개선 가능
점검표
- 시간 누수를 막은 독립 시험 세트가 있는가
- 예측 근거(기여 요인)가 담당자에게 보이는가
- 등급 산정 규칙이 모델과 분리되어 있는가
- 재학습 주기와 배포 전 비교 기준이 정해져 있는가
구조 — 참여 부품
- A1 데이터 자산 서비스 — 정제·라벨링된 학습 데이터와 기준선
- A2.5 비LLM 학습 모델 서빙 — XGBoost·LSTM 등 자체 학습 모델 구동
- F9 판정 근거·기여도 표시 — SHAP 요인·사유 코드를 담당자에게 제시
- C6 환류 파이프라인 — 실제 결과로 주기적 재학습
- 담당자 — 순위·등급을 판단 자료로 써서 조치를 결정
변형
- 수치 예측: 수요·건수·위험도 같은 연속값 예측
- 이상 탐지: Isolation Forest 등으로 이상 점수 산출
- 순위 선별·추천: 점검 대상·매칭 후보의 순위(유형 ⑩·⑪)
- 앙상블: 여러 모델 결합(computer.org ML 생애주기 패턴)
- 비학습 최적화 알고리즘: MCLP·ILP·GNN 등 공간·조합 최적화가 수치·순위를 낸다(R15로 정의를 넓힘)
관련 부품
F9 이용자 쪽 대응 — 판정 근거·기여도 표시는 B2의 필수 면 · C6 Native 관문 — 재학습 파이프라인 · C9 선행 — 누수 없는 평가 세트 · B′9 배선 — 확률을 규칙으로 등급 확정(유형 ⑩ 템플릿) · A2.5 끼울 자리 — 자체 학습 모델 서빙
참고 자료
computer.org 앙상블·지속 학습 · GoF Strategy
이 부품과 이어지는 가이드라인
B′9 결정론 판정 게이트 제어 흐름
판정 모델(LLM·VLM·비전 분류기·통계 모델)은 정형 출력만 내고, 규칙 엔진이 최종 판정·산수·분기를 하며, 사람 또는 시스템이 확정한다.
PAX 사례 17건이 이 부품을 쓴다
맥락
법정 기준·지침 임계값이 있는 심사·점검·감시 업무에 쓴다. B4 인식 파이프라인, B5 감지·경보(유형 ③), B2 위험 예측(유형 ⑩)에서 판정 단계를 맡는다. v0.6에서 LLM·VLM 한정으로 신설하고 R11에서 판정 모델 일반으로 확장했다.
맞서는 힘(긴장)
- 모델의 추출 유연성 vs 판정의 재현성·설명 가능성
- 기준 변경 시 설정만 바꾸는 편의 vs 규칙 유지보수 부담
- 강등·기각의 보수성 vs 자동 처리율
해법
판정 모델은 JSON 스키마로 제약된 정형 출력(추출값·근거 문장·신뢰도·확률)만 낸다. 규칙 엔진이 기준 임계값·산식·대조로 판정과 산수를 수행하고, 기준이 바뀌면 재학습 없이 설정만 고친다. 서버가 근거 문장을 원문과 재대조해 '문서확인/AI추정/문서에없음'으로 강등하는 비루프 검증을 둘 수 있다. 불합격·저신뢰 건은 재생성하지 않고 기각·강등해 사람 확정(C1)으로 보낸다.
이럴 때 쓴다
- 판정 기준이 법령·지침·임계값으로 정해져 있을 때
- 판정 재현성과 근거 설명이 필요할 때
- 기준 변경 시 재학습 없이 설정만 바꾸고 싶을 때
이럴 때는 쓰지 않는다
- 판정 기준을 규칙으로 적을 수 없는 서술형 평가일 때
- 불통과 시 다시 생성해 품질을 올려야 할 때(B′5)
- 추출 없이 규칙만으로 판정할 수 있을 때(B0)
얻는 것
- 임의 확정·환각 수치 방지
- 기준 변경 시 재학습 불필요
- 판정 근거를 조항 단위로 설명 가능
- C2 자동 분기의 신뢰 근거
점검표
- 모델이 판정·산수를 하지 않는가
- 기준 변경이 재학습 없이 설정 변경으로 가능한가
- 저신뢰·근거 불일치 건이 강등되어 사람에게 가는가
- 같은 입력에 같은 판정이 나오는가
구조 — 참여 부품
- 판정 모델 — 정형 출력(추출값·근거·신뢰도·확률)만 생성
- 규칙 엔진 — 임계값·산식·대조로 판정과 산수
- C5 가드레일 필터 — 구조적 출력 제약·스키마 검증, 근거 재대조
- C1 검토 큐 — 강등·저신뢰 건의 사람 확정
변형
- LLM·VLM 추출형: LLM·VLM은 추출·서술만 하고 규칙이 판정한다(v0.6 원정의)
- 비전·통계 판정 모델형: 비전 분류기·통계 모델 확률을 규칙이 판정한다(R11 확장)
- 근거 재대조 강등형: 근거 문장을 원문과 재대조해 문서확인/AI추정/문서에없음으로 강등한다(비루프 검증)
- 병렬 교차 검증형: LLM 추출과 규칙 파서를 병렬로 돌려 불일치를 규칙으로 잡는다
- 정형 IR → 결정론 컴파일: 에이전트가 정형 중간표현을 내고 결정론적으로 변환한다(§13 해외 참고)
참조 구현 예
- PAX 90f8afce65c6f327 — VLM 추출 + 차량 대장 규칙 대조 + 담당자 확정, 소형 실물(§13)
관련 부품
S4 동형 — 보안 목적이면 행동 선택기 · S6 동시 태깅 가능(R27) · C5 짝 — 구조적 출력 제약 · B′10 역방향 — 선게이트·후보축소 · B′5 대안 — 재생성 루프 · F9 이용자 쪽 대응 — 판정 사유 코드 표시
참고 자료
Beurer-Kellner 외 Action-Selector(동형) · InfoQ Output Guardrails
A1 데이터 자산 서비스 공통 서비스
흩어진 업무 기록을 정제·라벨링해 AI 부품이 붙여 쓸 수 있는 데이터셋·라벨·데이터 사전 형태의 기준선으로 제공한다.
PAX 사례 110건이 이 부품을 쓴다
맥락
학습 모델(A2.5·B2), 지식 접지(B3)의 코퍼스, 평가 세트(C9)의 정답 출처가 필요한 과제라면 모두 이 부품을 쓴다. 서비스 유형 5a·9·10·11에서는 필수 기반이다. 비LLM 규칙 기반 대민 안내에서는 A2를 거치지 않고 결정론 조회의 대상이 된다(R21).
맞서는 힘(긴장)
- 정제 품질 vs 구축 기간·라벨링 인력 비용
- 과제 전용 가공(빠름) vs 기관 공통 기준선(재사용)
- 데이터 활용 범위 vs 데이터 등급(E5) 보호
- 기준선 고정(재현성) vs 원천 갱신 반영
해법
원천 기록을 수집→정제(중복·결측 처리)→라벨링→정의 문서화 순으로 가공하고, 결과를 정제 데이터셋·라벨·데이터 사전의 세 산출물로 고정해 제공한다. 'N건→M건 정제'처럼 정제 전후 규모와 기준을 기록하고, 변수·테이블·인터페이스 정의서로 소비 부품이 같은 정의를 쓰게 한다. 기준선은 버전으로 관리해 C9 평가 세트의 정답 출처와 C6 재학습의 입력으로 재사용한다. 데이터 경계는 부품별로 두고(DB per Service), 타 기관 데이터와의 결합은 A4로 분리한다.
이럴 때 쓴다
- 예측·추천기(B2)나 비전 모델(A2.5)을 학습·재학습할 때
- 지식 접지(B3)의 코퍼스를 구축할 때
- 평가 세트(C9)의 정답 출처가 필요할 때
- 서비스 유형 5a-agg·9·10·11처럼 A1이 필수인 조립
이럴 때는 쓰지 않는다
- 공공 API 응답을 가공 없이 조회만 할 때(A3)
- 정제·정의 없이 파일을 올려 바로 검색하는 경우(태그 대상 아님)
- 타 기관 데이터 결합이 핵심일 때는 A4를 함께 태그해 계약·키 매핑을 따로 드러낸다
얻는 것
- 모델 교체와 무관하게 남는 기관 자산
- C9·C6·B3가 같은 기준선을 재사용
- 데이터 사전이 기관 간 표준 확산의 단위가 됨
점검표
- 정제 전후 규모와 정제 기준이 기록되어 있는가
- 데이터 사전(정의·단위·출처)이 있는가
- 기준선에 버전이 있고 평가용 분할이 학습용과 분리되어 있는가
- 데이터 등급(E5)에 맞는 가명·비식별 처리가 적용되었는가
구조 — 참여 부품
- 원천 시스템·기록 — 가공 전 업무 기록을 내주는 출처
- 정제·라벨링 파이프라인 — 중복 제거·결측 처리·라벨 부여·품질관리를 수행
- 데이터 사전 — 정의·단위·출처를 문서로 고정해 소비 부품이 같은 뜻으로 쓰게 함
- C9 평가 세트·회귀시험 — 기준선을 정답 출처로 사용
- A2.5 비LLM 학습 모델 — 기준선으로 학습·재학습하는 소비 부품
변형
- 학습데이터 구축형: 영상·이미지 등을 수집해 품질관리 단계(중복 제거·재라벨링·학습/검증/평가 분리)를 거쳐 학습 기준선으로 만든다.
- RAG 코퍼스 정본화형: 법령·규정 원문을 현행 시행본 기준으로 정본화하고 조문 구조·메타데이터를 부여해 색인한다.
- 지표 표준화형: 여러 자료원의 지표를 도메인별로 표준화하고 정의·단위·분모·결측·원본 링크를 메타데이터로 관리한다.
- 자동 피처 파이프라인형: 수집→정제→파생 변수 생성→자동 검증→담당자 승인을 주기 실행하고 승인만 사람에게 남긴다.
관련 부품
C9 소비처 — 기준선이 평가 세트의 정답 출처 · A4 짝 — 자기 기관 정제(A1)와 타 기관 결합(A4) · B3 소비처 — 지식 접지의 코퍼스 · C6 선행 — 재학습 입력이 되는 기준선 · A2.5 소비처 — 자체 학습 모델의 학습 데이터
참고 자료
computer.org 데이터 증강 · Heiland 데이터 계층 · Microservice 패턴 DB per Service · GoF Builder
이 부품과 이어지는 가이드라인
A2.1 모델 서빙 · 상용 API 호출 공통 서비스
GPT·Gemini·Claude·HyperCLOVA X·Upstage 등 상용 모델 API를 서빙 계층을 거쳐 호출해 자체 인프라 없이 최신 모델 성능을 쓴다.
PAX 사례 88건이 이 부품을 쓴다
맥락
E2는 해외 상용 API(또는 국산 상용 모델 API), E1은 인터넷망·클라우드다. E5 등급이 O이거나 비식별 후 전송해도 되는 업무에 맞는다. 대민 상담(B3)·코파일럿(B1)·콘텐츠 생성(B7)에서 흔하다.
맞서는 힘(긴장)
- 모델 성능·도입 속도 vs 데이터 반출·주권
- 종량 과금의 초기 저비용 vs 호출량 증가 시 비용 예측 어려움
- 벤더의 모델 개선 vs 예고 없는 품질 회귀
- 단일 API의 단순함 vs 장애 시 서비스 중단
해법
업무 코드는 서빙 계층만 부르고, 서빙 계층이 상용 API를 호출한다. 행정망 본문이 나가는 경로 앞에는 C5 비식별 전처리를 두고, 대체 모델을 등록해 C7 폴백을 건다(§5 매트릭스 E2 해외 상용 API 행). 모델 버전을 고정하고 모델·프롬프트·설정 조합을 릴리스처럼 관리해 업데이트 전후를 C9로 비교한다. 비용이 문제면 라우팅·캐싱으로 큰 모델 호출을 줄인다. E5가 S 이상이면 이 변형 단독으로는 안 되고 A2.4 내부망 프록시를 거친다.
이럴 때 쓴다
- 인터넷망·클라우드 환경이고 데이터 등급이 O이거나 비식별 후 전송 가능할 때
- PoC 초기에 모델 성능을 빠르게 확인해야 할 때
- 자체 GPU·운영 인력이 없을 때
이럴 때는 쓰지 않는다
- E1이 폐쇄망이면 조립 오류(A2.2·A2.4로)
- E5가 S 이상인데 내부망 프록시가 없을 때(A2.4 필수)
- 상시 서비스인데 대체 경로를 둘 수 없을 때
얻는 것
- 인프라 없이 최신 모델 성능
- 빠른 PoC
- 벤더의 지속적 개선
점검표
- 업무 코드가 상용 API를 직접 부르지 않는가
- 외부로 나가는 프롬프트에서 무엇이 걸러지는지 답할 수 있는가
- API 장애 시 대체 경로가 있는가
- 모델 버전과 호출당 비용·지연이 기록되는가
구조 — 참여 부품
- A2 서빙 계층 — 업무 코드 대신 상용 API를 호출하고 버전·사용량을 기록
- C5 가드레일(비식별 전처리) — 외부 전송 전 민감정보 제거
- 상용 모델 API — 기관 밖에서 추론을 수행
- C7 폴백 스위치 — API 장애·품질 저하 시 대체 모델·수동 처리로 전환
변형
- 해외 상용 API: GPT·Gemini·Claude 등이다. E2 값은 해외 상용 API.
- 국산 상용 API: HyperCLOVA X·Upstage 등 국내 사업자 API. 망·등급 조건은 해외와 같이 따진다.
- 구조화 호출: function calling·JSON Schema로 출력 형식을 고정해 부른다. 판정은 규칙 엔진에 남긴다.
관련 부품
C7 필수 짝 — 상용 API 의존이면 폴백 필수 · C5 선행 — 외부 전송 전 비식별 · A2.4 대안 — 행정망·민감 등급일 때 중계 경유 · C9 짝 — 모델 업데이트 회귀시험
참고 자료
Fowler Direct Prompting · InfoQ 모델 라우팅·캐싱 · Microservice 패턴 Circuit Breaker
이 부품과 이어지는 가이드라인
C9 평가 세트·회귀시험 운영 컴포넌트
배포 전에 업무 맥락의 질문·정답·채점 기준을 세트로 만들어, 프롬프트·모델·설정의 모든 변경을 같은 자로 재고 회귀를 잡는다.
PAX 사례 15건이 이 부품을 쓴다
맥락
모델·프롬프트·검색 설정이 바뀌는 모든 AI 부품. 특히 B3 지식 접지(검색 품질은 평가 없이 개선 불가), E2 상용 API(예고 없는 모델 업데이트), 유형 ①④⑤a⑦⑩⑫.
맞서는 힘(긴장)
- 평가 세트 구축 비용 vs 변경의 안전
- 사람 라벨의 정확성 vs LLM 심판의 규모
- 세트 고정(비교 가능성) vs 업무 변화 반영(세트 갱신)
해법
RAG를 붙이거나 모델을 고르기 전에 업무 질문·정답·채점 기준(사람 라벨 + LLM 심판)을 세트로 만든다. 프롬프트·모델·설정 조합을 릴리스처럼 버전 관리하고, 모든 변경마다 같은 세트로 재평가해 점수표와 회귀 실패 목록을 남긴다. 기준을 넘지 못하면 배포하지 않는 게이트를 둔다. 학습 데이터와 평가 세트는 누수 없이 분리한다.
이럴 때 쓴다
- RAG·튜닝을 붙이기 전(§7.1 4단계, §7.2 진행 경로 2단계)
- E2 상용 API로 모델 업데이트가 예고 없이 올 때(필수)
- 폐쇄망 로컬 모델의 교체 시점
- C6 환류·C7 모델 교체를 하려 할 때(선행 조건)
이럴 때는 쓰지 않는다
- B0 결정적 도구처럼 비결정적 출력이 없을 때
- 유형 5a 중 순수 시각화(R10: 면제)
얻는 것
- 변경의 효과와 회귀를 숫자로 확인
- 모델 교체·재학습의 안전
- 모델 선정 근거 확보
점검표
- 업무 질문·정답·채점 기준 세트가 있는가
- 프롬프트·모델·설정이 버전 관리되는가
- 변경마다 재평가한 기록이 있는가
- 기준 미달 시 배포를 막는 절차가 있는가
구조 — 참여 부품
- A1 데이터 자산 서비스 — 정답의 출처
- A2 모델 서빙 계층 — 평가 대상 모델의 버전 고정
- 채점기 — 사람 라벨과 LLM 심판으로 점수 산출
- 배포 게이트 — 기준 미달 변경의 배포 차단
- C4 감사 로그·지표 — 운영 지표와 평가 점수 대조
변형
- 모델 선정 블라인드 비교: 여러 모델을 동일 조건·평가 의도 은닉으로 채점해 운영 모델 선별
- 배포 전 회귀검증 게이트: 응답 로직 변경 시 기준 질의의 기대응답 대조를 통과해야 배포
- 재학습 모델 비교 게이트: 재학습 시 이전 버전 대비 성능을 비교해 기준 상회 모델만 배포
- 공인시험 기반 검증 세트: 검출 기준을 명시한 검증 세트와 공인시험
참조 구현 예
- PAX MOPAN — 기각한 시도 15건의 실패 기전을 기술 보고서로 남김
관련 부품
C6 후속 — 환류의 재검증 단계 · C7 후속 — 모델 교체(Blue-Green) 전 회귀시험 · B3 끼울 자리 — 검색 품질 개선의 전제 · A1 의존 — 정답 출처 · A2 의존 — 모델 버전 고정
참고 자료
Fowler Evals · InfoQ AI-Ops · Prompt-Model-Config Versioning · Gulli ch.19 Evaluation & Monitoring
이 부품과 이어지는 가이드라인
- 공공부문 AI 도입·활용 가이드
- 인공지능 위험 사례집
- 금융분야 AI 위험관리프레임워크
- AI 기반 신용평가모형 검증체계
- 합성데이터 생성·활용 안내서
- 인공지능 영향평가 가이드라인
- 신뢰할 수 있는 인공지능 개발 안내서
- 인공지능(AI) 표준화 전략 로드맵
- KS X ISO/IEC 42001 인공지능 경영시스템
- KS X ISO/IEC 23894 인공지능 리스크관리 지침
- KS X ISO/IEC TS 4213 기계 학습 분류 성능에 대한 평가
- KS X ISO/IEC 22989 인공지능 개념 및 용어, KS X ISO/IEC TR 24028 인공지능의 신뢰성 개요
C2 위험도 라우터 운영 컴포넌트
건별 위험도·신뢰도를 매겨 저위험은 자동 처리, 중간은 검토 큐, 고위험은 숙련자에게 보내 사람의 검토를 필요한 곳에 집중시킨다.
PAX 사례 4건이 이 부품을 쓴다
맥락
C1 검토 큐가 이미 운영되고 수정률 실측이 쌓인 B 부품. 특히 E4 P2 이상이거나 D3 자격·심사, D6 점검·감시, ⑩ 위험 예측처럼 건수가 많고 위험 편차가 큰 업무.
맞서는 힘(긴장)
- 자동 처리율 vs 오류 비용
- 임계값의 보수성 vs 검토 인력 부담
- 분기 기준의 일관성 vs 기관·업무별 기준 차이
해법
건마다 위험도(업무 규칙상 위험 유형)와 신뢰도(모델 확신·정합도)를 산출하고, 버전이 붙은 분기 기준으로 자동 종결·검토 큐·숙련자 이관 중 하나로 보낸다. 사람 개입 조건(근거 없음·신뢰도 미달·안전·개인정보 등)은 명문화한다. 분기 결과와 자동 처리율은 C4에 적재하고, 이관 시 이용자에게는 F11로 진행 상태를 알린다. 임계값은 실측 오류율로 조정하고 조정 이력을 남긴다.
이럴 때 쓴다
- C1 전건 검토가 병목이고 수정률 실측이 있을 때
- E4 P2 이상(§7.1 필수)
- 유형 ② 접수·심사, ③ 현장 감시(등급 분기), ⑩ 위험 예측에서 등급 자동분류가 있을 때
이럴 때는 쓰지 않는다
- 실측 수정률이 없어 임계값 근거가 없을 때(먼저 C1·C4로 데이터를 쌓는다)
- 연속값 예측·참고용 순위만 내고 등급 분류가 없을 때(R10: 유형 ⑩에서 면제)
- P0 조회 도구처럼 자동 처리할 조치가 없을 때
얻는 것
- 사람의 검토를 고위험 건에 집중
- 자동화 범위를 실측 근거로 넓힐 수 있음
- 업무 순서가 실제로 바뀜(First 진입)
점검표
- 분기 기준과 사람 개입 조건이 문서로 명시되어 있는가
- 분기 기준에 버전이 있는가
- 자동 처리율·검토 비율 실측치가 있는가
- 고위험 건이 자동 종결되지 않음을 확인했는가
구조 — 참여 부품
- 위험도·신뢰도 산정기 — 업무 규칙과 모델 신호로 건별 점수 산출
- 분기 기준표 — 버전이 붙은 임계값·사람 개입 조건
- C1 검토 큐 — 중간 위험 건의 사람 확인
- 숙련자 — 고위험 건의 최종 판단
- C4 감사 로그·지표 — 경로별 건수·자동 처리율 기록
변형
- 등급 자동분류형: 위험 등급(예: 5단계)으로 자동 종결·검수·중점 검수를 분기
- 신뢰도 임계형: 필드별·건별 신뢰도 점수가 임계값 미만이면 사람 검토
- 조치 위험도형: 복구 가능한 저위험 조치는 자동, 차단·신고·설비 중단 같은 고위험 조치는 운영자 승인
관련 부품
C1 선행 — 전건 검토의 실측이 임계값 근거 · F11 이용자 쪽 대응 — 사람 이관 시 진행 상태·핸드오프 안내 · C4 기록처 — 경로별 건수·자동 처리율 · C8 짝 — 고위험 도구는 사람 승인으로 보냄 · B′2 구분 — 유형 라우팅 제어 흐름
참고 자료
Google ADK Coordinator · Gulli Routing·Prioritization · API Gateway · Triage
이 부품과 이어지는 가이드라인
C5 가드레일 필터 운영 컴포넌트
개인정보·환각·편향·형식 오류가 프롬프트나 산출물에 들어가지 못하게 시스템이 경계에서 걸러낸다. 비식별 전처리, 출처 검증, 구조적 출력 제약이 대표 변형이다.
PAX 사례 44건이 이 부품을 쓴다
맥락
외부 모델을 부르거나 대민에 답하는 모든 B 부품. 특히 E2 해외 상용 API, E5 S 이상 데이터, B3 지식 접지 상담, 유형 ① 대민 상담, ④ 기안, ⑥ 콘텐츠, ⑦ 대조·점검, ⑨ 인수인계, ⑬ 비식별·정제 도구.
맞서는 힘(긴장)
- 차단의 엄격함 vs 과잉 차단으로 인한 유용성 저하
- 비식별 강도 vs 문맥 보존
- 결정적 검증의 신뢰성 vs 구현 범위
해법
프롬프트가 기관 밖으로 나가기 전 PII를 마스킹하고 원복 키를 보관하는 비식별 전처리기를 둔다. 응답에는 인용을 원본(법령정보센터·통계표 등)과 대조하는 출처 검증기와, JSON 스키마·허용 목록 같은 구조적 출력 제약을 건다. 근거가 없으면 답하지 않거나 '확인 필요'로 표시한다. 차단 사유는 C4에 남기고, 이용자에게는 F1 출처와 F7 한계 안내로 보인다. 사람이 하는 팩트체크·법무 심의는 C5가 아니라 C1.2에 둔다.
이럴 때 쓴다
- E2 해외 상용 API로 행정망 본문이 외부로 나갈 때(필수)
- E5 S 이상 개인정보·민감정보를 다룰 때
- B3 대민 응답처럼 인용·수치의 정확성이 신뢰의 핵심일 때
- C5가 필수인 유형 ①④⑥⑦⑨⑪⑬
이럴 때는 쓰지 않는다
- E1 로컬 PC 완결로 데이터가 밖으로 나가지 않을 때 비식별은 불필요해질 수 있다(§5 매트릭스, 단 출처 검증은 별개)
- 사람이 수행하는 심의만 있을 때(C1.2로 태그)
- 적대적 입력 탐지가 목적일 때(S8)
얻는 것
- 개인정보 외부 유출 차단
- 환각 인용 감소
- 상용 API 사용 조건 충족
점검표
- 외부 전송 전 무엇이 걸러지는지 답할 수 있는가
- 인용이 원본과 대조되는가
- 근거 없을 때의 동작이 정해져 있는가
- 차단 사유가 기록되는가
구조 — 참여 부품
- 비식별 전처리기 — 외부 전송 전 PII 마스킹과 원복
- 출처 검증기 — 인용을 원본과 대조해 환각을 걸러냄
- 출력 제약 — 스키마·허용 목록·금칙어로 출력 형식 제한
- F1 출처 표시 — 검증된 출처를 이용자에게 보임
변형
- 로컬 비식별 전처리기: 외부 전송 전 PII 마스킹·원복(PAX에서 독립 부품으로 확인)
- 출처 검증기: 인용을 법령정보센터·KCI·CrossRef 원본과 대조
- 구조적 출력 제약·스키마 검증: JSON 스키마·허용 목록으로 출력 범위를 고정(v0.6 식별 신호 추가)
- 근거 재대조형 환각 검증: 추출값의 근거 문장을 원문에서 재대조해 '문서확인/AI추정/문서에없음'으로 재분류
참조 구현 예
- PAX Korean Stats MCP — KOSIS 통계 출처 자동 인용
관련 부품
F1 이용자 쪽 대응 — 검증된 출처 표시 · F7 이용자 쪽 대응 — 근거 없을 때 한계 안내 · A2.4 짝 — 민감정보 외부 유출 대응 · C1.2 구분 — 사람이 하는 심의 · S8 구분 — 적대적 입력 탐지 · S13 변형 후보 — 로컬 비식별 게이트
참고 자료
Fowler Guardrails · InfoQ Output Guardrails·Model Critic · Gulli ch.18 Guardrails · Heiland 규칙 기반 안전장치 · Proxy · Decorator
이 부품과 이어지는 가이드라인
C1 검토 큐 운영 컴포넌트
AI 산출물이 다음 단계로 넘어가기 전에 사람이 맞고 틀림을 확인·수정·확정하는 대기열을 두어, 오류가 업무 결과로 흘러가지 않게 한다.
PAX 사례 46건이 이 부품을 쓴다
맥락
AI 산출물이 공문·처분·대민 안내·기록으로 이어지는 모든 B 부품(B1 코파일럿, B4 인식 파이프라인, B2 예측기, B7 콘텐츠 생성기 등). 이용자 본인이 최종 확정자인 자기서비스형 도구도 포함한다(R16).
맞서는 힘(긴장)
- 정확성·책임성 vs 처리 속도(전건 검토는 자동화 이득을 깎는다)
- 검토자의 숙련 vs 자동화 편향(AI 결과를 그대로 승인하는 경향)
- 전건 검토의 안전 vs 위험도별 분기(C2)로 가야 하는 효율 압력
해법
AI 산출물에 신뢰도·근거를 붙여 검토 대기열에 올리고, 검토자가 승인·수정·반려 중 하나를 고르게 한다. 수정·반려 내역은 C4 감사 로그에 남겨 수정률을 집계하고 C6 환류의 입력으로 쓴다. 검토 화면은 원문 위치·근거를 함께 보여 줘 확인 비용을 줄인다. 전건 검토로 시작하되, 수정률 실측이 쌓이면 C2 위험도 라우터로 저위험 건을 자동 종결하는 단계로 옮긴다.
이럴 때 쓴다
- AI 산출물이 공문·처분·대민 안내로 그대로 이어질 때
- E4가 P1 이상이고 되돌리는 데 사람 시간이 많이 드는 조치가 있을 때
- 서비스 유형 ② 접수·심사, ④ 기안 코파일럿, ⑥ 콘텐츠 제작, ⑦ 대조·점검, ⑩ 위험 예측, ⑪ 추천·매칭, ⑫ 개발 코파일럿처럼 C1이 필수인 유형
이럴 때는 쓰지 않는다
- B0 결정적 도구처럼 런타임 AI 산출물이 없을 때
- 쉽게 되돌릴 수 있고 저위험인 조치를 이미 C2로 자동 종결하도록 실측 근거를 갖춘 구간(전건 검토를 영원히 남기지 않는다)
얻는 것
- 오류가 업무 결과로 나가기 전에 차단
- 책임 소재가 명확해짐
- 수정 내역이 C4 지표와 C6 환류의 원천 데이터가 됨
점검표
- AI 산출물이 확정 전 상태로 머무는 지점이 명시되어 있는가
- 검토자와 승인·수정·반려 선택지가 정해져 있는가
- 검토 결정과 수정 내역이 로그로 남는가
- 실증 기간의 검토·수정 건수가 기록되어 있는가
- 전건 검토에서 분기로 옮길 조건이 정해져 있는가
구조 — 참여 부품
- 검토 대기열 — AI 산출물을 확정 전 상태로 보관하고 검토자에게 배정
- 검토자(담당자 또는 이용자 본인) — 승인·수정·반려를 결정하는 최종 책임자
- F2 편집 가능한 출력 — 검토자가 산출물을 직접 고치는 화면
- C4 감사 로그·지표 — 검토 결정과 수정 내역을 적재해 수정률로 집계
변형
- 전건 검토형: 모든 AI 산출물을 담당자가 확인·확정
- 예외 검수형: 정상 건은 일괄 승인하고 저신뢰 항목만 개별 검수하는 검수 UI
- 파이프라인 내장 관문형: 멀티에이전트·다단계 파이프라인의 각 관문에 승인·보완·재작성 선택지를 둠
- 자기서비스형: 이용자 본인이 최종 확정자인 HITL. 실제 운영 중이면 C1 present(R16)
- 심의 게이트: 팩트체크·법무·윤리처럼 제3자 전문가가 수행하는 승인 게이트
참조 구현 예
- PAX 9dc1a7081bc869b1 — 광진구 — 담당자·팀장 최종 판단 책임 등 4대 관리 원칙 명문화
관련 부품
C2 다음 단계 — 전건 검토에서 위험도 분기로 승급 · C1.2 변형 — 제3자 전문가 심의 게이트 · F2 이용자 쪽 대응 — 검토자가 직접 고치는 화면 · F6 이용자 쪽 대응 — 에이전트 행동 실행 전 확인 · C4 기록처 — 검토 결정·수정 내역 · C6 후속 — 수정 내역이 환류의 입력
참고 자료
Google ADK HITL · Gulli ch.13 Human-in-the-Loop · Towards AI 동기·비동기 HITL · Chain of Responsibility
이 부품과 이어지는 가이드라인
D8.4 대조·점검 서비스 블록
법령·규정·서식·인용·근태·보안 기준과 대조해 확인할 대상을 먼저 골라 주는 내부 운영 블록이다. "최종 판단은 사람"이 가장 자주 붙는다.
PAX 사례 81건이 이 부품을 쓴다
맥락
기관 내부 문서·자료를 기준과 대조하는 업무. §7.3 유형 ⑦ 대조·점검 도우미(D8.4, P0~P1)와 유형 ⑩ 위험 예측·표적 선별(D6·D3·D8.4)의 무대. PAX 81건(주 부품 B0 73%, B1 12%), 감사·법무 25건·문서·기안 12건.
맞서는 힘(긴장)
- 점검 범위 확대 vs 오탐으로 인한 확인 부담
- 규칙 점검의 결정성 vs LLM 대조의 유연성
- 점검 대상이 점검기를 속이는 위협 vs 자동 점검
- 출처 대조의 엄격성 vs 원문 접근 권한(공공 API 인가)
해법
기준이 규칙으로 옮겨지면 B0 규칙 점검기로, 해석이 필요하면 B3 법령 접지로 대조한다. 기준 원문은 A3 공공 API(법령·판례)에서 가져와 C5 출처 검증으로 인용이 실제 원문과 일치하는지 확인한다. 결과는 판정이 아니라 "확인할 대상 목록"으로 내고, C1으로 "최종 판단은 사람"을 명시하며, F7 한계와 F1 출처를 붙인다. 점검 대상 문서·코드가 점검기를 속이지 못하게 대상별 격리(S6)나 고정 규칙 실행(S4)을 쓰고, 코드 점검이면 S9 샌드박스를 둔다. C9 평가 세트로 누락률을 잰다.
이럴 때 쓴다
- 문서·자료를 법령·규정·서식과 한 줄씩 대조하는 업무
- 인용·근거가 원문과 맞는지 확인해야 할 때
- 점검 대상이 많아 확인 대상을 먼저 좁혀야 할 때
이럴 때는 쓰지 않는다
- 국민 신청 건의 자격 판정이면 D3
- 현장 시설을 관측해 점검하면 D6
- 대조 없이 자료를 찾아 보여 주면 D8.1
얻는 것
- 대조 시간 단축과 누락 감소
- 사람 판단을 확인 대상에 집중
- 인용 오류의 사전 차단
점검표
- 결과가 판정이 아닌 확인 대상으로 표시되는가
- 근거 원문 출처가 연결되는가
- 누락률을 평가 세트로 재는가
- 점검 대상 속 문장이 점검 결과를 바꾸지 못하는가
구조 — 참여 부품
- 담당자 — 확인 대상을 검토해 최종 판단
- B0 결정적 도구(규칙 점검기) — 규칙화된 기준으로 대조
- B3 지식 접지 상담 — 법령·규정에 접지해 해석 대조
- A3 공공 API 제공자 — 법령·판례 원문 제공
- C5 가드레일·출처 검증 — 인용을 원문과 대조
- C1 검토 큐 — 최종 판단은 사람
변형
- 규칙 점검기형: B0로 서식·근태·보안 기준을 결정적으로 대조(Attendance Checker).
- 법령 접지 대조형: B3가 법령·규정에 접지해 해석 필요 항목을 대조(Legal Reviewer).
- 인용 검증형: 보고서·논문의 법령·판례·문헌 인용을 원본과 대조(paper-verify).
- 표적 선별형: B2 위험 예측이 점검 대상을 좁힘(유형 ⑩, B′9).
참조 구현 예
- paper-verify — 카탈로그 D8.4 카드·§7.3 유형 ⑦ 참조 구현: 인용을 원본과 대조
- 민원 답변 작성 스킬 팩 — 카탈로그 D8.4 카드 예
- Attendance Checker — §7.3 유형 ⑦ 참조 구현
- Legal Reviewer — §7.3 유형 ⑦ 참조 구현
관련 부품
C1 필수 통제 — 최종 판단은 사람 · C5 필수 통제 — 출처 검증 · A3 필수 기반 — 법령·기준 출처 · D3 대민 버전 — 자격·심사 · S6 필수 보안 — 대상별 격리
참고 자료
카탈로그 §7.3 유형 ⑦·⑩ · 카탈로그 §7.4 유형 ⑦ 위협 모델
A3 공공 API 제공자 공통 서비스
정부·공공이 운영하는 모델·데이터·개발 도구(범정부 AI 공통기반, 모두의 AI 실험실, 공공데이터포털, 공공 깃랩)를 범정부 Provider로 소비한다.
PAX 사례 154건이 이 부품을 쓴다
맥락
모델·공공데이터·법령 원문·개발 환경을 공공 플랫폼에서 가져올 수 있다면 어느 과제든 해당한다. §7.1 2단계 '기반 부품은 새로 만들지 말고 Provider에서 먼저 찾는다'가 바로 이 부품을 가리킨다. 유형 7(대조·점검)에서는 법령·기준 출처를 대는 필수 기반이다.
맞서는 힘(긴장)
- 공통 Provider 재사용 vs 기관 고유 요구 반영
- 공공 API 가용성·갱신 주기 vs 서비스 신뢰성
- 인가·검증 절차의 통제 vs 에이전트 루프의 병목(PAX 공공API 진단)
해법
기반을 새로 만들기 전에 범정부 AI 공통기반(모델), 공공데이터포털·법령 API(데이터), 모두의 AI 실험실·공공 깃랩(개발·실험 환경)에서 먼저 찾아 소비한다. 인증은 GPKI·디지털원패스 같은 연합 신원(Federated Identity)으로 위임하고, 공공 API 응답은 출처·조회 시각과 함께 업무 부품에 넘긴다. 에이전트가 부를 수 있게 하려면 A8 MCP 서버로 감싸고, 결과를 재가공해 기준선으로 고정하면 A1을 더한다. 기관이 만든 도구는 공공 깃랩에 등재해 다음 기관의 Provider가 되게 한다.
이럴 때 쓴다
- 모델·데이터·개발 환경을 기관이 새로 만들려 할 때 — 먼저 Provider 확인
- 법령·기준 원문을 최신으로 대조해야 하는 유형 7
- 여러 부서가 같은 기반을 따로 만들고 있을 때(X3 교정)
이럴 때는 쓰지 않는다
- 필요한 모델·데이터가 공공 Provider에 없을 때(만들고 레지스트리에 올림)
- 타 기관 데이터를 계약·키 매핑으로 결합하는 경우는 A4
얻는 것
- 기관별 중복 구축 방지(X3 교정)
- 공인된 원천 데이터·모델 사용
- 등재를 통해 전이 경로 확보
점검표
- 같은 기반을 기관 안에서 따로 만들지 않았는가
- 공공 API 응답의 출처·조회 시각이 결과에 남는가
- API 장애·변경 시 어떻게 되는지 답할 수 있는가
- 만든 도구가 공공 깃랩 등에 등재되었는가
구조 — 참여 부품
- 공공 Provider — 범정부 AI 공통기반·공공데이터포털·모두의 AI 실험실·공공 깃랩
- 연합 신원 인증 — GPKI·디지털원패스 등으로 호출 주체를 확인
- 소비 부품(B·A2·A8) — Provider를 직접 만들지 않고 가져다 씀
- S1 AI 게이트웨이·단일 진입점 — 공공 인증을 위임받아 호출을 통제
변형
- 공공 모델 Provider: 범정부 AI 공통기반(HCX-GOV-THINK) 위에서 모델을 소비한다. 온나라 AI 문서 분배기가 공통기반 RAG 위에서 돈다.
- 공공 데이터·법령 Provider: 공공데이터포털 OpenAPI·법제처 API 등을 실서비스 파이프라인에 상시 연동한다.
- 개발·실험 환경 Provider: 모두의 AI 실험실·공공 깃랩에서 개발하고 결과물을 등재한다.
참조 구현 예
- PAX 온나라 AI 문서 분배기 — 범정부 공통기반 RAG 위에서 접수 문서 배분(§6 A3 카드)
- PAX ef389de4efadc258 — 법제처 API로 매일 최신성 검증(§13 A3)
- PAX 3d07b6da99f5e1ed — 직제·시행규칙을 법령 API로 파싱·결합, 시행일 스냅샷 비교(§13 A3)
관련 부품
A2.4 짝 — 공통기반 모델을 내부망에서 경유 · A8 감싸는 층 — 공공 API를 MCP 도구로 · S1 인증 위임 — 공공 인증을 단일 진입점에 · A7 등재처 — 자체 제작 도구를 공공 깃랩에 · A4 경계 — 계약 기반 결합
참고 자료
patterns.dev Provider 패턴 · Microservice 패턴 Federated Identity·Access Token · PAX 공공API 진단 보고서
이 부품과 이어지는 가이드라인
F7 한계·신뢰도 안내 상호작용 패턴
AI가 무엇을 못 하는지, 얼마나 확신하는지, 공식 판단이 아님을 이용자가 볼 수 있는 곳에 적어 과신을 막는다.
PAX 사례 63건이 이 부품을 쓴다
맥락
대민 상담·안내(유형 ①), 대조·점검(⑦), 분석·예측(5a·⑩), 비식별 도구(⑬). 대체 경로로 운영 중인 C7 상황.
맞서는 힘(긴장)
- 정직한 한계 고지 vs 서비스 신뢰도 하락 우려
- 신뢰도 수치 표시의 정확성 vs 이용자 이해
해법
화면에 사용 한계(대상 범위·미검증 항목·처리 시간), 신뢰도, '공식 판단 아님' 고지를 결과 옆에 배치한다. 저신뢰 결과는 표시를 달리하고, C7 대체 경로로 운영 중이면 품질 저하를 알린다. 고지 문구는 법률 자문·유권해석을 대체하지 않는다는 점을 분명히 적는다.
이럴 때 쓴다
- 대민 서비스 D1~D7(F1·F2·F7 최소 요건)
- 유형 ①⑦5a⑩⑬처럼 F7이 필수인 유형
- C7 대체 경로 운영 중
이럴 때는 쓰지 않는다
- 유형 ①·⑦에서 model_dependency가 없음(비LLM)이면 필수에서 면제(R7). 단 비LLM 도구도 한계 고지는 권장된다
얻는 것
- 과신·오인 방지
- 기관 책임 범위 명확화
점검표
- 이용자가 '공식 판단이 아님'을 결과 화면에서 읽을 수 있는가
- 사용 한계가 명시되어 있는가
- 저신뢰 결과가 구분 표시되는가
구조 — 참여 부품
- 고지 문구 — 사용 한계·공식 판단 아님
- 신뢰도 표시 — 결과별 확신 수준
- C7 폴백 스위치 — 대체 경로 운영 여부 제공
변형
- 공식 판단 아님 고지: '유권해석 아님'·'참고용' 고지
- 신뢰도 표시: 결과별 신뢰도·등급 표시
- 미검증 항목 열거: 검증되지 않은 조건·처리 시간을 명시
참조 구현 예
- 소방기술민원 답변생성기 — '유권해석 아님' 고지
- PAX 9998aba2d1f55c24 — 비공식 참고 도구·공식 판단 아님 고지와 원문 연계를 함께 갖춘 자가점검 UI
- PAX 759835514b4b7ca4 — README가 미검증 항목을 열거하고 '최종 판단은 항상 사람' 고지
- PAX 6c0fa4c0c3508ff0 — 처리 시간과 라이선스 동의 절차를 정직하게 고지한 온디바이스 비전 도구
- PAX aef95509b7611c96 — 비LLM 스크리닝 도구가 실제 검토를 대체하지 않음을 화면에 명시
- PAX 0a2535cadf2d621a — 법률 자문·안전 인증을 대체하지 않는다는 한계 고지
관련 부품
C7 시스템 쪽 대응 — 대체 경로 운영 중 안내 · F1 짝 — 이용자 신뢰의 실체 · F9 짝 — 판정 근거와 함께 표시(F9+F7 표준형) · C5 짝 — 근거 없을 때의 동작
참고 자료
InfoQ Contextual Guidance · aiuxpatterns Inline Help
이 부품과 이어지는 가이드라인
X5 성능표만 있는 학습 안티패턴
학습 모델의 정확도는 보고하지만 배포 후 수정률을 누가 집계해 무엇을 바꾸는지가 없어, 개선이 배포 시점에 멈추는 함정이다.
맥락
B2 예측·추천, B4 인식 파이프라인, B5 감지·경보처럼 자체 학습 모델(A2.3·A2.5)을 가진 과제. 사람이 AI 산출물을 고치는 C1이 있는데도 그 수정이 모이지 않는 과제.
맞서는 힘(긴장)
- 계약 종료 시점의 성능 증명 vs 배포 후 지속 개선
- 운영 기록 비용 vs 재학습·기준 개정의 근거
- 과제 성과 지표 vs 현장 수정률
해법
배포 후 사람이 고친 기록을 C4 감사 로그·지표로 모아 수정률·오탐·이의를 숫자로 말하게 한다. C1 검토 큐의 수정 내역을 C4·C6의 입력으로 연결하고, C6 환류 파이프라인에 재학습·기준 개정의 주기와 트리거(예: 수정률 임계)를 정한다. 재학습한 모델은 C9 평가 세트로 재검증한 뒤 교체한다. 판정 질문은 '지난 분기 지표 때문에 바뀐 규칙이 하나라도 있는가'다.
이럴 때 쓴다
- 정확도·F1 같은 성능 수치는 있으나 배포 후 수정률·오탐률 지표가 없다
- C1 검토가 있는데 수정 내역을 어디에 저장·집계하는지 서술이 없다
- 재학습의 주기·트리거·담당 주체가 없다
- '지속적으로 고도화'만 있고 구체 사이클이 없다
이럴 때는 쓰지 않는다
- 학습 모델이 없는 B0·규칙 기반 도구
- C6 환류가 주기·트리거와 함께 한 번 이상 실행된 경우
- 상용 API만 쓰고 자체 학습이 없어 재학습 대신 C9 재평가·프롬프트 개정으로 환류하는 경우(그 환류가 있으면 정상)
얻는 것
- 계약 종료 시점에 성능을 명확히 증명한다
- 운영 기록·재학습 비용이 들지 않는다
점검표
- 배포 후 수정률을 월 단위로 말할 수 있는가
- 재학습·기준 개정의 주기·트리거·담당자가 정해져 있는가
- 재학습 결과가 C9로 재검증되는가
- 지난 분기 지표 때문에 바뀐 규칙이 하나라도 있는가
구조 — 참여 부품
- C4 감사 로그·지표 — 수정률·오탐을 집계하는 빠진 부품
- C6 환류 파이프라인 — 주기·트리거로 재학습·기준 개정
- C1 검토 큐 — 사람의 수정 내역이 발생하는 곳
- C9 평가 세트·회귀시험 — 재학습 결과의 재검증
변형
- 정확도 단발 보고: 테스트 세트 정확도 한 번만 보고하고 배포 후 지표가 없음
- 수정은 있으나 버려짐: 담당자가 결과를 고치지만 수정 내역이 저장·집계되지 않음
- 재학습 주체 부재: 재학습 필요성은 쓰지만 누가 언제 하는지가 없음
관련 부품
C4 대체 — 배포 후 수정률·오탐 집계 · C6 대체 — 주기·트리거로 재학습·기준 개정 · C1 원천 — 사람 수정 내역이 발생하는 곳 · C9 짝 — 재학습 결과의 재검증 · X15 이웃 안티패턴 — 실측 없이 빌린 성과
참고 자료
PAX AIM06 '지난 분기 지표 때문에 바뀐 규칙' · InfoQ Metrics-driven AI-Ops
X15 빌린 성과표 안티패턴
실증 고유의 실측치 없이 벤더 상용 서비스의 KPI를 준용해 성과로 보고하는 함정이다. 195건 태깅에서 별도 명명이 요청되어 v0.6에 추가됐다.
맥락
A2.6 벤더 내장 블랙박스 모델이나 상용 제품을 도입한 과제, 운영 기간이 짧아 운영 데이터가 적은 과제.
맞서는 힘(긴장)
- 공신력 있어 보이는 벤더 수치 vs 우리 업무 데이터에서의 실측
- 짧은 운영 기간 vs 자체 평가 세트 구축
- 성과 보고 부담 vs 정직한 '미측정' 기록
해법
기관 업무 데이터(A1)에서 정답을 뽑아 C9 자체 평가 세트를 만들고, 도입한 벤더 모델을 그 세트로 직접 잰다. 실증 기간 동안의 처리 건수·처리시간·수정률은 C4 지표로 적재해 실측치로 보고한다. 벤더 KPI를 인용할 때는 '참고(벤더 제시)'로 출처를 밝혀 실측치와 분리 표기한다. 벤더 블랙박스라 내부 평가가 어렵더라도 입력·출력 수준의 C9 평가는 가능하다.
이럴 때 쓴다
- 성과 수치의 출처가 벤더·상용 서비스 자료이고 실증 기간 측정이 없다
- 보고된 정확도가 어떤 데이터로 잰 것인지 서술되지 않는다
- 자체 평가 세트·실증 기간 지표가 없다
- 벤더 KPI와 실측치가 구분 표기되지 않는다
이럴 때는 쓰지 않는다
- 벤더 수치를 참고로 밝히고 실증 실측치를 따로 보고한 경우
- 자체 실측은 있으나 배포 후 환류가 없는 경우(그것은 X5)
- 시연 환경만 있는 경우(그것은 X6)
얻는 것
- 짧은 실증 기간에도 인상적인 수치를 보고한다
- 평가 세트 구축 비용이 없다
점검표
- 모든 성과 수치에 출처가 붙어 있는가
- 실증 기간에 기관 데이터로 잰 실측치가 있는가
- 자체 평가 세트가 있는가
- 벤더 KPI와 실측치가 분리 표기되어 있는가
구조 — 참여 부품
- C9 평가 세트·회귀시험 — 자체 업무 데이터로 만든 평가 세트
- C4 감사 로그·지표 — 운영 기간의 실측 지표
- A2.6 벤더 내장 블랙박스 모델 — KPI를 빌려 오게 되는 흔한 출처
- A1 데이터 자산 서비스 — 평가 세트의 정답 출처
변형
- 벤더 정확도 인용: 상용 모델·제품의 공개 정확도를 자체 성과로 기재
- 타 사례 효과 준용: 다른 기관·민간 도입 사례의 절감률을 그대로 인용
- 추정치 성과화: 벤더 단가·처리량으로 계산한 예상 효과를 실측처럼 보고
관련 부품
C9 대체 — 자체 업무 데이터 평가 세트 · C4 대체 — 실증 기간 실측 지표 · A2.6 흔한 출처 — 벤더 블랙박스 모델 · A1 선행 — 평가 세트의 정답 출처 · X5 이웃 안티패턴 — 성능표만 있는 학습
참고 자료
Fowler Evals · 카탈로그 §7.1 4단계(평가 세트를 먼저 만든다)
이 부품과 이어지는 가이드라인
X16 기준을 노출하는 위조 탐지 안티패턴
진위 판정 근거를 이용자 화면에 그대로 보여 줘 위조범이 탐지 기준을 역추적하게 만드는 함정이다. F9 근거 표시가 적대적 접점에서는 취약점이 된다.
맥락
D3 자격·심사, D2 접수·제출에서 제출 서류·이미지의 진위를 판정하는 B4 인식 파이프라인·B2 분류기. 이용자 중 일부가 탐지를 회피하려는 동기를 가진 경우.
맞서는 힘(긴장)
- 설명 가능성·투명성 vs 적대적 이용자의 기준 역추적
- 이용자 자기확인 편의 vs 판정 기준 보호
- 행정 절차상 사유 고지 vs 탐지 성능 유지
해법
F9 판정 근거·기여도 표시를 역할별로 나눈다. 이용자 화면에는 '정상/위조의심'만 노출하고, 의심 부위·사유 코드·기여도 같은 세부 근거는 관리자 화면에만 보여 준다(근거 은닉, anti-oracle — 카탈로그가 S 계층 후보로 둔 반대편 부품). 관리자 화면 접근은 C8 권한 경계로 제한하고, '위조의심' 건은 C1 검토 큐에서 담당자가 세부 근거를 보고 확정한다. 이용자에게는 F7 한계·신뢰도 안내로 추가 확인 절차를 알리고, 반복 제출·판정 이력은 C4·S10에 남겨 역추적 시도를 탐지할 근거로 삼는다.
이럴 때 쓴다
- 진위·위조 판정 결과와 함께 세부 근거(의심 부위·사유 코드·점수)가 제출자 화면에 표시된다
- 제출자가 근거를 보고 수정해 반복 재제출할 수 있다
- 이용자 중 탐지 회피 동기를 가진 적대자가 있을 수 있다
- 관리자와 이용자의 판정 화면이 같다
이럴 때는 쓰지 않는다
- 내부 담당자만 쓰는 판독 도구로 제출자에게 결과가 노출되지 않는 경우
- 이용자가 적대자가 아닌 접점(예: 내부 품질 점검, 자기 서류 오류 안내)에서 F9로 근거를 보여 주는 경우 — 이때 F9는 정상 부품이다
- 이용자에게 '정상/위조의심'만 보여 주고 세부 근거는 관리자 화면에 둔 경우
얻는 것
- 투명성·설명 가능성 요구를 쉽게 충족한다
- 선의의 이용자가 오류를 스스로 고칠 수 있다
점검표
- 제출자 화면에 세부 판정 근거가 노출되지 않는가
- 세부 근거가 관리자 화면에서만 보이고 접근이 제한되는가
- 위조의심 건을 사람이 확정하는가
- 반복 재제출 이력이 기록되는가
구조 — 참여 부품
- F9 판정 근거·기여도 표시 — 적대적 접점에서 역할별로 나눠야 할 설명
- 근거 은닉(anti-oracle, S 후보) — 이용자에게는 판정만, 세부 근거는 관리자에게만
- C1 검토 큐 — 위조의심 건을 담당자가 세부 근거로 확정
- C8 권한 경계 — 관리자 화면 접근 제한
변형
- 의심 부위 표시형: 이용자 화면에 BBox·히트맵으로 위조 의심 부위를 표시
- 사유 코드 노출형: 반려 사유 코드·점수를 이용자에게 그대로 반환
- 무제한 재제출형: 근거를 보고 고쳐 무제한 재제출할 수 있어 기준 탐색이 가능
관련 부품
F9 교정 대상 — 적대적 접점에서 관리자 화면 전용으로 · C8 끼울 자리 — 관리자 화면 접근 제한 · C1 짝 — 위조의심 건의 사람 확정 · F7 이용자 쪽 대응 — 판정만 알리고 다음 절차 안내 · D3 발생 접점 — 자격·심사
참고 자료
카탈로그 §6 F9 카드(적대적 D3에서는 관리자에게만 노출)
실무 도입 카드
필요한 것
실행환경: 설치 필요 · 망 요건: 인터넷 필수 · 라이선스: MIT
첫 3단계
① 설치 파일·요구 사양 확인 → ② 개인 환경에서 기능 검증 → ③ 부서 공유 전 관리자 권한 확인
주의사항
실사용 피드백이 미확인입니다 — 도입 전 소규모 검증을 권합니다 · 성과 수치는 출처가 확인된 것만 신뢰하세요
전이 절차(보안검토→품의→배포)는 전이 플레이북을 참고하세요.