조례가 끌어다 쓴 상위 법률 조문이 개정으로 삭제되거나 번호가 밀려 지금은 다른 내용을 가리키는 곳을 찾아, 조례 원문과 현행 조문을 나란히 놓고 보여 주는 웹 페이지다. 판정 전용 모델로 이천여 인용을 훑어 의심 후보를 고르고, 추론 모델이 법령 개정 이력을 거슬러 인용 시점의 조문과 대조해 확정하는 두 층으로 돌렸다. 원문 대조로 확인한 서른 건만 헤드라인에 세고 기계 판정분은 따로 표시해 집계에서 뺐다.
사례 대상 바로가기 · 공유 링크 · 아카이브에서 보기
상세 정보
- 사례 성격
- 참고
- 출처 채널
- 오픈채팅
- 수집일
- 2026-09-21
- 태그
- #자치법규 #조례 #인용검증 #법령개정 #판정모델
- 실행 환경
- 브라우저만
- 망 요건
- 인터넷 필수
- 배포 환경
- 인터넷망
- AI 모델
- 혼합 — Jev(TypeSafe AI 판정 모델), Claude(대조·근거 작성)
- 링크 점검
- 정상 (2026-11-02)
4축 평가
| AX 단계 | AI-Enabled |
|---|---|
| 업무 범위 | S2 Workflow |
| 업무 완결성 | C2 부분 완결 |
| 권한(P축) | P1 산출물 생성(잠정) |
| 위험도 | R1 낮음 |
| 인간 통제 | H2 Human-in-the-loop |
| 증거 등급 | E2 화면·서비스 확인 |
| 신뢰도 | 중간 |
인용 추출 → 판정 모델 선별 → 개정 이력 대조 → 확정까지 이어져 S2 Workflow·C2이며 운영 화면을 열어 집계와 비교 화면을 확인해 E2다. 판정 모델이 고르고 추론 모델이 근거를 대조하는 두 층 구조와, 기계 판정분을 헤드라인 집계에서 빼고 원문 대조로 확인한 건만 세는 규율이 같은 연구원의 조례 인용 검증 실험(fdee8ff7)에서 실전으로 넘어온 자리다. 확정 30·오탐 38이라는 성적표를 스스로 공개했다.
디자인 패턴 분석
『모두의 공공AX 디자인 패턴』 카탈로그 v0.7.1 기준 — 사례를 기관이 함께 쓰는 AI 부품과 그 조립으로 읽은 결과입니다. · 패턴 성좌에서 전체 보기 ↗
업무 패턴 B4 인식 파이프라인 변형: 법령 인용 추출·대조 2층 판정(판정 모델 선별→추론 모델 개정이력 대조→원문 확인)
환경 축 배포:인터넷망 네트워크:인터넷 필수 모델:혼합 런타임:브라우저만 권한:P1 산출물 생성
- 제어 흐름(B′)
- B′1 순차 파이프라인
- 공통 서비스(A)
- A1 데이터 자산 서비스 A2.1 모델 서빙 · 상용 API 호출 A3 공공 API 제공자
- 운영(C)
- C1 검토 큐
- 신뢰할 수 없는 입력
- 조례 원문(타 기관 자치법규) · 법령 개정 이력 원문
- 상호작용(F)
- F1 출처 표시 F9 판정 근거·기여도 표시 F7 한계·신뢰도 안내
- 서비스 블록(D)
- D8.4 대조·점검
- 부품 배선
- A1 → B4 · A3 → B4 · A2.1 → B4 · B4 → B′1 · B4 → C1 · B4 → F1 · B4 → F9 · B4 → F7 · B4 → D8.4
- 참조 구현 후보
- C1 검토 큐 기계 판정 후보를 원문 대조로 확인한 건만 헤드라인에 세고 나머지는 분리 표기한, 법령 정합성 점검에서 사람 확정 게이트를 집계 규칙으로까지 연결한 사례
판정 근거
서울시 조례 942건의 법률 인용 2,996개를 현행 조문과 전수 대조해, 개정으로 삭제되거나 번호가 밀린 인용을 조례 원문·현행 조문 나란히 보여 주는 웹 페이지. 조례 텍스트에서 인용을 뽑아 판정 모델(Jev)로 의심 후보를 고르고 추론 모델(Claude)이 법령 개정 이력으로 인용 시점 조문과 대조해 확정하는, 비정형 입력→구조화→판정 연쇄라 B4(텍스트 변형), 두 층 고정 순서라 B′1. 두 모델 모두 상용 API라 A2.1, 법제처 국가법령정보(개정 이력) 활용 A3, 조례·인용 전수 데이터셋 A1. 원문 대조로 확인한 30건만 헤드라인에 세었으므로 사람 확정이 실제 수행된 C1 present. 원문·현행 조문 병치 F1, 건별 근거 작성 F9, 기계 판정분을 따로 표시해 집계에서 뺀 것은 신뢰도 안내 F7. 유형 7 필수 C5는 별도 시스템 필터가 없어 missing. model_dependency 혼합(원장). 민간 연구원 참고 사례라 개인 사용. URL 확인(서비스 페이지 방법론).
구현 가이드
주 패턴 B4 인식 파이프라인을 구현할 때
구현 단계
- 입력 종류와 추출할 필드, 필드별 기준정보(대장·코드표)를 정의한다.
- 인식 단계는 정형 출력(JSON 스키마)만 내게 하고, 판정·산수는 규칙 단계로 분리한다(B′9).
- 신뢰도 임계와 보류 조건을 정해 C1 검토 큐로 보내고, C3로 재처리 경로를 둔다.
- E5 민감 서류면 행정망 + 로컬 모델로 두고, 제출 서류를 읽는 P2 이상 구성은 S6 문서별 격리를 둔다.
- C9 시험 세트로 필드별 정확도를 재고 C4로 보류율·수정률을 집계한다.
점검표
- 인식과 판정이 서로 다른 단계로 분리되어 있는가
- 저신뢰 건이 보류되어 사람에게 가는가
- 오인식 건을 되돌리는 경로가 있는가(C3)
- 필드별 정확도를 잰 시험 세트가 있는가
환경 조건
E5 민감 서류면 E1 행정망 + A2 로컬(Whisper 로컬 등). E4는 P1~P2이며, 건별 검수 없이 운영 DB로 직행하면 P2, 승인·반려에 직결되면 P3다. 제출 서류는 신뢰 불가 입력이므로 P2 이상이면 S6 문서별 격리 + 규칙 집계가 필수다(§7.4 유형 ②).
주의할 점
- 오인식이 판정으로 번질 위험(C3 필수)
- 민감 서류는 로컬 모델 제약
- 제출 서류 속 숨은 지시로 판정이 조작될 위협
기본 배선 예
A10 → B4 (B′1 → B′9) → C1 → D3 · B4 → C3 (재처리)
보완이 필요한 필수 부품
이 조합에서 카탈로그가 함께 갖추라고 권하는 부품 가운데 아직 확인되지 않은 것이다.
- C5 가드레일 필터 개인정보·환각·편향·형식 오류가 프롬프트나 산출물에 들어가지 못하게 시스템이 경계에서 걸러낸다. 비식별 전처리, 출처 검증, 구조적 출력 제약이 대표 변형이다.
피해야 할 안티패턴
- X13 도구 출력이 지시가 되는 에이전트 검색 결과·첨부·API 응답을 읽은 모델이 그 안의 문장을 새 명령으로 받아 도구를 부르는 구조를, 탐지 필터 하나로 지키려는 함정이다. 대처: 과제의 AI가 읽는 입력 중 기관 밖에서 작성된 것을 untrusted_inputs로 나열하고, §4.2 신뢰 불가 입력 규칙대로 S4 행동 선택기(미리 정한 행동 중 선택만, 결과가 LLM으로 돌아가지 않음), S5 계획 후 실행(외부 데이터를 읽기 전에 도구 호출 계획을 고정), S6 격리 LLM(도구 있는 LLM은 외부 데이터를 읽지 않고, 읽는 LLM은 도구가 없음) 중 하나를 갖춘다. S3 컨텍스트 방화벽과 S8 독립 검증기는 보조로 붙이되 S8만으로는 규칙을 충족하지 못한다. C8 승인 게이트도 신뢰 불가 입력 규칙의 대체 통제로 인정되지 않는다(R6). 그 전 단계에서는 E4를 P0~P1 읽기·산출물 범위에 묶어 두는 것이 곧 보안이다.
- X16 기준을 노출하는 위조 탐지 진위 판정 근거를 이용자 화면에 그대로 보여 줘 위조범이 탐지 기준을 역추적하게 만드는 함정이다. F9 근거 표시가 적대적 접점에서는 취약점이 된다. 대처: F9 판정 근거·기여도 표시를 역할별로 나눈다. 이용자 화면에는 '정상/위조의심'만 노출하고, 의심 부위·사유 코드·기여도 같은 세부 근거는 관리자 화면에만 보여 준다(근거 은닉, anti-oracle — 카탈로그가 S 계층 후보로 둔 반대편 부품). 관리자 화면 접근은 C8 권한 경계로 제한하고, '위조의심' 건은 C1 검토 큐에서 담당자가 세부 근거를 보고 확정한다. 이용자에게는 F7 한계·신뢰도 안내로 추가 확인 절차를 알리고, 반복 제출·판정 이력은 C4·S10에 남겨 역추적 시도를 탐지할 근거로 삼는다.
관련 가이드라인
이 사례가 쓰는 부품과 이어지는 공공 AX 안내서·지침이다 (부록 E 공공 AX 가이드라인 문서 해설 기준, 겹치는 부품이 많은 순).
- 공공부문 데이터 분석 업무 운영 가이드 이 사례와 겹치는 부품 A1 데이터 자산 서비스 F9 판정 근거·기여도 표시쓰는 작업: AI가 예측이나 추천을 내는 사업, 또는 분석 결과가 정책 결정으로 들어가는 사업에서 분석 담당자는 이 절차를 작업 절차서의 뼈대로 삼는다. 분석 결과를 정책 보고서로 옮기는 해석 단계의 점검은 AI 산출물 검토에도 그대로 들어맞는다.주의: AI 전용 문서가 아니다. 모델 보안이나 개인정보 처리는 아래 KISA·개보위 문서로 따로 채운다.
- 공공데이터의 인공지능 친화적 관리 가이드라인 이 사례와 겹치는 부품 A1 데이터 자산 서비스 A3 공공 API 제공자쓰는 작업: 데이터 담당 부서가 공공데이터나 내부 문서를 RAG 지식베이스와 API로 내놓기 전에 편다. 데이터 개방 계획서의 메타데이터 항목, 지식베이스에 넣을 문서의 형식 변환 기준, 데이터 품질 점검표를 이 문서로 쓴다. 공공 API를 MCP 서버로 감싸려는 담당자에게도 기본 문서다.주의: NIA가 v1.1 개정을 공지했으므로 내려받은 파일의 판을 확인한다.
- 공공기관 신뢰가능 AI 구현 실용가이드 이 사례와 겹치는 부품 C1 검토 큐 F7 한계·신뢰도 안내쓰는 작업: 기관 AI 윤리 지침이나 내부 거버넌스 규정을 처음 만드는 기획 부서가 원칙의 뼈대를 잡을 때 참고한다. 인간개입과 고객소통 항목은 검토 절차와 이용자 안내 문구를 설계하는 데 아직 쓸 만하다.주의: 생성형 AI 이전 문서다. PAX 목록은 원칙 참고용이며 구축 절차는 최신 문서를 우선하라고 적었다.
- 금융분야 인공지능 가이드라인 이 사례와 겹치는 부품 C1 검토 큐 F9 판정 근거·기여도 표시쓰는 작업: 금융 업무에 AI를 쓰는 기관의 내부 AI 규정과 위원회 구성을 정할 때 기본 문서다. 여신, 심사, 상담 업무의 AI 도입 계획서에 원칙별 이행 방안을 적는 근거가 된다.주의: 2021년 금융분야 인공지능(AI) 가이드라인(PAX 목록 표기는 AI 운영 가이드라인), 2022년 AI 개발·활용 안내서, 2023년 AI 보안 가이드라인을 통합·개정한 문서다. 구판 세 건은 신규 사업의 근거로 쓰지 않는다.
- 자동화된 결정에 대한 정보주체 권리 안내서 이 사례와 겹치는 부품 F9 판정 근거·기여도 표시 C1 검토 큐쓰는 작업: 자격 심사, 선정, 평가, 위험등급 부여처럼 국민의 권리·의무에 영향을 주는 결정에 AI를 쓰는 사업에서 쓴다. 기획 단계에서 자가진단표로 해당 여부를 판단하고, 해당하면 설명 요구와 검토 요구를 처리하는 절차를 설계에 넣는다.주의: AI기본법의 고영향 AI 판단과는 근거 법이 다르다. 두 판단을 각각 기록한다.
- 인공지능 투명성 확보 가이드라인 이 사례와 겹치는 부품 F7 한계·신뢰도 안내 F1 출처 표시쓰는 작업: 국민이 쓰는 챗봇이나 AI가 만든 안내문·이미지를 내보내는 서비스에서, 화면 문구와 생성물 표시 방식을 정할 때 쓴다. 화면 설계서의 고지 문구 칸이 이 문서에서 나온다.주의: 문서 원문의 구체 의무 범위는 게시물 첨부로 확인한다.
- 고영향 인공지능 사업자 책무 가이드라인 이 사례와 겹치는 부품 C1 검토 큐 F9 판정 근거·기여도 표시쓰는 작업: 고영향으로 판단된 사업은 설계 단계에서 책무 이행 계획을 세우며, 그 항목을 이 문서에서 가져온다. 사람의 감독 지점, 설명 제공 방식, 기록 보존을 설계서에 반영한다.주의: 구체 책무 항목은 첨부 원문으로 확인한다.
- 신뢰할 수 있는 인공지능 개발 안내서 이 사례와 겹치는 부품 F7 한계·신뢰도 안내 C1 검토 큐쓰는 작업: 개발사가 신뢰성 요구사항을 개발 산출물에 대응시킬 때, 발주 기관이 검증항목 일부를 인수 조건으로 고를 때 쓴다. 공공 서비스는 공공·사회 분야판을, 챗봇과 문서 생성은 생성 AI 분야판을 먼저 본다.주의: 배포 페이지에는 TTA 표기가 따로 보이지 않는다. 발행 기관은 PAX 목록의 표기를 따랐다. 67개 항목 전부를 인수 조건으로 넣으면 검수가 불가능해지므로, 사업 성격에 맞는 항목을 골라 넣는다.
같은 주 패턴(B4)을 쓰는 다른 사례
같은 업무 패턴으로 조립된 사례를 서비스 유형이 같은 것부터 모았다 외 14건. 구현할 때 비교해 볼 수 있다.
이 사례에 쓰인 패턴
B4 인식 파이프라인 업무 컴포넌트
서류·음성·영상·도면 같은 비정형 입력을 인식 → 구조화 → 판정으로 연쇄 처리해 사람이 옮겨 적던 단계를 없앤다.
PAX 사례 34건이 이 부품을 쓴다
맥락
접수·심사(유형 ②), 서류 진위확인, 민원 통화 정리, 실시간 자막, 원격탐사·도면 판독처럼 비정형 입력이 업무의 출발점인 경우에 쓴다. 민감 서류가 많아 행정망·로컬 모델 조건이 자주 붙는다.
맞서는 힘(긴장)
- 자동 연결의 효율 vs 오인식이 판정으로 번지는 위험
- 인식 정확도 vs 로컬 모델 제약(E1·E5)
- 단계 분리의 추적 용이성 vs 단계 간 지연
해법
인식(OCR·STT·비전·VLM)은 정형 필드만 내게 하고, 기준정보와의 대조·요건 판정은 규칙 단계가 맡는다(B′1 + B′9). 저신뢰·불일치 건은 보류해 C1 검토 큐로 보내고, 오인식은 C3 상태 머신으로 되돌린다. 공공 문서 형식은 A10으로 받으며 OCR·STT 엔진은 A2 공통 후보를 쓴다. 제출 서류처럼 신뢰 불가 입력을 읽고 시스템 쓰기가 있으면 문서별 격리(S6)로 서류 속 지시가 판정을 바꾸지 못하게 한다.
이럴 때 쓴다
- 비정형 입력을 사람이 옮겨 적는 단계가 업무의 병목일 때
- 추출값이 규칙 판정·다음 처리로 이어질 수 있을 때
- 유형 ② 접수·심사 자동화의 기본 조립일 때
이럴 때는 쓰지 않는다
- 추출 결과가 초안으로 멈추고 사람이 확정할 때(B1)
- 추출 뒤 질의응답이 핵심 산출물일 때(B3)
- 상시 관측 스트림 감시가 핵심일 때(B5)
얻는 것
- 옮겨 적기 단계 제거
- 판정 기준이 규칙으로 남아 설명 가능
- OCR·STT 엔진을 범정부 공통으로 공유 가능
점검표
- 인식과 판정이 서로 다른 단계로 분리되어 있는가
- 저신뢰 건이 보류되어 사람에게 가는가
- 오인식 건을 되돌리는 경로가 있는가(C3)
- 필드별 정확도를 잰 시험 세트가 있는가
구조 — 참여 부품
- A10 문서 형식 어댑터 — PDF·HWPX·이미지 입력
- A2 모델 서빙 계층 — OCR·STT·VLM 엔진
- 규칙 대조기 — 기준정보와 대조하고 요건을 판정
- C1 검토 큐 — 저신뢰·불일치 건 확인
- C3 상태 머신·롤백 — 오인식 되돌림·재처리
변형
- OCR·서류: 제출 서류 필드 추출·요건 검토
- STT·음성: 통화·회의 음성의 텍스트화와 키워드 추출
- 비전 판독·정량화: 결함·손상 판독과 정량화(R5)
- VLM 문서이해(단일 모델): VLM 하나로 문서 이해·추출(R5)
- 배치 원격탐사·시계열 차분: 항공·위성 영상의 회차 간 변화 판독(R5)
- 통역(STT→MT→TTS): 음성 인식·번역·합성 연쇄(R5)
- CAD·BIM 도면 파싱: 도면에서 구조 정보 추출(R5)
참조 구현 예
- PAX 경기도의회 실시간 자막 — 개인 개발 → 기관 도메인 정식 개통(카드 참조 구현)
관련 부품
B′1 기본 배선 — 순차 파이프라인 · B′9 배선 — 인식은 추출만, 판정은 규칙 · C3 First 관문 — 오인식 되돌림 · S6 보안 짝 — 제출 서류별 격리 처리 · F9 이용자 쪽 대응 — 판정 근거 표시(위조 탐지는 관리자에게만)
참고 자료
Heiland Workflow Pipeline·AI Pipeline·Multi-layer · GoF Chain of Responsibility
이 부품과 이어지는 가이드라인
B′1 순차 파이프라인 제어 흐름
한 단계의 출력을 다음 단계의 입력으로 넘기는 고정 순서 배선이다. 한 프롬프트에 많은 일을 몰아 시켜 품질이 떨어지는 문제를 막는다.
PAX 사례 109건이 이 부품을 쓴다
맥락
B4 인식 파이프라인의 기본 배선이며, B1·B0·B5 안에서도 흔하다. 단계 순서가 업무 절차로 미리 정해져 있고 AI가 순서를 고를 필요가 없을 때 쓴다.
맞서는 힘(긴장)
- 디버깅·출처 추적의 쉬움 vs 병렬화 불가로 인한 지연
- 단계 분리의 품질 이점 vs 단계가 늘수록 오류 누적
- 고정 순서의 예측 가능성 vs 예외 경로 처리의 경직성
해법
업무 절차를 단계로 나누고 각 단계의 입력·출력 형식을 정해 앞 단계 출력을 다음 단계에 넘긴다. 단계 사이에 형식 검증(스키마)을 두어 오류가 번지기 전에 멈추고, 멈춘 건은 C1 검토 큐나 C3 재처리로 보낸다. 판정·산수 단계는 가능한 한 규칙(B′9)으로 두고 모델은 추출·서술 단계만 맡긴다. 단계 순서를 AI가 바꿔야 한다면 B′8이나 B′7로 옮긴다.
이럴 때 쓴다
- 업무 절차가 고정 순서로 정해져 있을 때
- 각 단계를 따로 검증·추적해야 할 때(유형 ② 접수·심사, ⑧ 취합·변환)
- 단일 에이전트에서 시작하는 첫 배선일 때
이럴 때는 쓰지 않는다
- 하위 작업이 서로 독립이라 동시에 돌려야 지연이 줄 때(B′3)
- 입력에 따라 AI가 다음 도구를 골라야 할 때(B′7)
- 긴 업무를 계획부터 세워야 할 때(B′8)
얻는 것
- 디버깅과 출처 추적이 쉬움
- 단계별 품질 검증 가능
- 구현이 가장 단순
점검표
- 단계마다 입력·출력 형식이 정의되어 있는가
- 단계 사이 검증에서 실패하면 멈추는가
- 단계별 중간 결과를 추적할 수 있는가
구조 — 참여 부품
- 단계 처리기 — 각 단계에서 추출·변환·작성 수행
- 단계 간 형식 검증 — 다음 단계로 넘기기 전 스키마 확인
- C3 상태 머신·롤백 — 실패 단계 재처리
관련 부품
B4 기본 배선 — 인식 파이프라인 · B′8 대안 — 순서를 계획으로 정할 때 · B′9 짝 — 판정 단계를 규칙으로 · C3 기록처·되돌림 — 실패 단계 재처리
참고 자료
Google ADK #1 Sequential · Gulli ch.1 Prompt Chaining · Heiland Multi-layer · adaptive.live 프롬프트 체이닝
A1 데이터 자산 서비스 공통 서비스
흩어진 업무 기록을 정제·라벨링해 AI 부품이 붙여 쓸 수 있는 데이터셋·라벨·데이터 사전 형태의 기준선으로 제공한다.
PAX 사례 110건이 이 부품을 쓴다
맥락
학습 모델(A2.5·B2), 지식 접지(B3)의 코퍼스, 평가 세트(C9)의 정답 출처가 필요한 과제라면 모두 이 부품을 쓴다. 서비스 유형 5a·9·10·11에서는 필수 기반이다. 비LLM 규칙 기반 대민 안내에서는 A2를 거치지 않고 결정론 조회의 대상이 된다(R21).
맞서는 힘(긴장)
- 정제 품질 vs 구축 기간·라벨링 인력 비용
- 과제 전용 가공(빠름) vs 기관 공통 기준선(재사용)
- 데이터 활용 범위 vs 데이터 등급(E5) 보호
- 기준선 고정(재현성) vs 원천 갱신 반영
해법
원천 기록을 수집→정제(중복·결측 처리)→라벨링→정의 문서화 순으로 가공하고, 결과를 정제 데이터셋·라벨·데이터 사전의 세 산출물로 고정해 제공한다. 'N건→M건 정제'처럼 정제 전후 규모와 기준을 기록하고, 변수·테이블·인터페이스 정의서로 소비 부품이 같은 정의를 쓰게 한다. 기준선은 버전으로 관리해 C9 평가 세트의 정답 출처와 C6 재학습의 입력으로 재사용한다. 데이터 경계는 부품별로 두고(DB per Service), 타 기관 데이터와의 결합은 A4로 분리한다.
이럴 때 쓴다
- 예측·추천기(B2)나 비전 모델(A2.5)을 학습·재학습할 때
- 지식 접지(B3)의 코퍼스를 구축할 때
- 평가 세트(C9)의 정답 출처가 필요할 때
- 서비스 유형 5a-agg·9·10·11처럼 A1이 필수인 조립
이럴 때는 쓰지 않는다
- 공공 API 응답을 가공 없이 조회만 할 때(A3)
- 정제·정의 없이 파일을 올려 바로 검색하는 경우(태그 대상 아님)
- 타 기관 데이터 결합이 핵심일 때는 A4를 함께 태그해 계약·키 매핑을 따로 드러낸다
얻는 것
- 모델 교체와 무관하게 남는 기관 자산
- C9·C6·B3가 같은 기준선을 재사용
- 데이터 사전이 기관 간 표준 확산의 단위가 됨
점검표
- 정제 전후 규모와 정제 기준이 기록되어 있는가
- 데이터 사전(정의·단위·출처)이 있는가
- 기준선에 버전이 있고 평가용 분할이 학습용과 분리되어 있는가
- 데이터 등급(E5)에 맞는 가명·비식별 처리가 적용되었는가
구조 — 참여 부품
- 원천 시스템·기록 — 가공 전 업무 기록을 내주는 출처
- 정제·라벨링 파이프라인 — 중복 제거·결측 처리·라벨 부여·품질관리를 수행
- 데이터 사전 — 정의·단위·출처를 문서로 고정해 소비 부품이 같은 뜻으로 쓰게 함
- C9 평가 세트·회귀시험 — 기준선을 정답 출처로 사용
- A2.5 비LLM 학습 모델 — 기준선으로 학습·재학습하는 소비 부품
변형
- 학습데이터 구축형: 영상·이미지 등을 수집해 품질관리 단계(중복 제거·재라벨링·학습/검증/평가 분리)를 거쳐 학습 기준선으로 만든다.
- RAG 코퍼스 정본화형: 법령·규정 원문을 현행 시행본 기준으로 정본화하고 조문 구조·메타데이터를 부여해 색인한다.
- 지표 표준화형: 여러 자료원의 지표를 도메인별로 표준화하고 정의·단위·분모·결측·원본 링크를 메타데이터로 관리한다.
- 자동 피처 파이프라인형: 수집→정제→파생 변수 생성→자동 검증→담당자 승인을 주기 실행하고 승인만 사람에게 남긴다.
관련 부품
C9 소비처 — 기준선이 평가 세트의 정답 출처 · A4 짝 — 자기 기관 정제(A1)와 타 기관 결합(A4) · B3 소비처 — 지식 접지의 코퍼스 · C6 선행 — 재학습 입력이 되는 기준선 · A2.5 소비처 — 자체 학습 모델의 학습 데이터
참고 자료
computer.org 데이터 증강 · Heiland 데이터 계층 · Microservice 패턴 DB per Service · GoF Builder
이 부품과 이어지는 가이드라인
A2.1 모델 서빙 · 상용 API 호출 공통 서비스
GPT·Gemini·Claude·HyperCLOVA X·Upstage 등 상용 모델 API를 서빙 계층을 거쳐 호출해 자체 인프라 없이 최신 모델 성능을 쓴다.
PAX 사례 88건이 이 부품을 쓴다
맥락
E2는 해외 상용 API(또는 국산 상용 모델 API), E1은 인터넷망·클라우드다. E5 등급이 O이거나 비식별 후 전송해도 되는 업무에 맞는다. 대민 상담(B3)·코파일럿(B1)·콘텐츠 생성(B7)에서 흔하다.
맞서는 힘(긴장)
- 모델 성능·도입 속도 vs 데이터 반출·주권
- 종량 과금의 초기 저비용 vs 호출량 증가 시 비용 예측 어려움
- 벤더의 모델 개선 vs 예고 없는 품질 회귀
- 단일 API의 단순함 vs 장애 시 서비스 중단
해법
업무 코드는 서빙 계층만 부르고, 서빙 계층이 상용 API를 호출한다. 행정망 본문이 나가는 경로 앞에는 C5 비식별 전처리를 두고, 대체 모델을 등록해 C7 폴백을 건다(§5 매트릭스 E2 해외 상용 API 행). 모델 버전을 고정하고 모델·프롬프트·설정 조합을 릴리스처럼 관리해 업데이트 전후를 C9로 비교한다. 비용이 문제면 라우팅·캐싱으로 큰 모델 호출을 줄인다. E5가 S 이상이면 이 변형 단독으로는 안 되고 A2.4 내부망 프록시를 거친다.
이럴 때 쓴다
- 인터넷망·클라우드 환경이고 데이터 등급이 O이거나 비식별 후 전송 가능할 때
- PoC 초기에 모델 성능을 빠르게 확인해야 할 때
- 자체 GPU·운영 인력이 없을 때
이럴 때는 쓰지 않는다
- E1이 폐쇄망이면 조립 오류(A2.2·A2.4로)
- E5가 S 이상인데 내부망 프록시가 없을 때(A2.4 필수)
- 상시 서비스인데 대체 경로를 둘 수 없을 때
얻는 것
- 인프라 없이 최신 모델 성능
- 빠른 PoC
- 벤더의 지속적 개선
점검표
- 업무 코드가 상용 API를 직접 부르지 않는가
- 외부로 나가는 프롬프트에서 무엇이 걸러지는지 답할 수 있는가
- API 장애 시 대체 경로가 있는가
- 모델 버전과 호출당 비용·지연이 기록되는가
구조 — 참여 부품
- A2 서빙 계층 — 업무 코드 대신 상용 API를 호출하고 버전·사용량을 기록
- C5 가드레일(비식별 전처리) — 외부 전송 전 민감정보 제거
- 상용 모델 API — 기관 밖에서 추론을 수행
- C7 폴백 스위치 — API 장애·품질 저하 시 대체 모델·수동 처리로 전환
변형
- 해외 상용 API: GPT·Gemini·Claude 등이다. E2 값은 해외 상용 API.
- 국산 상용 API: HyperCLOVA X·Upstage 등 국내 사업자 API. 망·등급 조건은 해외와 같이 따진다.
- 구조화 호출: function calling·JSON Schema로 출력 형식을 고정해 부른다. 판정은 규칙 엔진에 남긴다.
관련 부품
C7 필수 짝 — 상용 API 의존이면 폴백 필수 · C5 선행 — 외부 전송 전 비식별 · A2.4 대안 — 행정망·민감 등급일 때 중계 경유 · C9 짝 — 모델 업데이트 회귀시험
참고 자료
Fowler Direct Prompting · InfoQ 모델 라우팅·캐싱 · Microservice 패턴 Circuit Breaker
이 부품과 이어지는 가이드라인
A3 공공 API 제공자 공통 서비스
정부·공공이 운영하는 모델·데이터·개발 도구(범정부 AI 공통기반, 모두의 AI 실험실, 공공데이터포털, 공공 깃랩)를 범정부 Provider로 소비한다.
PAX 사례 154건이 이 부품을 쓴다
맥락
모델·공공데이터·법령 원문·개발 환경을 공공 플랫폼에서 가져올 수 있다면 어느 과제든 해당한다. §7.1 2단계 '기반 부품은 새로 만들지 말고 Provider에서 먼저 찾는다'가 바로 이 부품을 가리킨다. 유형 7(대조·점검)에서는 법령·기준 출처를 대는 필수 기반이다.
맞서는 힘(긴장)
- 공통 Provider 재사용 vs 기관 고유 요구 반영
- 공공 API 가용성·갱신 주기 vs 서비스 신뢰성
- 인가·검증 절차의 통제 vs 에이전트 루프의 병목(PAX 공공API 진단)
해법
기반을 새로 만들기 전에 범정부 AI 공통기반(모델), 공공데이터포털·법령 API(데이터), 모두의 AI 실험실·공공 깃랩(개발·실험 환경)에서 먼저 찾아 소비한다. 인증은 GPKI·디지털원패스 같은 연합 신원(Federated Identity)으로 위임하고, 공공 API 응답은 출처·조회 시각과 함께 업무 부품에 넘긴다. 에이전트가 부를 수 있게 하려면 A8 MCP 서버로 감싸고, 결과를 재가공해 기준선으로 고정하면 A1을 더한다. 기관이 만든 도구는 공공 깃랩에 등재해 다음 기관의 Provider가 되게 한다.
이럴 때 쓴다
- 모델·데이터·개발 환경을 기관이 새로 만들려 할 때 — 먼저 Provider 확인
- 법령·기준 원문을 최신으로 대조해야 하는 유형 7
- 여러 부서가 같은 기반을 따로 만들고 있을 때(X3 교정)
이럴 때는 쓰지 않는다
- 필요한 모델·데이터가 공공 Provider에 없을 때(만들고 레지스트리에 올림)
- 타 기관 데이터를 계약·키 매핑으로 결합하는 경우는 A4
얻는 것
- 기관별 중복 구축 방지(X3 교정)
- 공인된 원천 데이터·모델 사용
- 등재를 통해 전이 경로 확보
점검표
- 같은 기반을 기관 안에서 따로 만들지 않았는가
- 공공 API 응답의 출처·조회 시각이 결과에 남는가
- API 장애·변경 시 어떻게 되는지 답할 수 있는가
- 만든 도구가 공공 깃랩 등에 등재되었는가
구조 — 참여 부품
- 공공 Provider — 범정부 AI 공통기반·공공데이터포털·모두의 AI 실험실·공공 깃랩
- 연합 신원 인증 — GPKI·디지털원패스 등으로 호출 주체를 확인
- 소비 부품(B·A2·A8) — Provider를 직접 만들지 않고 가져다 씀
- S1 AI 게이트웨이·단일 진입점 — 공공 인증을 위임받아 호출을 통제
변형
- 공공 모델 Provider: 범정부 AI 공통기반(HCX-GOV-THINK) 위에서 모델을 소비한다. 온나라 AI 문서 분배기가 공통기반 RAG 위에서 돈다.
- 공공 데이터·법령 Provider: 공공데이터포털 OpenAPI·법제처 API 등을 실서비스 파이프라인에 상시 연동한다.
- 개발·실험 환경 Provider: 모두의 AI 실험실·공공 깃랩에서 개발하고 결과물을 등재한다.
참조 구현 예
- PAX 온나라 AI 문서 분배기 — 범정부 공통기반 RAG 위에서 접수 문서 배분(§6 A3 카드)
- PAX ef389de4efadc258 — 법제처 API로 매일 최신성 검증(§13 A3)
- PAX 3d07b6da99f5e1ed — 직제·시행규칙을 법령 API로 파싱·결합, 시행일 스냅샷 비교(§13 A3)
관련 부품
A2.4 짝 — 공통기반 모델을 내부망에서 경유 · A8 감싸는 층 — 공공 API를 MCP 도구로 · S1 인증 위임 — 공공 인증을 단일 진입점에 · A7 등재처 — 자체 제작 도구를 공공 깃랩에 · A4 경계 — 계약 기반 결합
참고 자료
patterns.dev Provider 패턴 · Microservice 패턴 Federated Identity·Access Token · PAX 공공API 진단 보고서
이 부품과 이어지는 가이드라인
C1 검토 큐 운영 컴포넌트
AI 산출물이 다음 단계로 넘어가기 전에 사람이 맞고 틀림을 확인·수정·확정하는 대기열을 두어, 오류가 업무 결과로 흘러가지 않게 한다.
PAX 사례 46건이 이 부품을 쓴다
맥락
AI 산출물이 공문·처분·대민 안내·기록으로 이어지는 모든 B 부품(B1 코파일럿, B4 인식 파이프라인, B2 예측기, B7 콘텐츠 생성기 등). 이용자 본인이 최종 확정자인 자기서비스형 도구도 포함한다(R16).
맞서는 힘(긴장)
- 정확성·책임성 vs 처리 속도(전건 검토는 자동화 이득을 깎는다)
- 검토자의 숙련 vs 자동화 편향(AI 결과를 그대로 승인하는 경향)
- 전건 검토의 안전 vs 위험도별 분기(C2)로 가야 하는 효율 압력
해법
AI 산출물에 신뢰도·근거를 붙여 검토 대기열에 올리고, 검토자가 승인·수정·반려 중 하나를 고르게 한다. 수정·반려 내역은 C4 감사 로그에 남겨 수정률을 집계하고 C6 환류의 입력으로 쓴다. 검토 화면은 원문 위치·근거를 함께 보여 줘 확인 비용을 줄인다. 전건 검토로 시작하되, 수정률 실측이 쌓이면 C2 위험도 라우터로 저위험 건을 자동 종결하는 단계로 옮긴다.
이럴 때 쓴다
- AI 산출물이 공문·처분·대민 안내로 그대로 이어질 때
- E4가 P1 이상이고 되돌리는 데 사람 시간이 많이 드는 조치가 있을 때
- 서비스 유형 ② 접수·심사, ④ 기안 코파일럿, ⑥ 콘텐츠 제작, ⑦ 대조·점검, ⑩ 위험 예측, ⑪ 추천·매칭, ⑫ 개발 코파일럿처럼 C1이 필수인 유형
이럴 때는 쓰지 않는다
- B0 결정적 도구처럼 런타임 AI 산출물이 없을 때
- 쉽게 되돌릴 수 있고 저위험인 조치를 이미 C2로 자동 종결하도록 실측 근거를 갖춘 구간(전건 검토를 영원히 남기지 않는다)
얻는 것
- 오류가 업무 결과로 나가기 전에 차단
- 책임 소재가 명확해짐
- 수정 내역이 C4 지표와 C6 환류의 원천 데이터가 됨
점검표
- AI 산출물이 확정 전 상태로 머무는 지점이 명시되어 있는가
- 검토자와 승인·수정·반려 선택지가 정해져 있는가
- 검토 결정과 수정 내역이 로그로 남는가
- 실증 기간의 검토·수정 건수가 기록되어 있는가
- 전건 검토에서 분기로 옮길 조건이 정해져 있는가
구조 — 참여 부품
- 검토 대기열 — AI 산출물을 확정 전 상태로 보관하고 검토자에게 배정
- 검토자(담당자 또는 이용자 본인) — 승인·수정·반려를 결정하는 최종 책임자
- F2 편집 가능한 출력 — 검토자가 산출물을 직접 고치는 화면
- C4 감사 로그·지표 — 검토 결정과 수정 내역을 적재해 수정률로 집계
변형
- 전건 검토형: 모든 AI 산출물을 담당자가 확인·확정
- 예외 검수형: 정상 건은 일괄 승인하고 저신뢰 항목만 개별 검수하는 검수 UI
- 파이프라인 내장 관문형: 멀티에이전트·다단계 파이프라인의 각 관문에 승인·보완·재작성 선택지를 둠
- 자기서비스형: 이용자 본인이 최종 확정자인 HITL. 실제 운영 중이면 C1 present(R16)
- 심의 게이트: 팩트체크·법무·윤리처럼 제3자 전문가가 수행하는 승인 게이트
참조 구현 예
- PAX 9dc1a7081bc869b1 — 광진구 — 담당자·팀장 최종 판단 책임 등 4대 관리 원칙 명문화
관련 부품
C2 다음 단계 — 전건 검토에서 위험도 분기로 승급 · C1.2 변형 — 제3자 전문가 심의 게이트 · F2 이용자 쪽 대응 — 검토자가 직접 고치는 화면 · F6 이용자 쪽 대응 — 에이전트 행동 실행 전 확인 · C4 기록처 — 검토 결정·수정 내역 · C6 후속 — 수정 내역이 환류의 입력
참고 자료
Google ADK HITL · Gulli ch.13 Human-in-the-Loop · Towards AI 동기·비동기 HITL · Chain of Responsibility
이 부품과 이어지는 가이드라인
F1 출처 표시 상호작용 패턴
답변에 근거 문서·조문·통계표 ID를 붙여 이용자가 원문을 직접 확인할 수 있게 한다. C5 출처 검증의 이용자 면이다.
PAX 사례 87건이 이 부품을 쓴다
맥락
B3 지식 접지 상담, A8 공공데이터 MCP, 법령·통계·규정을 인용하는 모든 응답. 유형 ① 대민 상담, ⑤b 데이터 에이전트, ⑦ 대조·점검, ⑨ 인수인계(원문 위치).
맞서는 힘(긴장)
- 출처 상세도 vs 화면 복잡도
- 출처 표시 vs 실제 검증(표시만 하고 검증하지 않으면 잘못된 신뢰)
- 원문 링크의 신선도 vs 유지 비용
해법
답변의 각 주장에 근거 문서·조문 번호·통계표 ID·원문 위치를 붙이고, 원문으로 바로 이동하는 링크를 제공한다. 출처의 갱신 시각과 이용 조건을 함께 보여 오래된 자료를 현재로 오인하지 않게 한다. 표시되는 출처는 C5 출처 검증을 통과한 것이어야 한다.
이럴 때 쓴다
- B3 지식 접지 응답 전반
- 대민 서비스 D1~D7(F1·F2·F7이 최소 요건)
- 유형 ①⑤b⑦⑨처럼 F1이 필수인 유형
이럴 때는 쓰지 않는다
- 모델의 판정 근거(요인·BBox·사유 코드)를 보여 주려는 경우(F9)
- B0 결정적 도구로 원천 데이터를 그대로 보여 주는 경우(출처가 곧 화면)
얻는 것
- 이용자 신뢰 확보
- 원문 대조로 오류 발견
- 공식 판단 여부를 이용자가 스스로 확인
점검표
- 모든 답변에 출처가 붙는가
- 출처가 원본과 대조되는가
- 갱신 시각이 보이는가
- 이용자가 원문을 바로 열 수 있는가
구조 — 참여 부품
- C5 가드레일 필터 — 출처 검증
- 이용자 — 원문을 열어 대조
변형
- 문서·조문 인용: 근거 문서명과 조문 번호를 답변에 붙임
- 통계표 ID 인용: 통계 답변에 통계표 ID를 자동 인용(KOSIS MCP 방식)
- 출처·신선도 표시: 출처에 갱신 시각과 이용 조건을 함께 표시
참조 구현 예
- PAX Korean Stats MCP — KOSIS 통계를 자연어로, 출처 자동 인용
- PAX 224e2d82d9369735 — 모든 출처에 갱신 시각과 이용 조건을 함께 저장한 출처·신선도 표시
- PAX 9998aba2d1f55c24 — 항목별 법령·처분사례 원문 연계(F1)
관련 부품
C5 시스템 쪽 대응 — 출처 검증 · F7 짝 — 한계 안내와 함께 신뢰의 실체 · F9 구분 — 판정 근거 표시 · B3 끼울 자리 — 지식 접지 응답 · A3 출처 제공 — 공공 API 원문
참고 자료
aiuxpatterns Results · Show Citations
이 부품과 이어지는 가이드라인
F9 판정 근거·기여도 표시 상호작용 패턴
SHAP 요인 문장, 의심 부위 BBox, 판정 사유 코드, 자연어 판독 이유, 예측-실제 잔차로 모델이 왜 그렇게 판정했는지 보인다. B2·B4·B5의 필수 면이다.
PAX 사례 23건이 이 부품을 쓴다
맥락
B2 예측·추천기, B4 인식 파이프라인, B5 감지·경보. 유형 ③ 현장 감시, 5a 분석, ⑩ 위험 예측, ⑪ 추천·매칭(추천 사유). v0.6에서 추가.
맞서는 힘(긴장)
- 설명의 충실성 vs 이해 가능성
- 근거 공개 vs 적대적 이용자에게 탐지 기준 노출(X16)
해법
판정마다 기여 요인(SHAP)·의심 부위(BBox)·사유 코드·자연어 근거를 결과와 함께 보인다. 담당자가 근거를 열어 확인하고 최종 판단하게 한다. 위조 탐지처럼 적대적 이용자가 있는 D3 접점에서는 이용자에게 '정상/위조의심'만 보이고 세부 근거는 관리자 화면에만 둔다(근거 은닉).
이럴 때 쓴다
- B2·B4·B5의 판정 결과를 사람이 검토할 때
- 유형 ③⑤a⑩⑪처럼 F9가 필수인 유형
이럴 때는 쓰지 않는다
- 위조 탐지 등 적대적 이용자에게 근거를 그대로 보이는 경우(X16 — 관리자 전용으로)
- 문서 출처만 보이면 되는 지식 접지 응답(F1)
얻는 것
- 담당자가 판정을 검토할 근거
- 오판 원인 파악
- 추천·선별 결과의 설명 책임
점검표
- 판정마다 근거가 보이는가
- 적대적 접점에서 근거가 관리자에게만 노출되는가
- 최종 판단 주체가 명시되는가
구조 — 참여 부품
- A2.5 비LLM 학습 모델 서빙 — 판정과 기여도 산출
- 근거 표시 화면 — 요인·BBox·사유 코드 제시
- 담당자 — 근거를 보고 최종 판단
변형
- 요인 기여도: SHAP 등 요인 문장
- 위치 표시: 의심 부위 BBox
- 사유 코드·자연어 근거: 판정 사유 코드와 판독 이유 문장
- 관리자 전용 근거(근거 은닉): 적대적 접점에서 세부 근거를 관리자에게만 노출
참조 구현 예
- PAX 3b195a5faf820769 — 정비 대상 판정의 근거를 따로 열어 확인하게 하고 오류 가능성을 화면에 명시한 F9+F7 표준형
- PAX 8c461c4901e30775 — 실험마다 의도·판정 근거·실제 프롬프트를 함께 공개
관련 부품
F1 구분 — 문서 출처 · F7 짝 — F9+F7 표준형 · B2 끼울 자리 — 예측·추천기의 필수 면 · B′9 짝 — 판정 게이트의 근거 출력 · X16 안티패턴 — 적대적 접점의 근거 노출
참고 자료
카탈로그 v0.6 개정 F9 · aiuxpatterns Results
이 부품과 이어지는 가이드라인
F7 한계·신뢰도 안내 상호작용 패턴
AI가 무엇을 못 하는지, 얼마나 확신하는지, 공식 판단이 아님을 이용자가 볼 수 있는 곳에 적어 과신을 막는다.
PAX 사례 63건이 이 부품을 쓴다
맥락
대민 상담·안내(유형 ①), 대조·점검(⑦), 분석·예측(5a·⑩), 비식별 도구(⑬). 대체 경로로 운영 중인 C7 상황.
맞서는 힘(긴장)
- 정직한 한계 고지 vs 서비스 신뢰도 하락 우려
- 신뢰도 수치 표시의 정확성 vs 이용자 이해
해법
화면에 사용 한계(대상 범위·미검증 항목·처리 시간), 신뢰도, '공식 판단 아님' 고지를 결과 옆에 배치한다. 저신뢰 결과는 표시를 달리하고, C7 대체 경로로 운영 중이면 품질 저하를 알린다. 고지 문구는 법률 자문·유권해석을 대체하지 않는다는 점을 분명히 적는다.
이럴 때 쓴다
- 대민 서비스 D1~D7(F1·F2·F7 최소 요건)
- 유형 ①⑦5a⑩⑬처럼 F7이 필수인 유형
- C7 대체 경로 운영 중
이럴 때는 쓰지 않는다
- 유형 ①·⑦에서 model_dependency가 없음(비LLM)이면 필수에서 면제(R7). 단 비LLM 도구도 한계 고지는 권장된다
얻는 것
- 과신·오인 방지
- 기관 책임 범위 명확화
점검표
- 이용자가 '공식 판단이 아님'을 결과 화면에서 읽을 수 있는가
- 사용 한계가 명시되어 있는가
- 저신뢰 결과가 구분 표시되는가
구조 — 참여 부품
- 고지 문구 — 사용 한계·공식 판단 아님
- 신뢰도 표시 — 결과별 확신 수준
- C7 폴백 스위치 — 대체 경로 운영 여부 제공
변형
- 공식 판단 아님 고지: '유권해석 아님'·'참고용' 고지
- 신뢰도 표시: 결과별 신뢰도·등급 표시
- 미검증 항목 열거: 검증되지 않은 조건·처리 시간을 명시
참조 구현 예
- 소방기술민원 답변생성기 — '유권해석 아님' 고지
- PAX 9998aba2d1f55c24 — 비공식 참고 도구·공식 판단 아님 고지와 원문 연계를 함께 갖춘 자가점검 UI
- PAX 759835514b4b7ca4 — README가 미검증 항목을 열거하고 '최종 판단은 항상 사람' 고지
- PAX 6c0fa4c0c3508ff0 — 처리 시간과 라이선스 동의 절차를 정직하게 고지한 온디바이스 비전 도구
- PAX aef95509b7611c96 — 비LLM 스크리닝 도구가 실제 검토를 대체하지 않음을 화면에 명시
- PAX 0a2535cadf2d621a — 법률 자문·안전 인증을 대체하지 않는다는 한계 고지
관련 부품
C7 시스템 쪽 대응 — 대체 경로 운영 중 안내 · F1 짝 — 이용자 신뢰의 실체 · F9 짝 — 판정 근거와 함께 표시(F9+F7 표준형) · C5 짝 — 근거 없을 때의 동작
참고 자료
InfoQ Contextual Guidance · aiuxpatterns Inline Help
이 부품과 이어지는 가이드라인
D8.4 대조·점검 서비스 블록
법령·규정·서식·인용·근태·보안 기준과 대조해 확인할 대상을 먼저 골라 주는 내부 운영 블록이다. "최종 판단은 사람"이 가장 자주 붙는다.
PAX 사례 81건이 이 부품을 쓴다
맥락
기관 내부 문서·자료를 기준과 대조하는 업무. §7.3 유형 ⑦ 대조·점검 도우미(D8.4, P0~P1)와 유형 ⑩ 위험 예측·표적 선별(D6·D3·D8.4)의 무대. PAX 81건(주 부품 B0 73%, B1 12%), 감사·법무 25건·문서·기안 12건.
맞서는 힘(긴장)
- 점검 범위 확대 vs 오탐으로 인한 확인 부담
- 규칙 점검의 결정성 vs LLM 대조의 유연성
- 점검 대상이 점검기를 속이는 위협 vs 자동 점검
- 출처 대조의 엄격성 vs 원문 접근 권한(공공 API 인가)
해법
기준이 규칙으로 옮겨지면 B0 규칙 점검기로, 해석이 필요하면 B3 법령 접지로 대조한다. 기준 원문은 A3 공공 API(법령·판례)에서 가져와 C5 출처 검증으로 인용이 실제 원문과 일치하는지 확인한다. 결과는 판정이 아니라 "확인할 대상 목록"으로 내고, C1으로 "최종 판단은 사람"을 명시하며, F7 한계와 F1 출처를 붙인다. 점검 대상 문서·코드가 점검기를 속이지 못하게 대상별 격리(S6)나 고정 규칙 실행(S4)을 쓰고, 코드 점검이면 S9 샌드박스를 둔다. C9 평가 세트로 누락률을 잰다.
이럴 때 쓴다
- 문서·자료를 법령·규정·서식과 한 줄씩 대조하는 업무
- 인용·근거가 원문과 맞는지 확인해야 할 때
- 점검 대상이 많아 확인 대상을 먼저 좁혀야 할 때
이럴 때는 쓰지 않는다
- 국민 신청 건의 자격 판정이면 D3
- 현장 시설을 관측해 점검하면 D6
- 대조 없이 자료를 찾아 보여 주면 D8.1
얻는 것
- 대조 시간 단축과 누락 감소
- 사람 판단을 확인 대상에 집중
- 인용 오류의 사전 차단
점검표
- 결과가 판정이 아닌 확인 대상으로 표시되는가
- 근거 원문 출처가 연결되는가
- 누락률을 평가 세트로 재는가
- 점검 대상 속 문장이 점검 결과를 바꾸지 못하는가
구조 — 참여 부품
- 담당자 — 확인 대상을 검토해 최종 판단
- B0 결정적 도구(규칙 점검기) — 규칙화된 기준으로 대조
- B3 지식 접지 상담 — 법령·규정에 접지해 해석 대조
- A3 공공 API 제공자 — 법령·판례 원문 제공
- C5 가드레일·출처 검증 — 인용을 원문과 대조
- C1 검토 큐 — 최종 판단은 사람
변형
- 규칙 점검기형: B0로 서식·근태·보안 기준을 결정적으로 대조(Attendance Checker).
- 법령 접지 대조형: B3가 법령·규정에 접지해 해석 필요 항목을 대조(Legal Reviewer).
- 인용 검증형: 보고서·논문의 법령·판례·문헌 인용을 원본과 대조(paper-verify).
- 표적 선별형: B2 위험 예측이 점검 대상을 좁힘(유형 ⑩, B′9).
참조 구현 예
- paper-verify — 카탈로그 D8.4 카드·§7.3 유형 ⑦ 참조 구현: 인용을 원본과 대조
- 민원 답변 작성 스킬 팩 — 카탈로그 D8.4 카드 예
- Attendance Checker — §7.3 유형 ⑦ 참조 구현
- Legal Reviewer — §7.3 유형 ⑦ 참조 구현
관련 부품
C1 필수 통제 — 최종 판단은 사람 · C5 필수 통제 — 출처 검증 · A3 필수 기반 — 법령·기준 출처 · D3 대민 버전 — 자격·심사 · S6 필수 보안 — 대상별 격리
참고 자료
카탈로그 §7.3 유형 ⑦·⑩ · 카탈로그 §7.4 유형 ⑦ 위협 모델
C5 가드레일 필터 운영 컴포넌트
개인정보·환각·편향·형식 오류가 프롬프트나 산출물에 들어가지 못하게 시스템이 경계에서 걸러낸다. 비식별 전처리, 출처 검증, 구조적 출력 제약이 대표 변형이다.
PAX 사례 44건이 이 부품을 쓴다
맥락
외부 모델을 부르거나 대민에 답하는 모든 B 부품. 특히 E2 해외 상용 API, E5 S 이상 데이터, B3 지식 접지 상담, 유형 ① 대민 상담, ④ 기안, ⑥ 콘텐츠, ⑦ 대조·점검, ⑨ 인수인계, ⑬ 비식별·정제 도구.
맞서는 힘(긴장)
- 차단의 엄격함 vs 과잉 차단으로 인한 유용성 저하
- 비식별 강도 vs 문맥 보존
- 결정적 검증의 신뢰성 vs 구현 범위
해법
프롬프트가 기관 밖으로 나가기 전 PII를 마스킹하고 원복 키를 보관하는 비식별 전처리기를 둔다. 응답에는 인용을 원본(법령정보센터·통계표 등)과 대조하는 출처 검증기와, JSON 스키마·허용 목록 같은 구조적 출력 제약을 건다. 근거가 없으면 답하지 않거나 '확인 필요'로 표시한다. 차단 사유는 C4에 남기고, 이용자에게는 F1 출처와 F7 한계 안내로 보인다. 사람이 하는 팩트체크·법무 심의는 C5가 아니라 C1.2에 둔다.
이럴 때 쓴다
- E2 해외 상용 API로 행정망 본문이 외부로 나갈 때(필수)
- E5 S 이상 개인정보·민감정보를 다룰 때
- B3 대민 응답처럼 인용·수치의 정확성이 신뢰의 핵심일 때
- C5가 필수인 유형 ①④⑥⑦⑨⑪⑬
이럴 때는 쓰지 않는다
- E1 로컬 PC 완결로 데이터가 밖으로 나가지 않을 때 비식별은 불필요해질 수 있다(§5 매트릭스, 단 출처 검증은 별개)
- 사람이 수행하는 심의만 있을 때(C1.2로 태그)
- 적대적 입력 탐지가 목적일 때(S8)
얻는 것
- 개인정보 외부 유출 차단
- 환각 인용 감소
- 상용 API 사용 조건 충족
점검표
- 외부 전송 전 무엇이 걸러지는지 답할 수 있는가
- 인용이 원본과 대조되는가
- 근거 없을 때의 동작이 정해져 있는가
- 차단 사유가 기록되는가
구조 — 참여 부품
- 비식별 전처리기 — 외부 전송 전 PII 마스킹과 원복
- 출처 검증기 — 인용을 원본과 대조해 환각을 걸러냄
- 출력 제약 — 스키마·허용 목록·금칙어로 출력 형식 제한
- F1 출처 표시 — 검증된 출처를 이용자에게 보임
변형
- 로컬 비식별 전처리기: 외부 전송 전 PII 마스킹·원복(PAX에서 독립 부품으로 확인)
- 출처 검증기: 인용을 법령정보센터·KCI·CrossRef 원본과 대조
- 구조적 출력 제약·스키마 검증: JSON 스키마·허용 목록으로 출력 범위를 고정(v0.6 식별 신호 추가)
- 근거 재대조형 환각 검증: 추출값의 근거 문장을 원문에서 재대조해 '문서확인/AI추정/문서에없음'으로 재분류
참조 구현 예
- PAX Korean Stats MCP — KOSIS 통계 출처 자동 인용
관련 부품
F1 이용자 쪽 대응 — 검증된 출처 표시 · F7 이용자 쪽 대응 — 근거 없을 때 한계 안내 · A2.4 짝 — 민감정보 외부 유출 대응 · C1.2 구분 — 사람이 하는 심의 · S8 구분 — 적대적 입력 탐지 · S13 변형 후보 — 로컬 비식별 게이트
참고 자료
Fowler Guardrails · InfoQ Output Guardrails·Model Critic · Gulli ch.18 Guardrails · Heiland 규칙 기반 안전장치 · Proxy · Decorator
이 부품과 이어지는 가이드라인
X13 도구 출력이 지시가 되는 에이전트 안티패턴
검색 결과·첨부·API 응답을 읽은 모델이 그 안의 문장을 새 명령으로 받아 도구를 부르는 구조를, 탐지 필터 하나로 지키려는 함정이다.
맥락
E4가 P2 이상(시스템 쓰기·처분 보조)이면서 민원 입력·제출 서류·웹 문서·타 기관 API 응답 같은 신뢰 불가 입력을 읽는 에이전트. 특히 B6·5b 데이터 에이전트.
맞서는 힘(긴장)
- 범용 에이전트의 유연성 vs 신뢰 불가 입력 뒤의 행동 제약
- 단일 LLM 구조의 단순함 vs 격리·계획 고정의 설계 비용
- 탐지 필터의 손쉬움 vs 증명 가능한 보증
해법
과제의 AI가 읽는 입력 중 기관 밖에서 작성된 것을 untrusted_inputs로 나열하고, §4.2 신뢰 불가 입력 규칙대로 S4 행동 선택기(미리 정한 행동 중 선택만, 결과가 LLM으로 돌아가지 않음), S5 계획 후 실행(외부 데이터를 읽기 전에 도구 호출 계획을 고정), S6 격리 LLM(도구 있는 LLM은 외부 데이터를 읽지 않고, 읽는 LLM은 도구가 없음) 중 하나를 갖춘다. S3 컨텍스트 방화벽과 S8 독립 검증기는 보조로 붙이되 S8만으로는 규칙을 충족하지 못한다. C8 승인 게이트도 신뢰 불가 입력 규칙의 대체 통제로 인정되지 않는다(R6). 그 전 단계에서는 E4를 P0~P1 읽기·산출물 범위에 묶어 두는 것이 곧 보안이다.
이럴 때 쓴다
- E4가 P2 이상이고 untrusted_inputs가 비어 있지 않은데 S4·S5·S6이 모두 없다(신뢰 불가 입력 규칙 위반)
- 외부 문서를 읽는 LLM이 같은 컨텍스트에서 쓰기 도구를 호출할 수 있다
- 인젝션 대책이 탐지 필터·프롬프트 경고문뿐이다
- 읽은 텍스트 중 어떤 것이 어떤 도구를 부를 수 있는지 답하지 못한다
이럴 때는 쓰지 않는다
- E4가 P0~P1로 읽기·산출물 생성에만 묶여 도구 호출·시스템 쓰기가 없는 경우(S4·S5·S6 판정 전제 불충족, R6)
- S4·S5·S6 중 하나가 구조적으로 갖춰진 경우(보안 목적 서술이 없어도 구조가 일치하면 충족)
- AI가 읽는 입력이 모두 기관 내부에서 작성된 경우
얻는 것
- 단일 LLM 범용 에이전트로 구조가 단순하다
- 새 입력·새 도구를 자유롭게 붙인다
점검표
- untrusted_inputs가 나열되어 있는가
- 신뢰 불가 입력을 읽은 LLM이 쓰기 도구를 직접 부를 수 없는가
- S4·S5·S6 중 하나가 구조로 구현되어 있는가
- S8 탐지를 유일한 방어로 두지 않았는가
구조 — 참여 부품
- S4 행동 선택기 — LLM이 정해진 행동 중 선택만 하게 제약
- S5 계획 후 실행·코드 후 실행 — 외부 데이터를 읽기 전에 도구 계획 고정
- S6 격리 LLM·맵리듀스 — 읽는 LLM과 도구 있는 LLM을 분리
- S8 독립 검증기·이중 심판 — 보조 탐지. 단독으로는 보증이 아님
변형
- 문서 속 지시: 첨부·제출 서류 안의 문장대로 에이전트가 도구를 호출
- API 응답 오염: 타 기관 API·웹 검색 결과에 섞인 지시가 후속 행동을 바꿈
- 탐지 단독 방어: 인젝션 탐지 필터(S8) 하나만 두고 구조적 제약이 없음
관련 부품
S6 대체 — 읽는 LLM과 도구 있는 LLM 격리 · S5 대체 — 외부 데이터 읽기 전 계획 고정 · S4 대체 — 정해진 행동 중 선택만 · S3 보조 — 신뢰 구역 분리 표기 · S8 보조 — 탐지(단독으로는 보증 아님) · S10 기록처 — 사고 재현
참고 자료
Beurer-Kellner 외(2025) 지도 원칙 '신뢰 불가 입력을 읽은 뒤에는 그 입력이 결과적 행동을 촉발할 수 없도록 제약' · Beurer-Kellner #1 Action-Selector, #2·#5 Plan-Then-Execute, #3·#4 Dual LLM
이 부품과 이어지는 가이드라인
X16 기준을 노출하는 위조 탐지 안티패턴
진위 판정 근거를 이용자 화면에 그대로 보여 줘 위조범이 탐지 기준을 역추적하게 만드는 함정이다. F9 근거 표시가 적대적 접점에서는 취약점이 된다.
맥락
D3 자격·심사, D2 접수·제출에서 제출 서류·이미지의 진위를 판정하는 B4 인식 파이프라인·B2 분류기. 이용자 중 일부가 탐지를 회피하려는 동기를 가진 경우.
맞서는 힘(긴장)
- 설명 가능성·투명성 vs 적대적 이용자의 기준 역추적
- 이용자 자기확인 편의 vs 판정 기준 보호
- 행정 절차상 사유 고지 vs 탐지 성능 유지
해법
F9 판정 근거·기여도 표시를 역할별로 나눈다. 이용자 화면에는 '정상/위조의심'만 노출하고, 의심 부위·사유 코드·기여도 같은 세부 근거는 관리자 화면에만 보여 준다(근거 은닉, anti-oracle — 카탈로그가 S 계층 후보로 둔 반대편 부품). 관리자 화면 접근은 C8 권한 경계로 제한하고, '위조의심' 건은 C1 검토 큐에서 담당자가 세부 근거를 보고 확정한다. 이용자에게는 F7 한계·신뢰도 안내로 추가 확인 절차를 알리고, 반복 제출·판정 이력은 C4·S10에 남겨 역추적 시도를 탐지할 근거로 삼는다.
이럴 때 쓴다
- 진위·위조 판정 결과와 함께 세부 근거(의심 부위·사유 코드·점수)가 제출자 화면에 표시된다
- 제출자가 근거를 보고 수정해 반복 재제출할 수 있다
- 이용자 중 탐지 회피 동기를 가진 적대자가 있을 수 있다
- 관리자와 이용자의 판정 화면이 같다
이럴 때는 쓰지 않는다
- 내부 담당자만 쓰는 판독 도구로 제출자에게 결과가 노출되지 않는 경우
- 이용자가 적대자가 아닌 접점(예: 내부 품질 점검, 자기 서류 오류 안내)에서 F9로 근거를 보여 주는 경우 — 이때 F9는 정상 부품이다
- 이용자에게 '정상/위조의심'만 보여 주고 세부 근거는 관리자 화면에 둔 경우
얻는 것
- 투명성·설명 가능성 요구를 쉽게 충족한다
- 선의의 이용자가 오류를 스스로 고칠 수 있다
점검표
- 제출자 화면에 세부 판정 근거가 노출되지 않는가
- 세부 근거가 관리자 화면에서만 보이고 접근이 제한되는가
- 위조의심 건을 사람이 확정하는가
- 반복 재제출 이력이 기록되는가
구조 — 참여 부품
- F9 판정 근거·기여도 표시 — 적대적 접점에서 역할별로 나눠야 할 설명
- 근거 은닉(anti-oracle, S 후보) — 이용자에게는 판정만, 세부 근거는 관리자에게만
- C1 검토 큐 — 위조의심 건을 담당자가 세부 근거로 확정
- C8 권한 경계 — 관리자 화면 접근 제한
변형
- 의심 부위 표시형: 이용자 화면에 BBox·히트맵으로 위조 의심 부위를 표시
- 사유 코드 노출형: 반려 사유 코드·점수를 이용자에게 그대로 반환
- 무제한 재제출형: 근거를 보고 고쳐 무제한 재제출할 수 있어 기준 탐색이 가능
관련 부품
F9 교정 대상 — 적대적 접점에서 관리자 화면 전용으로 · C8 끼울 자리 — 관리자 화면 접근 제한 · C1 짝 — 위조의심 건의 사람 확정 · F7 이용자 쪽 대응 — 판정만 알리고 다음 절차 안내 · D3 발생 접점 — 자격·심사
참고 자료
카탈로그 §6 F9 카드(적대적 D3에서는 관리자에게만 노출)
실무 도입 카드
필요한 것
실행환경: 브라우저만 · 망 요건: 인터넷 필수
첫 3단계
① 링크 접속 → ② 내 업무 데이터로 시험 → ③ 동료와 결과 검증
주의사항
실사용 피드백이 미확인입니다 — 도입 전 소규모 검증을 권합니다 · 성과 수치는 출처가 확인된 것만 신뢰하세요
전이 절차(보안검토→품의→배포)는 전이 플레이북을 참고하세요.