paper-verify — 보고서·논문의 법령·판례·문헌 인용을 원본과 대조하는 Claude Code 스킬

사람이 하던 문서·판단 작업 옆에 AI가 초안·요약·검토안을 놓고, 사람이 고쳐서 확정한다.

PAX 사례 111건이 이 부품을 쓴다

맥락

문서·기안·검토의견처럼 산출물 형식이 정해져 있고 최종 확정자가 사람인 업무에 쓴다. BYO 코딩 에이전트와 A9 스킬을 쓰는 스킬 코파일럿이 PAX 자생 도구에 많다.

맞서는 힘(긴장)

• 초안 속도 vs 전건 검토에 드는 사람 시간
• 상용 모델 품질 vs 행정망·민감정보 제약(E1·E5)
• 양식 일관성(A9 규범) vs 사안별 유연성

해법

업무 서식과 참고 자료를 입력으로 받아 모델(A2 또는 BYO 구독)이 초안·근거·신뢰도를 내고, 사람이 편집 가능한 형태(F2)로 받아 고쳐서 확정한다. 보고서 구조·문체·검증 절차는 A9 규범 스킬로 코드 밖에 두고, 공공 문서 형식은 A10 어댑터로 입출력한다. 확정 전 검토는 C1 검토 큐로 운영하고 수정 내역을 C4·C6의 입력으로 남긴다. First로 가려면 저위험 건을 C2로 자동 확정하는 분기를 더한다.

이럴 때 쓴다

• 산출물 형식이 정해진 문서를 반복 작성할 때
• 최종 판단과 책임이 사람에게 남아야 할 때(P1 산출물 생성)
• 유형 ④ 내부 문서·기안, 유형 ⑫ 개발 코파일럿의 기본 조립일 때

이럴 때는 쓰지 않는다

• 답이 기관 규정·선례 속에 있어 접지와 출처가 핵심일 때(B3)
• 추출 결과가 사람 확정 없이 다음 판정 단계로 흐를 때(B4)
• 런타임에 모델이 필요 없는 정형 취합일 때(B0)

얻는 것

• 문서 작성 시간 단축
• 책임 소재가 사람에게 명확히 남음
• 도입이 쉬워 Enabled의 전형 경로

점검표

• 담당자가 최종 확정한다는 절차가 운영되는가
• 서식·문체 규범이 A9 스킬로 분리되어 있는가
• 초안을 이용자가 직접 고칠 수 있는가(F2)
• 수정 내역이 기록되어 품질 개선에 쓰이는가

구조 — 참여 부품

• A2 모델 서빙 계층 — 초안 생성 모델 호출(행정망이면 내부망 프록시)
• A9 업무 규범 스킬 — 서식·문체·검증 절차를 프롬프트 템플릿으로 고정
• A10 문서 형식 어댑터 — HWPX·엑셀 입출력
• C1 검토 큐 — 담당자가 초안을 확인·수정·확정
• 담당자 — 최종 확정자이자 책임자

변형

• 시스템 내장형: 기관 업무 시스템 안에 초안 기능을 넣은 형태
• 스킬 코파일럿: BYO 코딩 에이전트 + A9 스킬로 배포되는 형태(PAX Enabled 사례에서 가장 흔한 형태)

참조 구현 예

• PAX gov-report-skill — 기획보고서 7대 항목 스킬 코파일럿(카드 참조 구현)

관련 부품

C1 짝 — 사람 확정 절차 · F2 이용자 쪽 대응 — 편집 가능 출력은 B1의 필수 면 · A9 끼울 자리 — 서식·규범 스킬 · B′5 기본 배선 — 유형 ④·⑫ 조립 템플릿의 생성자-비평가 · C2 다음 단계 — 저위험 자동 확정으로 First · B3 승급 경로 — §7.2 진행 경로 1 → 4

참고 자료

Fowler Direct Prompting · InfoQ Editable Output · GoF Decorator

이 부품과 이어지는 가이드라인

• 챗GPT 활용방법 및 주의사항 안내 행정안전부, 2023.5. 공식 게시물 미확인(당시 보도로만 확인).
• 생성형 AI 서비스 이용자를 위한 개인정보 보호 가이드 개인정보보호위원회, 2026.5(게시 2026.5.19).

웹북에서 전체 프로필 보기 ↗ · 패턴 성좌 디렉터리에서 보기 ↗

생각 → 도구 호출 → 관찰 → 생각을 반복하며 답을 찾는 배선이다. 추론 흔적이 남아 근거 추적의 원료가 된다.

PAX 사례 16건이 이 부품을 쓴다

맥락

대민 상담(B3, 유형 ①)의 검색 루프, 데이터 조회·분석 에이전트(B6 로컬 호스트, 유형 5b), MCP 도구 연결(A8)에 쓴다. §7.2 진행 경로의 7단계이고, 단일 에이전트는 여기서 출발한다.

맞서는 힘(긴장)

• 탐색적 유연성 vs 긴 정형 과제에서의 실행 무질서
• 도구 출력 활용 vs 도구 출력 속 지시가 명령이 되는 위험(X13)
• 추론 흔적의 투명성 vs 호출 수·비용

해법

모델이 현재 목표에 대해 생각을 적고, 도구 하나를 골라 호출하고, 결과를 관찰한 뒤 다음 행동을 정한다. 추론 흔적과 호출 순서는 C4 추적 로그로 남기고 답에는 근거(F1)를 붙인다. 도구는 A8 레지스트리에 등록된 것만 쓰게 하고 도구별 권한을 C8로 제한한다. 신뢰 불가 데이터를 읽은 뒤 새 행동을 부를 수 있으면 S5 계획 고정이나 S6 격리로 막고, 최대 호출 횟수를 둔다.

이럴 때 쓴다

• 질의가 탐색적이라 순서를 미리 정할 수 없을 때
• 답의 근거와 도구 호출 순서를 보여 줘야 할 때(§7.5)
• 단일 에이전트로 시작하는 첫 에이전트 배선일 때

이럴 때는 쓰지 않는다

• 긴 정형 과제로 단계 누락이 문제일 때(B′8)
• 순서가 고정된 파이프라인일 때(B′1)
• 신뢰 불가 입력을 읽고 P2 이상 행동을 하는데 S5·S6을 둘 수 없을 때

얻는 것

• 근거와 호출 순서의 투명성
• 탐색적 질의에 적합
• C4 추적의 원료

점검표

• 도구 호출 순서와 추론 흔적을 지금 볼 수 있는가
• 최대 호출 횟수가 있는가
• 도구 출력이 새 행동을 부르지 못하게 막는 구조가 있는가

구조 — 참여 부품

• 추론 모델 — 생각을 적고 다음 도구를 선택
• A8 MCP 서버·호스트 — 호출 가능한 도구와 레지스트리
• C4 감사 로그·지표 — 추론 흔적·호출 순서 기록
• C8 권한 경계·킬스위치 — 도구별 읽기/쓰기 제한

관련 부품

A8 끼울 자리 — 호출할 도구 · C4 기록처 — 추론 흔적·호출 추적 · B′8 대안 — 긴 정형 과제 · B′4 승급 — 하위 작업이 분리되면 계층화 · S5 보안 짝 — 도구 출력이 행동을 바꾸지 못하게

참고 자료

Towards AI #2·#4 · Gulli ch.5 Tool Use · Springer ReAct

웹북에서 전체 프로필 보기 ↗ · 패턴 성좌 디렉터리에서 보기 ↗

보고서 구조·문체·서식·검증 절차 같은 업무 규범을 모델 중립 스킬(지침 + 검증기 + 출력 서식)로 패키징해 어떤 모델·에이전트에서든 재사용한다.

PAX 사례 54건이 이 부품을 쓴다

맥락

기안·보고서·콘텐츠처럼 서식과 문체가 정해진 산출물을 만드는 B1·B7, BYO 코딩 에이전트 환경(E2 모델 중립), 개발 코파일럿에서 쓴다. 유형 4·6·12에서는 필수 기반이고, §7.2 진행 경로에서는 3단계에 놓인다.

맞서는 힘(긴장)

• 규범 고정(일관성) vs 담당자 재량
• 모델 중립(이식성) vs 특정 모델 최적화
• 규범 공개·재사용 vs 프롬프트·규범 유출
• 가중치에 넣기(튜닝) vs 문서로 주입하기

해법

규정집·매뉴얼·서식 예시에서 업무 규범을 뽑아 지침(구조·문체·금지 사항), 검증기(형식·인용·수치 검사), 출력 서식(HWPX·DOCX 등)으로 묶은 스킬 패키지로 만든다. 모델 호출 코드와 분리된 파일로 두어 어떤 코딩 에이전트·모델에서도 같은 절차가 돌게 한다(External Configuration). 산출·검증된 수치와 출처만 주입하고 미제공 수치·순위 생성을 금지하는 식으로 생성 범위를 규범으로 좁힌다. 스킬은 버전으로 관리해 규범 유출·변경을 추적하고, C9로 스킬 변경 전후 품질을 잰다.

이럴 때 쓴다

• 산출물 서식·문체·구조가 정해져 있을 때
• 출력 품질이 들쭉날쭉할 때(§7.5)
• BYO 환경에서 모델과 무관하게 같은 절차를 돌려야 할 때
• 갱신이 잦은 규범을 튜닝 없이 반영해야 할 때

이럴 때는 쓰지 않는다

• 규범이 문서로 정리되지 않았고 정리할 담당도 없을 때
• 지식 검색이 필요한 문제(B3 접지가 먼저)
• 스킬 내용 자체가 민감해 배포할 수 없는데 버전 관리·접근 통제를 둘 수 없을 때

얻는 것

• 출력 일관성
• 모델 교체 가능(BYO에서는 교체 가능성이 곧 C7)
• 타 기관 재사용
• 튜닝 없이 규범 갱신

점검표

• 규범이 모델 호출 코드와 분리된 파일로 있는가
• 검증기가 출력 형식·인용·수치를 실제로 검사하는가
• 스킬에 버전이 있는가
• 다른 모델로 바꿔도 같은 서식이 나오는지 확인했는가

구조 — 참여 부품

• 규범 원천(규정집·매뉴얼·서식) — 스킬로 옮길 업무 규범의 출처
• 스킬 패키지 — 지침·검증기·출력 서식을 모델 밖 파일로 묶음
• 코딩 에이전트·모델(BYO) — 스킬을 불러 규범대로 산출
• A10 문서 형식 어댑터 — 출력 서식을 HWPX·DOCX로 내보냄
• C9 평가 세트 — 스킬 변경 전후 품질 비교

변형

• 보고서·문서 규범 스킬: gov-report-skill(기획보고서 7대 항목), 원페이퍼 스킬(A4 한 쪽·DOCX 검증).
• 스타일·콘텐츠 스킬: Public Cardnews(6개 스타일), 제작 가이드·검수 체크리스트를 묶은 제작 스킬 패키지.
• 검증 스킬: paper-verify(인용 검증)처럼 검증 절차 자체를 패키징한다.
• 규정집→스킬 변환: book-to-skill은 PDF 규정집을 에이전트 스킬로 자동 변환한다(A9+A10 조합).
• 지식 가이드 In-Context 주입: 파인튜닝 대신 추출·판정 기준을 문서형 가이드로 증류해 주입한다.

참조 구현 예

• PAX gov-report-skill — 기획보고서 7대 항목 스킬(§6 A9 카드)
• PAX paper-verify — 인용 검증 스킬(§6 A9 카드)

관련 부품

A10 짝 — 스킬 출력 서식을 공공 문서 형식으로 · B1 소비처 — 스킬 코파일럿 · C9 짝 — 스킬 변경 회귀시험 · A2.0 짝 — BYO 환경의 모델 중립 · A2.3 대안 — 가중치에 넣는 방식

참고 자료

GoF Template Method · Microservice 패턴 External Configuration · InfoQ Few-shot·Role·CoT · aiuxpatterns Prompt Templates

웹북에서 전체 프로필 보기 ↗ · 패턴 성좌 디렉터리에서 보기 ↗

정부·공공이 운영하는 모델·데이터·개발 도구(범정부 AI 공통기반, 모두의 AI 실험실, 공공데이터포털, 공공 깃랩)를 범정부 Provider로 소비한다.

PAX 사례 154건이 이 부품을 쓴다

맥락

모델·공공데이터·법령 원문·개발 환경을 공공 플랫폼에서 가져올 수 있다면 어느 과제든 해당한다. §7.1 2단계 '기반 부품은 새로 만들지 말고 Provider에서 먼저 찾는다'가 바로 이 부품을 가리킨다. 유형 7(대조·점검)에서는 법령·기준 출처를 대는 필수 기반이다.

맞서는 힘(긴장)

• 공통 Provider 재사용 vs 기관 고유 요구 반영
• 공공 API 가용성·갱신 주기 vs 서비스 신뢰성
• 인가·검증 절차의 통제 vs 에이전트 루프의 병목(PAX 공공API 진단)

해법

기반을 새로 만들기 전에 범정부 AI 공통기반(모델), 공공데이터포털·법령 API(데이터), 모두의 AI 실험실·공공 깃랩(개발·실험 환경)에서 먼저 찾아 소비한다. 인증은 GPKI·디지털원패스 같은 연합 신원(Federated Identity)으로 위임하고, 공공 API 응답은 출처·조회 시각과 함께 업무 부품에 넘긴다. 에이전트가 부를 수 있게 하려면 A8 MCP 서버로 감싸고, 결과를 재가공해 기준선으로 고정하면 A1을 더한다. 기관이 만든 도구는 공공 깃랩에 등재해 다음 기관의 Provider가 되게 한다.

이럴 때 쓴다

• 모델·데이터·개발 환경을 기관이 새로 만들려 할 때 — 먼저 Provider 확인
• 법령·기준 원문을 최신으로 대조해야 하는 유형 7
• 여러 부서가 같은 기반을 따로 만들고 있을 때(X3 교정)

이럴 때는 쓰지 않는다

• 필요한 모델·데이터가 공공 Provider에 없을 때(만들고 레지스트리에 올림)
• 타 기관 데이터를 계약·키 매핑으로 결합하는 경우는 A4

얻는 것

• 기관별 중복 구축 방지(X3 교정)
• 공인된 원천 데이터·모델 사용
• 등재를 통해 전이 경로 확보

점검표

• 같은 기반을 기관 안에서 따로 만들지 않았는가
• 공공 API 응답의 출처·조회 시각이 결과에 남는가
• API 장애·변경 시 어떻게 되는지 답할 수 있는가
• 만든 도구가 공공 깃랩 등에 등재되었는가

구조 — 참여 부품

• 공공 Provider — 범정부 AI 공통기반·공공데이터포털·모두의 AI 실험실·공공 깃랩
• 연합 신원 인증 — GPKI·디지털원패스 등으로 호출 주체를 확인
• 소비 부품(B·A2·A8) — Provider를 직접 만들지 않고 가져다 씀
• S1 AI 게이트웨이·단일 진입점 — 공공 인증을 위임받아 호출을 통제

변형

• 공공 모델 Provider: 범정부 AI 공통기반(HCX-GOV-THINK) 위에서 모델을 소비한다. 온나라 AI 문서 분배기가 공통기반 RAG 위에서 돈다.
• 공공 데이터·법령 Provider: 공공데이터포털 OpenAPI·법제처 API 등을 실서비스 파이프라인에 상시 연동한다.
• 개발·실험 환경 Provider: 모두의 AI 실험실·공공 깃랩에서 개발하고 결과물을 등재한다.

참조 구현 예

• PAX 온나라 AI 문서 분배기 — 범정부 공통기반 RAG 위에서 접수 문서 배분(§6 A3 카드)
• PAX ef389de4efadc258 — 법제처 API로 매일 최신성 검증(§13 A3)
• PAX 3d07b6da99f5e1ed — 직제·시행규칙을 법령 API로 파싱·결합, 시행일 스냅샷 비교(§13 A3)

관련 부품

A2.4 짝 — 공통기반 모델을 내부망에서 경유 · A8 감싸는 층 — 공공 API를 MCP 도구로 · S1 인증 위임 — 공공 인증을 단일 진입점에 · A7 등재처 — 자체 제작 도구를 공공 깃랩에 · A4 경계 — 계약 기반 결합

참고 자료

patterns.dev Provider 패턴 · Microservice 패턴 Federated Identity·Access Token · PAX 공공API 진단 보고서

이 부품과 이어지는 가이드라인

• 공공데이터의 인공지능 친화적 관리 가이드라인 행정안전부·NIA, 2026. v1.1 개정 공지(2026.8.4).

웹북에서 전체 프로필 보기 ↗ · 패턴 성좌 디렉터리에서 보기 ↗

개인정보·환각·편향·형식 오류가 프롬프트나 산출물에 들어가지 못하게 시스템이 경계에서 걸러낸다. 비식별 전처리, 출처 검증, 구조적 출력 제약이 대표 변형이다.

PAX 사례 44건이 이 부품을 쓴다

맥락

외부 모델을 부르거나 대민에 답하는 모든 B 부품. 특히 E2 해외 상용 API, E5 S 이상 데이터, B3 지식 접지 상담, 유형 ① 대민 상담, ④ 기안, ⑥ 콘텐츠, ⑦ 대조·점검, ⑨ 인수인계, ⑬ 비식별·정제 도구.

맞서는 힘(긴장)

• 차단의 엄격함 vs 과잉 차단으로 인한 유용성 저하
• 비식별 강도 vs 문맥 보존
• 결정적 검증의 신뢰성 vs 구현 범위

해법

프롬프트가 기관 밖으로 나가기 전 PII를 마스킹하고 원복 키를 보관하는 비식별 전처리기를 둔다. 응답에는 인용을 원본(법령정보센터·통계표 등)과 대조하는 출처 검증기와, JSON 스키마·허용 목록 같은 구조적 출력 제약을 건다. 근거가 없으면 답하지 않거나 '확인 필요'로 표시한다. 차단 사유는 C4에 남기고, 이용자에게는 F1 출처와 F7 한계 안내로 보인다. 사람이 하는 팩트체크·법무 심의는 C5가 아니라 C1.2에 둔다.

이럴 때 쓴다

• E2 해외 상용 API로 행정망 본문이 외부로 나갈 때(필수)
• E5 S 이상 개인정보·민감정보를 다룰 때
• B3 대민 응답처럼 인용·수치의 정확성이 신뢰의 핵심일 때
• C5가 필수인 유형 ①④⑥⑦⑨⑪⑬

이럴 때는 쓰지 않는다

• E1 로컬 PC 완결로 데이터가 밖으로 나가지 않을 때 비식별은 불필요해질 수 있다(§5 매트릭스, 단 출처 검증은 별개)
• 사람이 수행하는 심의만 있을 때(C1.2로 태그)
• 적대적 입력 탐지가 목적일 때(S8)

얻는 것

• 개인정보 외부 유출 차단
• 환각 인용 감소
• 상용 API 사용 조건 충족

점검표

• 외부 전송 전 무엇이 걸러지는지 답할 수 있는가
• 인용이 원본과 대조되는가
• 근거 없을 때의 동작이 정해져 있는가
• 차단 사유가 기록되는가

구조 — 참여 부품

• 비식별 전처리기 — 외부 전송 전 PII 마스킹과 원복
• 출처 검증기 — 인용을 원본과 대조해 환각을 걸러냄
• 출력 제약 — 스키마·허용 목록·금칙어로 출력 형식 제한
• F1 출처 표시 — 검증된 출처를 이용자에게 보임

변형

• 로컬 비식별 전처리기: 외부 전송 전 PII 마스킹·원복(PAX에서 독립 부품으로 확인)
• 출처 검증기: 인용을 법령정보센터·KCI·CrossRef 원본과 대조
• 구조적 출력 제약·스키마 검증: JSON 스키마·허용 목록으로 출력 범위를 고정(v0.6 식별 신호 추가)
• 근거 재대조형 환각 검증: 추출값의 근거 문장을 원문에서 재대조해 '문서확인/AI추정/문서에없음'으로 재분류

참조 구현 예

• PAX Korean Stats MCP — KOSIS 통계 출처 자동 인용

관련 부품

F1 이용자 쪽 대응 — 검증된 출처 표시 · F7 이용자 쪽 대응 — 근거 없을 때 한계 안내 · A2.4 짝 — 민감정보 외부 유출 대응 · C1.2 구분 — 사람이 하는 심의 · S8 구분 — 적대적 입력 탐지 · S13 변형 후보 — 로컬 비식별 게이트

참고 자료

Fowler Guardrails · InfoQ Output Guardrails·Model Critic · Gulli ch.18 Guardrails · Heiland 규칙 기반 안전장치 · Proxy · Decorator

이 부품과 이어지는 가이드라인

• 금융분야 인공지능 보안 안내서 금융보안원, 2026.6(게시 2026.6.19).
• 공공 AX 프라이버시 보호 안내서 개인정보보호위원회, 2026.7(2026.7.23 제11회 과학기술관계장관회의에서 공개).

웹북에서 전체 프로필 보기 ↗ · 패턴 성좌 디렉터리에서 보기 ↗

답변에 근거 문서·조문·통계표 ID를 붙여 이용자가 원문을 직접 확인할 수 있게 한다. C5 출처 검증의 이용자 면이다.

PAX 사례 87건이 이 부품을 쓴다

맥락

B3 지식 접지 상담, A8 공공데이터 MCP, 법령·통계·규정을 인용하는 모든 응답. 유형 ① 대민 상담, ⑤b 데이터 에이전트, ⑦ 대조·점검, ⑨ 인수인계(원문 위치).

맞서는 힘(긴장)

• 출처 상세도 vs 화면 복잡도
• 출처 표시 vs 실제 검증(표시만 하고 검증하지 않으면 잘못된 신뢰)
• 원문 링크의 신선도 vs 유지 비용

해법

답변의 각 주장에 근거 문서·조문 번호·통계표 ID·원문 위치를 붙이고, 원문으로 바로 이동하는 링크를 제공한다. 출처의 갱신 시각과 이용 조건을 함께 보여 오래된 자료를 현재로 오인하지 않게 한다. 표시되는 출처는 C5 출처 검증을 통과한 것이어야 한다.

이럴 때 쓴다

• B3 지식 접지 응답 전반
• 대민 서비스 D1~D7(F1·F2·F7이 최소 요건)
• 유형 ①⑤b⑦⑨처럼 F1이 필수인 유형

이럴 때는 쓰지 않는다

• 모델의 판정 근거(요인·BBox·사유 코드)를 보여 주려는 경우(F9)
• B0 결정적 도구로 원천 데이터를 그대로 보여 주는 경우(출처가 곧 화면)

얻는 것

• 이용자 신뢰 확보
• 원문 대조로 오류 발견
• 공식 판단 여부를 이용자가 스스로 확인

점검표

• 모든 답변에 출처가 붙는가
• 출처가 원본과 대조되는가
• 갱신 시각이 보이는가
• 이용자가 원문을 바로 열 수 있는가

구조 — 참여 부품

• C5 가드레일 필터 — 출처 검증
• 이용자 — 원문을 열어 대조

변형

• 문서·조문 인용: 근거 문서명과 조문 번호를 답변에 붙임
• 통계표 ID 인용: 통계 답변에 통계표 ID를 자동 인용(KOSIS MCP 방식)
• 출처·신선도 표시: 출처에 갱신 시각과 이용 조건을 함께 표시

참조 구현 예

• PAX Korean Stats MCP — KOSIS 통계를 자연어로, 출처 자동 인용
• PAX 224e2d82d9369735 — 모든 출처에 갱신 시각과 이용 조건을 함께 저장한 출처·신선도 표시
• PAX 9998aba2d1f55c24 — 항목별 법령·처분사례 원문 연계(F1)

관련 부품

C5 시스템 쪽 대응 — 출처 검증 · F7 짝 — 한계 안내와 함께 신뢰의 실체 · F9 구분 — 판정 근거 표시 · B3 끼울 자리 — 지식 접지 응답 · A3 출처 제공 — 공공 API 원문

참고 자료

aiuxpatterns Results · Show Citations

이 부품과 이어지는 가이드라인

• 인공지능 투명성 확보 가이드라인 과학기술정보통신부, 2026.1.
• 생성형 인공지능 결과물에 의한 저작권 분쟁 예방 안내서 문화체육관광부·한국저작권위원회. 4종 모음 게시물에 수록.

웹북에서 전체 프로필 보기 ↗ · 패턴 성좌 디렉터리에서 보기 ↗

SHAP 요인 문장, 의심 부위 BBox, 판정 사유 코드, 자연어 판독 이유, 예측-실제 잔차로 모델이 왜 그렇게 판정했는지 보인다. B2·B4·B5의 필수 면이다.

PAX 사례 23건이 이 부품을 쓴다

맥락

B2 예측·추천기, B4 인식 파이프라인, B5 감지·경보. 유형 ③ 현장 감시, 5a 분석, ⑩ 위험 예측, ⑪ 추천·매칭(추천 사유). v0.6에서 추가.

맞서는 힘(긴장)

• 설명의 충실성 vs 이해 가능성
• 근거 공개 vs 적대적 이용자에게 탐지 기준 노출(X16)

해법

판정마다 기여 요인(SHAP)·의심 부위(BBox)·사유 코드·자연어 근거를 결과와 함께 보인다. 담당자가 근거를 열어 확인하고 최종 판단하게 한다. 위조 탐지처럼 적대적 이용자가 있는 D3 접점에서는 이용자에게 '정상/위조의심'만 보이고 세부 근거는 관리자 화면에만 둔다(근거 은닉).

이럴 때 쓴다

• B2·B4·B5의 판정 결과를 사람이 검토할 때
• 유형 ③⑤a⑩⑪처럼 F9가 필수인 유형

이럴 때는 쓰지 않는다

• 위조 탐지 등 적대적 이용자에게 근거를 그대로 보이는 경우(X16 — 관리자 전용으로)
• 문서 출처만 보이면 되는 지식 접지 응답(F1)

얻는 것

• 담당자가 판정을 검토할 근거
• 오판 원인 파악
• 추천·선별 결과의 설명 책임

점검표

• 판정마다 근거가 보이는가
• 적대적 접점에서 근거가 관리자에게만 노출되는가
• 최종 판단 주체가 명시되는가

구조 — 참여 부품

• A2.5 비LLM 학습 모델 서빙 — 판정과 기여도 산출
• 근거 표시 화면 — 요인·BBox·사유 코드 제시
• 담당자 — 근거를 보고 최종 판단

변형

• 요인 기여도: SHAP 등 요인 문장
• 위치 표시: 의심 부위 BBox
• 사유 코드·자연어 근거: 판정 사유 코드와 판독 이유 문장
• 관리자 전용 근거(근거 은닉): 적대적 접점에서 세부 근거를 관리자에게만 노출

참조 구현 예

• PAX 3b195a5faf820769 — 정비 대상 판정의 근거를 따로 열어 확인하게 하고 오류 가능성을 화면에 명시한 F9+F7 표준형
• PAX 8c461c4901e30775 — 실험마다 의도·판정 근거·실제 프롬프트를 함께 공개

관련 부품

F1 구분 — 문서 출처 · F7 짝 — F9+F7 표준형 · B2 끼울 자리 — 예측·추천기의 필수 면 · B′9 짝 — 판정 게이트의 근거 출력 · X16 안티패턴 — 적대적 접점의 근거 노출

참고 자료

카탈로그 v0.6 개정 F9 · aiuxpatterns Results

이 부품과 이어지는 가이드라인

• 공공부문 데이터 분석 업무 운영 가이드 NIA, 2025.12(게시 2025.12.29).
• 금융분야 인공지능 가이드라인 금융위원회, 2026.6.22 시행(보도 2026.6.18).
• AI 기반 신용평가모형 검증체계 금융위원회, 2023(보도 2023.4.17).
• 자동화된 결정에 대한 정보주체 권리 안내서 개인정보보호위원회, 2024.9. 공식 게시물 미확인(2024.9 보도로 확인).
• 고영향 인공지능 사업자 책무 가이드라인 과학기술정보통신부, 2026.1.
• 인공지능 개발과 활용에 관한 인권 가이드라인 국가인권위원회, 2022(2022.4.11 전원위원회 의결). 공식 게시물 미확인(2022.4.17 보도로 확인).
• KS X 8001 인공지능 윤리에 대한 이해관계자 공통 영향 요소 및 유스케이스 수집 템플릿 국가기술표준원 고시 제2023-0128호, 발행 2023.6.13. 국내 고유 표준.

웹북에서 전체 프로필 보기 ↗ · 패턴 성좌 디렉터리에서 보기 ↗

법령·규정·서식·인용·근태·보안 기준과 대조해 확인할 대상을 먼저 골라 주는 내부 운영 블록이다. "최종 판단은 사람"이 가장 자주 붙는다.

PAX 사례 81건이 이 부품을 쓴다

맥락

기관 내부 문서·자료를 기준과 대조하는 업무. §7.3 유형 ⑦ 대조·점검 도우미(D8.4, P0~P1)와 유형 ⑩ 위험 예측·표적 선별(D6·D3·D8.4)의 무대. PAX 81건(주 부품 B0 73%, B1 12%), 감사·법무 25건·문서·기안 12건.

맞서는 힘(긴장)

• 점검 범위 확대 vs 오탐으로 인한 확인 부담
• 규칙 점검의 결정성 vs LLM 대조의 유연성
• 점검 대상이 점검기를 속이는 위협 vs 자동 점검
• 출처 대조의 엄격성 vs 원문 접근 권한(공공 API 인가)

해법

기준이 규칙으로 옮겨지면 B0 규칙 점검기로, 해석이 필요하면 B3 법령 접지로 대조한다. 기준 원문은 A3 공공 API(법령·판례)에서 가져와 C5 출처 검증으로 인용이 실제 원문과 일치하는지 확인한다. 결과는 판정이 아니라 "확인할 대상 목록"으로 내고, C1으로 "최종 판단은 사람"을 명시하며, F7 한계와 F1 출처를 붙인다. 점검 대상 문서·코드가 점검기를 속이지 못하게 대상별 격리(S6)나 고정 규칙 실행(S4)을 쓰고, 코드 점검이면 S9 샌드박스를 둔다. C9 평가 세트로 누락률을 잰다.

이럴 때 쓴다

• 문서·자료를 법령·규정·서식과 한 줄씩 대조하는 업무
• 인용·근거가 원문과 맞는지 확인해야 할 때
• 점검 대상이 많아 확인 대상을 먼저 좁혀야 할 때

이럴 때는 쓰지 않는다

• 국민 신청 건의 자격 판정이면 D3
• 현장 시설을 관측해 점검하면 D6
• 대조 없이 자료를 찾아 보여 주면 D8.1

얻는 것

• 대조 시간 단축과 누락 감소
• 사람 판단을 확인 대상에 집중
• 인용 오류의 사전 차단

점검표

• 결과가 판정이 아닌 확인 대상으로 표시되는가
• 근거 원문 출처가 연결되는가
• 누락률을 평가 세트로 재는가
• 점검 대상 속 문장이 점검 결과를 바꾸지 못하는가

구조 — 참여 부품

• 담당자 — 확인 대상을 검토해 최종 판단
• B0 결정적 도구(규칙 점검기) — 규칙화된 기준으로 대조
• B3 지식 접지 상담 — 법령·규정에 접지해 해석 대조
• A3 공공 API 제공자 — 법령·판례 원문 제공
• C5 가드레일·출처 검증 — 인용을 원문과 대조
• C1 검토 큐 — 최종 판단은 사람

변형

• 규칙 점검기형: B0로 서식·근태·보안 기준을 결정적으로 대조(Attendance Checker).
• 법령 접지 대조형: B3가 법령·규정에 접지해 해석 필요 항목을 대조(Legal Reviewer).
• 인용 검증형: 보고서·논문의 법령·판례·문헌 인용을 원본과 대조(paper-verify).
• 표적 선별형: B2 위험 예측이 점검 대상을 좁힘(유형 ⑩, B′9).

참조 구현 예

• paper-verify — 카탈로그 D8.4 카드·§7.3 유형 ⑦ 참조 구현: 인용을 원본과 대조
• 민원 답변 작성 스킬 팩 — 카탈로그 D8.4 카드 예
• Attendance Checker — §7.3 유형 ⑦ 참조 구현
• Legal Reviewer — §7.3 유형 ⑦ 참조 구현

관련 부품

C1 필수 통제 — 최종 판단은 사람 · C5 필수 통제 — 출처 검증 · A3 필수 기반 — 법령·기준 출처 · D3 대민 버전 — 자격·심사 · S6 필수 보안 — 대상별 격리

참고 자료

카탈로그 §7.3 유형 ⑦·⑩ · 카탈로그 §7.4 유형 ⑦ 위협 모델

웹북에서 전체 프로필 보기 ↗ · 패턴 성좌 디렉터리에서 보기 ↗

AI 산출물이 다음 단계로 넘어가기 전에 사람이 맞고 틀림을 확인·수정·확정하는 대기열을 두어, 오류가 업무 결과로 흘러가지 않게 한다.

PAX 사례 46건이 이 부품을 쓴다

맥락

AI 산출물이 공문·처분·대민 안내·기록으로 이어지는 모든 B 부품(B1 코파일럿, B4 인식 파이프라인, B2 예측기, B7 콘텐츠 생성기 등). 이용자 본인이 최종 확정자인 자기서비스형 도구도 포함한다(R16).

맞서는 힘(긴장)

• 정확성·책임성 vs 처리 속도(전건 검토는 자동화 이득을 깎는다)
• 검토자의 숙련 vs 자동화 편향(AI 결과를 그대로 승인하는 경향)
• 전건 검토의 안전 vs 위험도별 분기(C2)로 가야 하는 효율 압력

해법

AI 산출물에 신뢰도·근거를 붙여 검토 대기열에 올리고, 검토자가 승인·수정·반려 중 하나를 고르게 한다. 수정·반려 내역은 C4 감사 로그에 남겨 수정률을 집계하고 C6 환류의 입력으로 쓴다. 검토 화면은 원문 위치·근거를 함께 보여 줘 확인 비용을 줄인다. 전건 검토로 시작하되, 수정률 실측이 쌓이면 C2 위험도 라우터로 저위험 건을 자동 종결하는 단계로 옮긴다.

이럴 때 쓴다

• AI 산출물이 공문·처분·대민 안내로 그대로 이어질 때
• E4가 P1 이상이고 되돌리는 데 사람 시간이 많이 드는 조치가 있을 때
• 서비스 유형 ② 접수·심사, ④ 기안 코파일럿, ⑥ 콘텐츠 제작, ⑦ 대조·점검, ⑩ 위험 예측, ⑪ 추천·매칭, ⑫ 개발 코파일럿처럼 C1이 필수인 유형

이럴 때는 쓰지 않는다

• B0 결정적 도구처럼 런타임 AI 산출물이 없을 때
• 쉽게 되돌릴 수 있고 저위험인 조치를 이미 C2로 자동 종결하도록 실측 근거를 갖춘 구간(전건 검토를 영원히 남기지 않는다)

얻는 것

• 오류가 업무 결과로 나가기 전에 차단
• 책임 소재가 명확해짐
• 수정 내역이 C4 지표와 C6 환류의 원천 데이터가 됨

점검표

• AI 산출물이 확정 전 상태로 머무는 지점이 명시되어 있는가
• 검토자와 승인·수정·반려 선택지가 정해져 있는가
• 검토 결정과 수정 내역이 로그로 남는가
• 실증 기간의 검토·수정 건수가 기록되어 있는가
• 전건 검토에서 분기로 옮길 조건이 정해져 있는가

구조 — 참여 부품

• 검토 대기열 — AI 산출물을 확정 전 상태로 보관하고 검토자에게 배정
• 검토자(담당자 또는 이용자 본인) — 승인·수정·반려를 결정하는 최종 책임자
• F2 편집 가능한 출력 — 검토자가 산출물을 직접 고치는 화면
• C4 감사 로그·지표 — 검토 결정과 수정 내역을 적재해 수정률로 집계

변형

• 전건 검토형: 모든 AI 산출물을 담당자가 확인·확정
• 예외 검수형: 정상 건은 일괄 승인하고 저신뢰 항목만 개별 검수하는 검수 UI
• 파이프라인 내장 관문형: 멀티에이전트·다단계 파이프라인의 각 관문에 승인·보완·재작성 선택지를 둠
• 자기서비스형: 이용자 본인이 최종 확정자인 HITL. 실제 운영 중이면 C1 present(R16)
• 심의 게이트: 팩트체크·법무·윤리처럼 제3자 전문가가 수행하는 승인 게이트

참조 구현 예

• PAX 9dc1a7081bc869b1 — 광진구 — 담당자·팀장 최종 판단 책임 등 4대 관리 원칙 명문화

관련 부품

C2 다음 단계 — 전건 검토에서 위험도 분기로 승급 · C1.2 변형 — 제3자 전문가 심의 게이트 · F2 이용자 쪽 대응 — 검토자가 직접 고치는 화면 · F6 이용자 쪽 대응 — 에이전트 행동 실행 전 확인 · C4 기록처 — 검토 결정·수정 내역 · C6 후속 — 수정 내역이 환류의 입력

참고 자료

Google ADK HITL · Gulli ch.13 Human-in-the-Loop · Towards AI 동기·비동기 HITL · Chain of Responsibility

이 부품과 이어지는 가이드라인

• 공공기관 신뢰가능 AI 구현 실용가이드 NIA, 2019(게시 2019.12.30).
• 금융분야 인공지능 가이드라인 금융위원회, 2026.6.22 시행(보도 2026.6.18).
• 금융분야 AI 위험관리프레임워크 금융감독원, 2026.6.
• 자동화된 결정에 대한 정보주체 권리 안내서 개인정보보호위원회, 2024.9. 공식 게시물 미확인(2024.9 보도로 확인).
• 고영향 인공지능 사업자 책무 가이드라인 과학기술정보통신부, 2026.1.
• 신뢰할 수 있는 인공지능 개발 안내서 과학기술정보통신부·TTA, 일반 2023·2024년판, 분야별 2023~2024.
• 인공지능 개발과 활용에 관한 인권 가이드라인 국가인권위원회, 2022(2022.4.11 전원위원회 의결). 공식 게시물 미확인(2022.4.17 보도로 확인).
• 생성형 인공지능 결과물에 의한 저작권 분쟁 예방 안내서 문화체육관광부·한국저작권위원회. 4종 모음 게시물에 수록.
• KS X ISO/IEC 22989 인공지능 개념 및 용어, KS X ISO/IEC TR 24028 인공지능의 신뢰성 개요 국가기술표준원 고시 제2023-0612호, 두 표준 모두 발행 2023.12.14. 각각 ISO/IEC 22989:2022, ISO/IEC TR 24028:2020과 일치(IDT).

웹북에서 전체 프로필 보기 ↗ · 패턴 성좌 디렉터리에서 보기 ↗

AI가 무엇을 못 하는지, 얼마나 확신하는지, 공식 판단이 아님을 이용자가 볼 수 있는 곳에 적어 과신을 막는다.

PAX 사례 63건이 이 부품을 쓴다

맥락

대민 상담·안내(유형 ①), 대조·점검(⑦), 분석·예측(5a·⑩), 비식별 도구(⑬). 대체 경로로 운영 중인 C7 상황.

맞서는 힘(긴장)

• 정직한 한계 고지 vs 서비스 신뢰도 하락 우려
• 신뢰도 수치 표시의 정확성 vs 이용자 이해

해법

화면에 사용 한계(대상 범위·미검증 항목·처리 시간), 신뢰도, '공식 판단 아님' 고지를 결과 옆에 배치한다. 저신뢰 결과는 표시를 달리하고, C7 대체 경로로 운영 중이면 품질 저하를 알린다. 고지 문구는 법률 자문·유권해석을 대체하지 않는다는 점을 분명히 적는다.

이럴 때 쓴다

• 대민 서비스 D1~D7(F1·F2·F7 최소 요건)
• 유형 ①⑦5a⑩⑬처럼 F7이 필수인 유형
• C7 대체 경로 운영 중

이럴 때는 쓰지 않는다

• 유형 ①·⑦에서 model_dependency가 없음(비LLM)이면 필수에서 면제(R7). 단 비LLM 도구도 한계 고지는 권장된다

얻는 것

• 과신·오인 방지
• 기관 책임 범위 명확화

점검표

• 이용자가 '공식 판단이 아님'을 결과 화면에서 읽을 수 있는가
• 사용 한계가 명시되어 있는가
• 저신뢰 결과가 구분 표시되는가

구조 — 참여 부품

• 고지 문구 — 사용 한계·공식 판단 아님
• 신뢰도 표시 — 결과별 확신 수준
• C7 폴백 스위치 — 대체 경로 운영 여부 제공

변형

• 공식 판단 아님 고지: '유권해석 아님'·'참고용' 고지
• 신뢰도 표시: 결과별 신뢰도·등급 표시
• 미검증 항목 열거: 검증되지 않은 조건·처리 시간을 명시

참조 구현 예

• 소방기술민원 답변생성기 — '유권해석 아님' 고지
• PAX 9998aba2d1f55c24 — 비공식 참고 도구·공식 판단 아님 고지와 원문 연계를 함께 갖춘 자가점검 UI
• PAX 759835514b4b7ca4 — README가 미검증 항목을 열거하고 '최종 판단은 항상 사람' 고지
• PAX 6c0fa4c0c3508ff0 — 처리 시간과 라이선스 동의 절차를 정직하게 고지한 온디바이스 비전 도구
• PAX aef95509b7611c96 — 비LLM 스크리닝 도구가 실제 검토를 대체하지 않음을 화면에 명시
• PAX 0a2535cadf2d621a — 법률 자문·안전 인증을 대체하지 않는다는 한계 고지

관련 부품

C7 시스템 쪽 대응 — 대체 경로 운영 중 안내 · F1 짝 — 이용자 신뢰의 실체 · F9 짝 — 판정 근거와 함께 표시(F9+F7 표준형) · C5 짝 — 근거 없을 때의 동작

참고 자료

InfoQ Contextual Guidance · aiuxpatterns Inline Help

이 부품과 이어지는 가이드라인

• 공공기관 신뢰가능 AI 구현 실용가이드 NIA, 2019(게시 2019.12.30).
• 인공지능 투명성 확보 가이드라인 과학기술정보통신부, 2026.1.
• 신뢰할 수 있는 인공지능 개발 안내서 과학기술정보통신부·TTA, 일반 2023·2024년판, 분야별 2023~2024.
• KS X ISO/IEC TS 4213 기계 학습 분류 성능에 대한 평가 국가기술표준원 고시 제2025-0413호, 발행 2025.10.30. ISO/IEC TS 4213:2022와 일치(IDT).
• KS X ISO/IEC 22989 인공지능 개념 및 용어, KS X ISO/IEC TR 24028 인공지능의 신뢰성 개요 국가기술표준원 고시 제2023-0612호, 두 표준 모두 발행 2023.12.14. 각각 ISO/IEC 22989:2022, ISO/IEC TR 24028:2020과 일치(IDT).

웹북에서 전체 프로필 보기 ↗ · 패턴 성좌 디렉터리에서 보기 ↗

기존 화면에 요약·챗봇 버튼만 붙이고 업무 순서와 사람·AI의 역할 분담은 그대로 두어, AI가 있어도 업무 산출물이 바뀌지 않는 함정이다.

맥락

기존 행정정보시스템·업무 포털에 AI 기능을 추가하는 과제, 특히 성과 지표가 'AI 기능 탑재 여부'나 호출 수로 잡힌 과제. R24에 따라 AI 런타임이 전혀 없는 순수 행정정보시스템도 이 태그(AI 무관)로 표기한다.

맞서는 힘(긴장)

• 빠른 도입 실적 vs 업무 흐름 재설계 비용
• 기존 시스템 무변경(안정성) vs 산출물 단위의 역할 분담
• 'AI 탑재' 홍보 효과 vs 실제 처리시간·수정률 개선

해법

먼저 가치 흐름 규칙(R1)으로 사람 또는 국민이 최종으로 받는 핵심 산출물을 정하고, 그 산출물을 AI가 어떤 모양으로 분담할지 B 업무 컴포넌트를 하나 고른다(초안→사람 확정이면 B1, 근거 접지 답변이면 B3, 서류 추출이면 B4). 사람이 확정하는 지점은 C1 검토 큐로, 이용자가 고쳐 확정하는 면은 F2 편집 가능한 출력으로 명시한다. 흐름이 바뀌었는지는 C4 감사 로그·지표의 처리시간·수정률로 잰다. AI 런타임이 전혀 없는 행정정보시스템이라면 AI로 포장하지 말고 R24대로 B0·service_type 0·platform 공란·X1(AI 무관)으로 정직하게 분류한다.

이럴 때 쓴다

• AI 기능이 추가됐다는 서술은 있으나 처리 단계 수·결재선·담당자 역할이 바뀌었다는 서술이 없다
• 성과 지표가 AI 호출 수·이용 만족도뿐이고 처리시간·수정률 같은 산출물 지표가 없다
• 챗봇이 기관 업무 데이터·시스템과 연결되지 않은 범용 대화에 머문다
• AI 런타임이 전혀 없는 행정정보시스템이 AX 과제로 분류되어 있다(R24)

이럴 때는 쓰지 않는다

• B1 코파일럿처럼 AI가 초안을 만들고 사람이 확정하는 역할 분담이 실제로 서술된 경우
• B8 레거시 오버레이처럼 표준 시스템 위에 얹었지만 업무 산출물을 AI가 만들어 내는 경우
• B0 결정적 도구가 반복 취합 업무를 실제로 줄이고 AI로 포장하지 않은 경우(Ready 부품으로 정직하게 분류된 경우)

얻는 것

• 기존 시스템을 건드리지 않아 도입이 빠르고 장애 위험이 낮다
• 'AI 탑재' 실적을 즉시 보고할 수 있다

점검표

• AI 도입 전후 처리 단계·담당자 역할의 차이를 한 장으로 보여 줄 수 있는가
• AI가 만드는 산출물과 사람이 확정하는 지점이 명시되어 있는가
• 처리시간·수정률 같은 산출물 지표가 도입 전 기준선과 함께 있는가
• AI 런타임이 없는데 AI 과제로 보고하고 있지 않은가

구조 — 참여 부품

• 덧붙인 AI 기능 — 요약·대화 버튼. 업무 산출물 생산에 역할이 없음
• B1 코파일럿 — 교정 후 초안→사람 확정으로 산출물 역할을 나누는 대체 부품
• C1 검토 큐 — 교정 후 사람이 확정하는 지점을 명시
• C4 감사 로그·지표 — 흐름이 실제로 바뀌었는지 처리시간·수정률로 측정

변형

• 요약 버튼형: 기존 화면에 '요약' 버튼만 추가하고 결재·처리 단계는 그대로
• 범용 챗봇 부착형: 업무 데이터와 연결되지 않은 범용 대화창을 포털에 부착
• AI 무관 행정시스템(R24): AI 런타임이 전혀 없는 순수 행정정보시스템(예: 교육·인증 학습관리시스템). B0·service_type 0·platform 공란과 함께 X1(AI 무관)로 표기

관련 부품

B1 대체 — 초안→사람 확정으로 산출물 역할을 나누는 교정 목표 · C1 교정에 끼울 자리 — 사람이 확정하는 지점 · B0 정직한 분류 — AI 런타임이 없으면 B0 Ready 부품으로(R24) · C4 기록처 — 흐름 변화의 증거(처리시간·수정률) · X8 이웃 안티패턴 — 개수·탑재를 성과로 세는 같은 뿌리

참고 자료

PAX 기준서 '기능 탑재가 아니라 실제 업무 산출물이 관건' · PAX 원칙 '도구를 호출해도 기존 흐름이 그대로면 Enabled'

웹북에서 전체 프로필 보기 ↗ · 패턴 성좌 디렉터리에서 보기 ↗

상용 API 하나에 전 기능이 묶여 있어, 그 API가 멈추거나 바뀌면 무슨 일이 생기는지 아무도 답하지 못하는 함정이다.

맥락

E2가 해외 상용 API이고 B 부품이 그 API를 게이트웨이 없이 직접 호출하는 과제. 특히 대민 자동응답·상시 감지처럼 중단 비용이 큰 서비스.

맞서는 힘(긴장)

• 최고 성능 단일 모델 vs 대체 경로 유지 비용
• 빠른 시범 구축 vs 게이트웨이·폴백 설계
• 모델 업데이트의 성능 향상 vs 예고 없는 동작 변화

해법

모델 호출을 A2 모델 서빙 계층 뒤로 숨겨 B 부품이 특정 벤더 API를 직접 부르지 않게 한다. 그 위에 C7 폴백 스위치로 재시도 → 기존 API → 대체 MCP → 대체 모델(A2.2 주권형 로컬 등) → 규칙 기반 축소 → 수동 전환의 경로를 정하고 전환 이력을 C4에 남긴다. 모델 교체가 실제로 안전한지는 C9 평가 세트로 재어 버전을 고정한다. 모델 중립(BYO) 배포라면 A9 스킬 형태로 배포해 모델 교체 가능성 자체를 폴백으로 삼는다.

이럴 때 쓴다

• E2가 해외 상용 API인데 C7 폴백이 없다(분류기준 검증 경고 조건)
• 'API가 멈추면 어떻게 되는가'에 대한 서술이 없다
• 모델 버전 고정·교체 시험 기록이 없다
• A2 게이트웨이 없이 B 부품이 벤더 API를 직접 호출한다

이럴 때는 쓰지 않는다

• B0 결정적 도구처럼 런타임 AI가 없는 경우
• 로컬 완결 도구로 외부 의존이 없는 경우
• 모델 중립(BYO) 배포로 A9 스킬 형태라 이용자가 모델을 바꿀 수 있는 경우
• 상용 API를 쓰되 A2 게이트웨이와 C7 대체 경로가 구현된 경우

얻는 것

• 가장 성능 좋은 모델을 가장 빨리 쓴다
• 게이트웨이·대체 모델 유지 비용이 없다

점검표

• 모든 모델 호출이 A2 한 곳을 지나는가
• 대체 경로가 하나 이상 구현되어 있는가
• 대체 모델의 품질이 C9로 측정되어 있는가
• 모델 버전이 고정되어 있고 교체가 릴리스처럼 관리되는가

구조 — 참여 부품

• A2 모델 서빙 계층 — 벤더 API를 숨기는 끼울 자리
• C7 폴백 스위치 — 장애 시 대체 경로로 전환
• C9 평가 세트·회귀시험 — 대체 모델의 품질을 같은 자로 확인
• 단일 상용 API — 모든 기능이 묶인 의존 대상

변형

• 직접 호출형: 게이트웨이 없이 코드 곳곳에서 벤더 SDK를 직접 호출
• 벤더 내장형: 벤더 제품 안에 모델이 박혀 교체 자체가 불가능(A2.6 블랙박스와 결합)
• 버전 미고정형: 모델 버전을 고정하지 않아 업데이트가 예고 없이 동작을 바꿈

관련 부품

C7 대체 — 장애 시 이어 가는 폴백 경로 · A2 끼울 자리 — 벤더 API를 숨기는 모델 서빙 계층 · A2.2 대체 모델 후보 — 주권형 로컬 · C9 선행 — 대체 모델 품질 확인과 버전 고정 · A9 BYO 배포에서의 대응 — 스킬 형태면 모델 교체 가능

참고 자료

Gulli ch.12 Exception Handling · Microservice Circuit Breaker · PAX Native 관문 4

이 부품과 이어지는 가이드라인

• 인공지능과 머신러닝 공급망 위험 및 완화방안 국가정보원, 2026.3(게시 2026.3.5).

웹북에서 전체 프로필 보기 ↗ · 패턴 성좌 디렉터리에서 보기 ↗

평가 세트 없이 검색을 붙여 '좋아진 것 같다'로 배포하고, 검색으로 풀릴 문제를 파인튜닝으로 푸는, 진행 경로를 건너뛰는 함정이다.

맥락

B3 지식 접지·B1 코파일럿에 RAG를 붙이거나 A2.3 튜닝형 모델을 만드는 과제, 특히 규정·매뉴얼 기반 질의응답.

맞서는 힘(긴장)

• 눈에 보이는 기술 성과 vs 지루한 평가 세트 구축
• 빠른 배포 vs 변경마다 재는 자
• 자체 모델 보유 인상 vs 검색으로 충분한 문제

해법

§7.2 진행 경로를 순서대로 밟는다. B1 직접 프롬프트에서 시작해 두 번째 단계에서 C9 평가 세트(업무 질문·정답·채점 기준)를 먼저 만들고, 이후 A9 규범 스킬·F4, B3 지식 접지(A1 데이터 자산), B3 검색 품질(Hybrid·Rewriting·Reranker), C5 가드레일·F1 순으로 붙이며 매 단계를 C9로 잰다. A2.3 튜닝은 진행 경로의 마지막 단계로, 검색·규범 스킬로 풀리지 않는다는 것이 C9 점수로 확인됐을 때만 한다. 모델·프롬프트·설정 조합은 릴리스처럼 버전 관리한다.

이럴 때 쓴다

• RAG·튜닝을 도입했는데 업무 질문·정답·채점 기준 세트가 없다
• '답변 품질 향상'을 수치 없이 서술하거나 단발 정확도만 보고한다
• 자주 바뀌는 규정·매뉴얼 질의를 파인튜닝으로 풀었다
• 검색 품질(재현율·리랭킹)을 재지 않고 튜닝으로 넘어갔다

이럴 때는 쓰지 않는다

• C9 세트로 RAG 전후를 비교한 뒤 배포한 경우
• 검색·스킬로 풀리지 않음을 C9 점수로 확인한 뒤 튜닝한 경우
• B2·B4처럼 비LLM 학습 모델로 원래 학습이 해법인 경우(RAG가 대안이 아님)

얻는 것

• RAG·튜닝이라는 눈에 보이는 기술 성과를 빨리 낸다
• 평가 세트 구축에 현업 시간을 쓰지 않는다

점검표

• 업무 질문·정답·채점 기준 세트가 있는가
• RAG 전후 점수 비교가 있는가
• 튜닝을 선택한 근거가 C9 점수로 설명되는가
• 모델·프롬프트·설정 조합이 버전 관리되는가

구조 — 참여 부품

• C9 평가 세트·회귀시험 — 빠진 부품. 모든 변경을 같은 자로 잼
• B3 지식 접지 — 튜닝 전에 먼저 시도할 검색 기반 접지
• A2.3 튜닝형 모델 — 진행 경로의 마지막 단계
• A1 데이터 자산 서비스 — 정답 출처와 검색 코퍼스

변형

• 평가 없는 RAG: 검색을 붙이고 몇 개 질문을 눈으로 보고 배포
• RAG 없는 튜닝: 문서 검색으로 풀릴 최신 규정 질의를 파인튜닝으로 해결하려 함
• 평가 없는 튜닝: 튜닝 전후를 같은 세트로 비교하지 않음

관련 부품

C9 대체 — RAG·튜닝보다 먼저 만들 평가 세트 · B3 선행 — 튜닝 전에 시도할 지식 접지 · A2.3 순서 — 진행 경로의 마지막 단계 · A9 대안 — 튜닝 대신 규범 스킬로 푸는 경로 · X11 이웃 안티패턴 — 같은 진행 경로 위반

참고 자료

Fowler GenAI 진행 경로(Direct Prompting → Evals → RAG → Hybrid Retriever·Query Rewriting·Reranker → Guardrails → Fine Tuning) · InfoQ Prompt-Model-Config Versioning

이 부품과 이어지는 가이드라인

• 공공부문 AI 도입·활용 가이드 행정안전부·NIA, 2026.6. 현행 핵심.

웹북에서 전체 프로필 보기 ↗ · 패턴 성좌 디렉터리에서 보기 ↗