민원AI — 감정 섞인 하소연을 격식 있는 민원·청구서로 바꾸는 서비스

사람이 하던 문서·판단 작업 옆에 AI가 초안·요약·검토안을 놓고, 사람이 고쳐서 확정한다.

PAX 사례 111건이 이 부품을 쓴다

맥락

문서·기안·검토의견처럼 산출물 형식이 정해져 있고 최종 확정자가 사람인 업무에 쓴다. BYO 코딩 에이전트와 A9 스킬을 쓰는 스킬 코파일럿이 PAX 자생 도구에 많다.

맞서는 힘(긴장)

• 초안 속도 vs 전건 검토에 드는 사람 시간
• 상용 모델 품질 vs 행정망·민감정보 제약(E1·E5)
• 양식 일관성(A9 규범) vs 사안별 유연성

해법

업무 서식과 참고 자료를 입력으로 받아 모델(A2 또는 BYO 구독)이 초안·근거·신뢰도를 내고, 사람이 편집 가능한 형태(F2)로 받아 고쳐서 확정한다. 보고서 구조·문체·검증 절차는 A9 규범 스킬로 코드 밖에 두고, 공공 문서 형식은 A10 어댑터로 입출력한다. 확정 전 검토는 C1 검토 큐로 운영하고 수정 내역을 C4·C6의 입력으로 남긴다. First로 가려면 저위험 건을 C2로 자동 확정하는 분기를 더한다.

이럴 때 쓴다

• 산출물 형식이 정해진 문서를 반복 작성할 때
• 최종 판단과 책임이 사람에게 남아야 할 때(P1 산출물 생성)
• 유형 ④ 내부 문서·기안, 유형 ⑫ 개발 코파일럿의 기본 조립일 때

이럴 때는 쓰지 않는다

• 답이 기관 규정·선례 속에 있어 접지와 출처가 핵심일 때(B3)
• 추출 결과가 사람 확정 없이 다음 판정 단계로 흐를 때(B4)
• 런타임에 모델이 필요 없는 정형 취합일 때(B0)

얻는 것

• 문서 작성 시간 단축
• 책임 소재가 사람에게 명확히 남음
• 도입이 쉬워 Enabled의 전형 경로

점검표

• 담당자가 최종 확정한다는 절차가 운영되는가
• 서식·문체 규범이 A9 스킬로 분리되어 있는가
• 초안을 이용자가 직접 고칠 수 있는가(F2)
• 수정 내역이 기록되어 품질 개선에 쓰이는가

구조 — 참여 부품

• A2 모델 서빙 계층 — 초안 생성 모델 호출(행정망이면 내부망 프록시)
• A9 업무 규범 스킬 — 서식·문체·검증 절차를 프롬프트 템플릿으로 고정
• A10 문서 형식 어댑터 — HWPX·엑셀 입출력
• C1 검토 큐 — 담당자가 초안을 확인·수정·확정
• 담당자 — 최종 확정자이자 책임자

변형

• 시스템 내장형: 기관 업무 시스템 안에 초안 기능을 넣은 형태
• 스킬 코파일럿: BYO 코딩 에이전트 + A9 스킬로 배포되는 형태(PAX Enabled 사례에서 가장 흔한 형태)

참조 구현 예

• PAX gov-report-skill — 기획보고서 7대 항목 스킬 코파일럿(카드 참조 구현)

관련 부품

C1 짝 — 사람 확정 절차 · F2 이용자 쪽 대응 — 편집 가능 출력은 B1의 필수 면 · A9 끼울 자리 — 서식·규범 스킬 · B′5 기본 배선 — 유형 ④·⑫ 조립 템플릿의 생성자-비평가 · C2 다음 단계 — 저위험 자동 확정으로 First · B3 승급 경로 — §7.2 진행 경로 1 → 4

참고 자료

Fowler Direct Prompting · InfoQ Editable Output · GoF Decorator

이 부품과 이어지는 가이드라인

• 챗GPT 활용방법 및 주의사항 안내 행정안전부, 2023.5. 공식 게시물 미확인(당시 보도로만 확인).
• 생성형 AI 서비스 이용자를 위한 개인정보 보호 가이드 개인정보보호위원회, 2026.5(게시 2026.5.19).

웹북에서 전체 프로필 보기 ↗ · 패턴 성좌 디렉터리에서 보기 ↗

한 단계의 출력을 다음 단계의 입력으로 넘기는 고정 순서 배선이다. 한 프롬프트에 많은 일을 몰아 시켜 품질이 떨어지는 문제를 막는다.

PAX 사례 109건이 이 부품을 쓴다

맥락

B4 인식 파이프라인의 기본 배선이며, B1·B0·B5 안에서도 흔하다. 단계 순서가 업무 절차로 미리 정해져 있고 AI가 순서를 고를 필요가 없을 때 쓴다.

맞서는 힘(긴장)

• 디버깅·출처 추적의 쉬움 vs 병렬화 불가로 인한 지연
• 단계 분리의 품질 이점 vs 단계가 늘수록 오류 누적
• 고정 순서의 예측 가능성 vs 예외 경로 처리의 경직성

해법

업무 절차를 단계로 나누고 각 단계의 입력·출력 형식을 정해 앞 단계 출력을 다음 단계에 넘긴다. 단계 사이에 형식 검증(스키마)을 두어 오류가 번지기 전에 멈추고, 멈춘 건은 C1 검토 큐나 C3 재처리로 보낸다. 판정·산수 단계는 가능한 한 규칙(B′9)으로 두고 모델은 추출·서술 단계만 맡긴다. 단계 순서를 AI가 바꿔야 한다면 B′8이나 B′7로 옮긴다.

이럴 때 쓴다

• 업무 절차가 고정 순서로 정해져 있을 때
• 각 단계를 따로 검증·추적해야 할 때(유형 ② 접수·심사, ⑧ 취합·변환)
• 단일 에이전트에서 시작하는 첫 배선일 때

이럴 때는 쓰지 않는다

• 하위 작업이 서로 독립이라 동시에 돌려야 지연이 줄 때(B′3)
• 입력에 따라 AI가 다음 도구를 골라야 할 때(B′7)
• 긴 업무를 계획부터 세워야 할 때(B′8)

얻는 것

• 디버깅과 출처 추적이 쉬움
• 단계별 품질 검증 가능
• 구현이 가장 단순

점검표

• 단계마다 입력·출력 형식이 정의되어 있는가
• 단계 사이 검증에서 실패하면 멈추는가
• 단계별 중간 결과를 추적할 수 있는가

구조 — 참여 부품

• 단계 처리기 — 각 단계에서 추출·변환·작성 수행
• 단계 간 형식 검증 — 다음 단계로 넘기기 전 스키마 확인
• C3 상태 머신·롤백 — 실패 단계 재처리

관련 부품

B4 기본 배선 — 인식 파이프라인 · B′8 대안 — 순서를 계획으로 정할 때 · B′9 짝 — 판정 단계를 규칙으로 · C3 기록처·되돌림 — 실패 단계 재처리

참고 자료

Google ADK #1 Sequential · Gulli ch.1 Prompt Chaining · Heiland Multi-layer · adaptive.live 프롬프트 체이닝

웹북에서 전체 프로필 보기 ↗ · 패턴 성좌 디렉터리에서 보기 ↗

GPT·Gemini·Claude·HyperCLOVA X·Upstage 등 상용 모델 API를 서빙 계층을 거쳐 호출해 자체 인프라 없이 최신 모델 성능을 쓴다.

PAX 사례 88건이 이 부품을 쓴다

맥락

E2는 해외 상용 API(또는 국산 상용 모델 API), E1은 인터넷망·클라우드다. E5 등급이 O이거나 비식별 후 전송해도 되는 업무에 맞는다. 대민 상담(B3)·코파일럿(B1)·콘텐츠 생성(B7)에서 흔하다.

맞서는 힘(긴장)

• 모델 성능·도입 속도 vs 데이터 반출·주권
• 종량 과금의 초기 저비용 vs 호출량 증가 시 비용 예측 어려움
• 벤더의 모델 개선 vs 예고 없는 품질 회귀
• 단일 API의 단순함 vs 장애 시 서비스 중단

해법

업무 코드는 서빙 계층만 부르고, 서빙 계층이 상용 API를 호출한다. 행정망 본문이 나가는 경로 앞에는 C5 비식별 전처리를 두고, 대체 모델을 등록해 C7 폴백을 건다(§5 매트릭스 E2 해외 상용 API 행). 모델 버전을 고정하고 모델·프롬프트·설정 조합을 릴리스처럼 관리해 업데이트 전후를 C9로 비교한다. 비용이 문제면 라우팅·캐싱으로 큰 모델 호출을 줄인다. E5가 S 이상이면 이 변형 단독으로는 안 되고 A2.4 내부망 프록시를 거친다.

이럴 때 쓴다

• 인터넷망·클라우드 환경이고 데이터 등급이 O이거나 비식별 후 전송 가능할 때
• PoC 초기에 모델 성능을 빠르게 확인해야 할 때
• 자체 GPU·운영 인력이 없을 때

이럴 때는 쓰지 않는다

• E1이 폐쇄망이면 조립 오류(A2.2·A2.4로)
• E5가 S 이상인데 내부망 프록시가 없을 때(A2.4 필수)
• 상시 서비스인데 대체 경로를 둘 수 없을 때

얻는 것

• 인프라 없이 최신 모델 성능
• 빠른 PoC
• 벤더의 지속적 개선

점검표

• 업무 코드가 상용 API를 직접 부르지 않는가
• 외부로 나가는 프롬프트에서 무엇이 걸러지는지 답할 수 있는가
• API 장애 시 대체 경로가 있는가
• 모델 버전과 호출당 비용·지연이 기록되는가

구조 — 참여 부품

• A2 서빙 계층 — 업무 코드 대신 상용 API를 호출하고 버전·사용량을 기록
• C5 가드레일(비식별 전처리) — 외부 전송 전 민감정보 제거
• 상용 모델 API — 기관 밖에서 추론을 수행
• C7 폴백 스위치 — API 장애·품질 저하 시 대체 모델·수동 처리로 전환

변형

• 해외 상용 API: GPT·Gemini·Claude 등이다. E2 값은 해외 상용 API.
• 국산 상용 API: HyperCLOVA X·Upstage 등 국내 사업자 API. 망·등급 조건은 해외와 같이 따진다.
• 구조화 호출: function calling·JSON Schema로 출력 형식을 고정해 부른다. 판정은 규칙 엔진에 남긴다.

관련 부품

C7 필수 짝 — 상용 API 의존이면 폴백 필수 · C5 선행 — 외부 전송 전 비식별 · A2.4 대안 — 행정망·민감 등급일 때 중계 경유 · C9 짝 — 모델 업데이트 회귀시험

참고 자료

Fowler Direct Prompting · InfoQ 모델 라우팅·캐싱 · Microservice 패턴 Circuit Breaker

이 부품과 이어지는 가이드라인

• 국가 망 보안체계(N²SF) 보안가이드라인 1.0 국가정보원/국가사이버안보센터, 2025.9.
• 내부업무망 SaaS 망분리 예외 적용 보안 해설서 금융보안원, 2026.4(게시 2026.4.20).
• 생성형 AI 개발·활용을 위한 개인정보 처리 안내서 개인정보보호위원회, 2025.8(게시 2025.8.6).

웹북에서 전체 프로필 보기 ↗ · 패턴 성좌 디렉터리에서 보기 ↗

생성물을 이용자가 직접 고쳐 확정하게 한다. 통제감의 실체이며, 수정 내역은 C4 지표와 C6 환류의 입력이 된다.

PAX 사례 50건이 이 부품을 쓴다

맥락

B1 코파일럿(필수 면), B7 콘텐츠 생성기, B4 인식 결과 확정. 유형 ② 접수·심사, ④ 기안 코파일럿, ⑫ 개발 코파일럿, 5a-agg(R19), 2b 시민 제출 준비(R20).

맞서는 힘(긴장)

• 편집 자유도 vs 원본 추적(무엇을 고쳤는지)
• 편집 가능한 공공 서식(HWPX 등) 출력 vs 구현 비용

해법

생성물을 이용자가 바로 고칠 수 있는 형식(편집 화면, HWPX·PPTX 등 네이티브 파일)으로 내고, 이용자가 고친 뒤 확정하게 한다. AI 원안과 수정본의 차이를 기록해 C4 수정률과 C6 환류 입력으로 쓴다. 문서 형식 출력은 A10 어댑터가 받친다.

이럴 때 쓴다

• B1 코파일럿 전반(필수 면)
• 대민 서비스 D1~D7(F1·F2·F7이 최소 요건)
• 유형 ②④⑫, 5a-agg, 2b처럼 F2가 필수인 유형

이럴 때는 쓰지 않는다

• 이용자가 결과를 수정하면 안 되는 판정 결과(판정은 C1 확정 절차로 다룸)
• 조회 결과만 보여 주는 P0 도구

얻는 것

• 이용자 통제감
• 수정 내역이 품질 지표·환류 데이터가 됨
• 공공 서식 재작업 감소

점검표

• 산출물을 이용자가 직접 고칠 수 있는가
• 원안과 수정본 차이가 기록되는가
• 공공 서식 형식으로 편집 가능한가

구조 — 참여 부품

• 편집 화면·네이티브 파일 — 이용자가 직접 고치는 면
• A10 문서 형식 어댑터 — HWPX·PPTX 등 편집 가능한 형식 출력
• C4 감사 로그·지표 — 수정 내역 기록

변형

• 화면 내 편집: 생성 결과를 화면에서 바로 수정·확정
• 네이티브 파일 출력: PPTX·HWPX·피그마 등 이어서 고칠 수 있는 형식으로 산출

참조 구현 예

• PAX cb0abc29707cc710 — PPTX 네이티브·피그마(로컬 MCP)·HTML 세 형식으로 수정 가능한 산출물 출력

관련 부품

C1 짝 — 확정 절차 · B1 끼울 자리 — 코파일럿의 필수 면 · A10 의존 — 편집 가능한 문서 형식 출력 · C6 후속 — 수정 내역이 환류 입력

참고 자료

InfoQ UX Editable Output

이 부품과 이어지는 가이드라인

• 생성형 인공지능 활용 저작물의 저작권 등록 안내서 문화체육관광부·한국저작권위원회. 4종 모음 게시물에 수록.

웹북에서 전체 프로필 보기 ↗ · 패턴 성좌 디렉터리에서 보기 ↗

국민이 신청하고 서류를 제출하는 대민 접점 블록이다. B4 인식 파이프라인이 서류를 읽고 자동 보정·오류 안내로 제출 품질을 올린다.

PAX 사례 9건이 이 부품을 쓴다

맥락

국민·기업이 신청서와 증빙을 내는 접점. §7.3 유형 ② 접수·심사 자동화(D2·D3, P1~P2)의 앞단. 시민이 제출 전에 스스로 서류를 준비하는 도구는 2b 시민 제출 준비로 가른다(R20·R26).

맞서는 힘(긴장)

• 제출 편의 vs 서류 검증 엄격성
• 자동 보정의 편리함 vs 민원인 의사와 다른 수정 위험
• 서류 속 숨은 지시·매크로(신뢰 불가 입력) vs 자동 처리
• OCR·추출 정확도 vs 사람 확인 비용

해법

입구에는 F4 구조화 입력으로 서식·단계별 입력을 받아 누락을 막는다. 제출 서류는 A10 문서 어댑터와 B4 인식 파이프라인(OCR·VLM 문서이해)이 읽어 항목을 추출하고, 누락·형식 오류를 제출 즉시 안내한다. 추출 결과는 F2 편집 가능 출력으로 민원인이 고칠 수 있게 하고, 시스템에 쓰기 전 C1 검토 큐나 이용자 자기확인(R16)을 둔다. 서류는 S11 파일 검사를 거쳐 서류별로 격리해 처리한다(S6). 접수 결과를 운영 DB에 바로 쓰면 P2이므로 C3 롤백·C4 로그·C8 권한 경계를 함께 둔다.

이럴 때 쓴다

• 신청서 누락·서류 오류로 보완 요구가 반복될 때
• 담당자가 제출 서류 내용을 손으로 옮겨 적을 때
• 심사(D3) 앞단에서 서류를 정형 데이터로 만들어야 할 때

이럴 때는 쓰지 않는다

• 요건 충족 여부를 판정하면 그 부분은 D3 자격·심사
• 받은 문서를 담당 부서로 보내는 것이 핵심이면 D4(대민) 또는 D8.6(내부)
• 국민 접점 없이 기관 내부 문서를 정리하면 D8 하위 블록

얻는 것

• 보완 요구·재방문 감소
• 담당자의 옮겨 적기 제거
• 심사 단계 입력의 정형화

점검표

• 민원인이 추출 결과를 확인·수정할 수 있는가
• 제출 서류가 서류별로 격리되어 처리되는가
• 시스템 반영 전 확인 단계가 있는가
• 잘못 반영된 접수를 되돌릴 수 있는가

구조 — 참여 부품

• 민원인·신청인 — 신청서를 쓰고 서류를 내고 추출 결과를 확인
• F4 구조화 입력 — 서식·단계별 입력으로 누락을 입구에서 막음
• A10 문서 형식 어댑터 — HWPX·PDF·이미지 서류를 읽음
• B4 인식 파이프라인 — 서류에서 항목을 추출하고 형식 오류를 찾음
• F2 편집 가능 출력 — 추출 결과를 민원인·담당자가 직접 고치는 면
• C1 검토 큐 — 시스템 반영 전 확인

변형

• 기관 접수형: 기관이 받은 서류를 추출·분류해 심사 대기열로 넘긴다(유형 2a).
• 시민 제출 준비형: 시민이 제출 전에 스스로 서류·초안을 정리하도록 돕는다. C1 자기확인 게이트와 F2가 필수다(유형 2b, R20·R26).
• 자동 보정·오류 안내형: 제출 즉시 누락·형식 오류를 알려 주고 보정 제안을 준다.

관련 부품

D3 짝 — 접수 뒤 심사 · F4 이 블록의 면 — 구조화 입력 · S6 필수 보안 — 서류별 격리 LLM · S11 권장 보안 — 파일 검사 · D1 선행 블록 — 안내 뒤 신청

참고 자료

Davis Levine, Service Design Patterns: An alpha list of patterns (2017) · 카탈로그 §7.3 유형 ② 접수·심사 자동화 · 카탈로그 §7.4 유형 ② 위협 모델

이 부품과 이어지는 가이드라인

• AI 정부 서비스 사례집 행정안전부(NIA 공동), 2026.3(게시 2026.3.24).

웹북에서 전체 프로필 보기 ↗ · 패턴 성좌 디렉터리에서 보기 ↗

개인정보·환각·편향·형식 오류가 프롬프트나 산출물에 들어가지 못하게 시스템이 경계에서 걸러낸다. 비식별 전처리, 출처 검증, 구조적 출력 제약이 대표 변형이다.

PAX 사례 44건이 이 부품을 쓴다

맥락

외부 모델을 부르거나 대민에 답하는 모든 B 부품. 특히 E2 해외 상용 API, E5 S 이상 데이터, B3 지식 접지 상담, 유형 ① 대민 상담, ④ 기안, ⑥ 콘텐츠, ⑦ 대조·점검, ⑨ 인수인계, ⑬ 비식별·정제 도구.

맞서는 힘(긴장)

• 차단의 엄격함 vs 과잉 차단으로 인한 유용성 저하
• 비식별 강도 vs 문맥 보존
• 결정적 검증의 신뢰성 vs 구현 범위

해법

프롬프트가 기관 밖으로 나가기 전 PII를 마스킹하고 원복 키를 보관하는 비식별 전처리기를 둔다. 응답에는 인용을 원본(법령정보센터·통계표 등)과 대조하는 출처 검증기와, JSON 스키마·허용 목록 같은 구조적 출력 제약을 건다. 근거가 없으면 답하지 않거나 '확인 필요'로 표시한다. 차단 사유는 C4에 남기고, 이용자에게는 F1 출처와 F7 한계 안내로 보인다. 사람이 하는 팩트체크·법무 심의는 C5가 아니라 C1.2에 둔다.

이럴 때 쓴다

• E2 해외 상용 API로 행정망 본문이 외부로 나갈 때(필수)
• E5 S 이상 개인정보·민감정보를 다룰 때
• B3 대민 응답처럼 인용·수치의 정확성이 신뢰의 핵심일 때
• C5가 필수인 유형 ①④⑥⑦⑨⑪⑬

이럴 때는 쓰지 않는다

• E1 로컬 PC 완결로 데이터가 밖으로 나가지 않을 때 비식별은 불필요해질 수 있다(§5 매트릭스, 단 출처 검증은 별개)
• 사람이 수행하는 심의만 있을 때(C1.2로 태그)
• 적대적 입력 탐지가 목적일 때(S8)

얻는 것

• 개인정보 외부 유출 차단
• 환각 인용 감소
• 상용 API 사용 조건 충족

점검표

• 외부 전송 전 무엇이 걸러지는지 답할 수 있는가
• 인용이 원본과 대조되는가
• 근거 없을 때의 동작이 정해져 있는가
• 차단 사유가 기록되는가

구조 — 참여 부품

• 비식별 전처리기 — 외부 전송 전 PII 마스킹과 원복
• 출처 검증기 — 인용을 원본과 대조해 환각을 걸러냄
• 출력 제약 — 스키마·허용 목록·금칙어로 출력 형식 제한
• F1 출처 표시 — 검증된 출처를 이용자에게 보임

변형

• 로컬 비식별 전처리기: 외부 전송 전 PII 마스킹·원복(PAX에서 독립 부품으로 확인)
• 출처 검증기: 인용을 법령정보센터·KCI·CrossRef 원본과 대조
• 구조적 출력 제약·스키마 검증: JSON 스키마·허용 목록으로 출력 범위를 고정(v0.6 식별 신호 추가)
• 근거 재대조형 환각 검증: 추출값의 근거 문장을 원문에서 재대조해 '문서확인/AI추정/문서에없음'으로 재분류

참조 구현 예

• PAX Korean Stats MCP — KOSIS 통계 출처 자동 인용

관련 부품

F1 이용자 쪽 대응 — 검증된 출처 표시 · F7 이용자 쪽 대응 — 근거 없을 때 한계 안내 · A2.4 짝 — 민감정보 외부 유출 대응 · C1.2 구분 — 사람이 하는 심의 · S8 구분 — 적대적 입력 탐지 · S13 변형 후보 — 로컬 비식별 게이트

참고 자료

Fowler Guardrails · InfoQ Output Guardrails·Model Critic · Gulli ch.18 Guardrails · Heiland 규칙 기반 안전장치 · Proxy · Decorator

이 부품과 이어지는 가이드라인

• 금융분야 인공지능 보안 안내서 금융보안원, 2026.6(게시 2026.6.19).
• 공공 AX 프라이버시 보호 안내서 개인정보보호위원회, 2026.7(2026.7.23 제11회 과학기술관계장관회의에서 공개).

웹북에서 전체 프로필 보기 ↗ · 패턴 성좌 디렉터리에서 보기 ↗

배포 전에 업무 맥락의 질문·정답·채점 기준을 세트로 만들어, 프롬프트·모델·설정의 모든 변경을 같은 자로 재고 회귀를 잡는다.

PAX 사례 15건이 이 부품을 쓴다

맥락

모델·프롬프트·검색 설정이 바뀌는 모든 AI 부품. 특히 B3 지식 접지(검색 품질은 평가 없이 개선 불가), E2 상용 API(예고 없는 모델 업데이트), 유형 ①④⑤a⑦⑩⑫.

맞서는 힘(긴장)

• 평가 세트 구축 비용 vs 변경의 안전
• 사람 라벨의 정확성 vs LLM 심판의 규모
• 세트 고정(비교 가능성) vs 업무 변화 반영(세트 갱신)

해법

RAG를 붙이거나 모델을 고르기 전에 업무 질문·정답·채점 기준(사람 라벨 + LLM 심판)을 세트로 만든다. 프롬프트·모델·설정 조합을 릴리스처럼 버전 관리하고, 모든 변경마다 같은 세트로 재평가해 점수표와 회귀 실패 목록을 남긴다. 기준을 넘지 못하면 배포하지 않는 게이트를 둔다. 학습 데이터와 평가 세트는 누수 없이 분리한다.

이럴 때 쓴다

• RAG·튜닝을 붙이기 전(§7.1 4단계, §7.2 진행 경로 2단계)
• E2 상용 API로 모델 업데이트가 예고 없이 올 때(필수)
• 폐쇄망 로컬 모델의 교체 시점
• C6 환류·C7 모델 교체를 하려 할 때(선행 조건)

이럴 때는 쓰지 않는다

• B0 결정적 도구처럼 비결정적 출력이 없을 때
• 유형 5a 중 순수 시각화(R10: 면제)

얻는 것

• 변경의 효과와 회귀를 숫자로 확인
• 모델 교체·재학습의 안전
• 모델 선정 근거 확보

점검표

• 업무 질문·정답·채점 기준 세트가 있는가
• 프롬프트·모델·설정이 버전 관리되는가
• 변경마다 재평가한 기록이 있는가
• 기준 미달 시 배포를 막는 절차가 있는가

구조 — 참여 부품

• A1 데이터 자산 서비스 — 정답의 출처
• A2 모델 서빙 계층 — 평가 대상 모델의 버전 고정
• 채점기 — 사람 라벨과 LLM 심판으로 점수 산출
• 배포 게이트 — 기준 미달 변경의 배포 차단
• C4 감사 로그·지표 — 운영 지표와 평가 점수 대조

변형

• 모델 선정 블라인드 비교: 여러 모델을 동일 조건·평가 의도 은닉으로 채점해 운영 모델 선별
• 배포 전 회귀검증 게이트: 응답 로직 변경 시 기준 질의의 기대응답 대조를 통과해야 배포
• 재학습 모델 비교 게이트: 재학습 시 이전 버전 대비 성능을 비교해 기준 상회 모델만 배포
• 공인시험 기반 검증 세트: 검출 기준을 명시한 검증 세트와 공인시험

참조 구현 예

• PAX MOPAN — 기각한 시도 15건의 실패 기전을 기술 보고서로 남김

관련 부품

C6 후속 — 환류의 재검증 단계 · C7 후속 — 모델 교체(Blue-Green) 전 회귀시험 · B3 끼울 자리 — 검색 품질 개선의 전제 · A1 의존 — 정답 출처 · A2 의존 — 모델 버전 고정

참고 자료

Fowler Evals · InfoQ AI-Ops · Prompt-Model-Config Versioning · Gulli ch.19 Evaluation & Monitoring

이 부품과 이어지는 가이드라인

• 공공부문 AI 도입·활용 가이드 행정안전부·NIA, 2026.6. 현행 핵심.
• 인공지능 위험 사례집 국가정보원, 2025.11(게시 2025.11.20).
• 금융분야 AI 위험관리프레임워크 금융감독원, 2026.6.
• AI 기반 신용평가모형 검증체계 금융위원회, 2023(보도 2023.4.17).
• 합성데이터 생성·활용 안내서 개인정보보호위원회, 2024.12(자료실 게시 2025.1.3).
• 인공지능 영향평가 가이드라인 과학기술정보통신부, 2026.1.
• 신뢰할 수 있는 인공지능 개발 안내서 과학기술정보통신부·TTA, 일반 2023·2024년판, 분야별 2023~2024.
• 인공지능(AI) 표준화 전략 로드맵 산업통상자원부 국가기술표준원, 2024.8(2024.8.28 제2차 AI산업정책위원회에서 발표).
• KS X ISO/IEC 42001 인공지능 경영시스템 국가기술표준원 고시 제2025-0413호, 발행 2025.10.30(한국표준협회). ISO/IEC 42001:2023과 일치(IDT).
• KS X ISO/IEC 23894 인공지능 리스크관리 지침 국가기술표준원 고시 제2025-0413호, 발행 2025.10.30. ISO/IEC 23894:2023과 일치(IDT).
• KS X ISO/IEC TS 4213 기계 학습 분류 성능에 대한 평가 국가기술표준원 고시 제2025-0413호, 발행 2025.10.30. ISO/IEC TS 4213:2022와 일치(IDT).
• KS X ISO/IEC 22989 인공지능 개념 및 용어, KS X ISO/IEC TR 24028 인공지능의 신뢰성 개요 국가기술표준원 고시 제2023-0612호, 두 표준 모두 발행 2023.12.14. 각각 ISO/IEC 22989:2022, ISO/IEC TR 24028:2020과 일치(IDT).

웹북에서 전체 프로필 보기 ↗ · 패턴 성좌 디렉터리에서 보기 ↗

모델·API·도구가 멈추거나 품질이 떨어질 때 대체 모델·규칙 기반 축소·수동 처리로 경로를 바꿔 서비스가 끊기지 않게 한다.

PAX 사례 12건이 이 부품을 쓴다

맥락

상용 API 또는 단일 모델에 의존하는 모든 B 부품. 특히 E2가 해외 상용 API이거나 B5처럼 상시 가동해야 하는 서비스.

맞서는 힘(긴장)

• 가용성 vs 비용(대체 경로를 상시 유지하는 비용)
• 품질 일관성 vs 대체 경로의 품질 저하
• 자동 전환의 신속성 vs 전환 판단의 오작동 위험

해법

오류율·지연·단가 신호를 감시하다가 임계를 넘으면 재시도 → 기존 API → 대체 MCP → 대체 모델 → 규칙 기반 축소 → 수동 전환 순으로 경로를 바꾼다. 장애 범위는 격리(Bulkhead)로 한 부품에 가두고, 모델 교체는 무중단(Blue-Green)으로 한다. 전환은 C4 감사 로그에 남기고, 복구 후에는 원래 경로로 되돌리는 조건도 함께 정한다. 대체 경로의 품질 저하는 이용자에게 F7 한계 안내로 알린다.

이럴 때 쓴다

• E2가 해외 상용 API이거나 혼합일 때
• B5 현장 감지·경보처럼 상시 서비스일 때 필수
• 대민 자동응답(B3 대민형)처럼 중단 비용이 큰 경우
• 유형 ① 대민 상담(상시), ③ 현장 감시

이럴 때는 쓰지 않는다

• B0 결정적 도구처럼 런타임 AI가 없을 때
• 로컬 완결 도구로 외부 의존이 없을 때
• 유형 ①·⑦에서 model_dependency가 없음(비LLM)일 때는 필수에서 면제(R7)

얻는 것

• 핵심 서비스 연속성
• 벤더 종속 완화(X4 예방)

점검표

• 대체 경로가 최소 하나 구현되어 있는가
• 전환 임계와 복귀 조건이 수치로 정의되어 있는가
• 전환 이력이 로그로 남는가
• 실증 기간에 전환을 1회 이상 실행한 기록이 있는가

구조 — 참여 부품

• A2 모델 서빙 계층 — 주 경로와 대체 모델을 함께 노출하는 끼울 자리
• 상태 감시기 — 오류율·지연을 임계와 비교해 전환을 결정
• C4 감사 로그·지표 — 전환 시점·사유·복구를 기록
• 수동 처리 담당자 — 모든 자동 경로가 실패했을 때의 최종 경로

변형

• 대체 모델 전환: 상용 API 장애 시 다른 상용 모델 또는 로컬 오픈웨이트 모델(A2.2)로 전환
• 규칙 기반 축소: AI 판정 대신 결정적 규칙·공식 템플릿으로 기능을 줄여 계속 운영(Fail-safe)
• 수동 전환: 담당자 처리로 되돌리고 접수만 유지
• 격리(Bulkhead): 장애가 난 부품의 영향 범위를 가둠
• 무중단 교체(Blue-Green): 모델 업데이트를 병행 운영 후 전환하고 급락 시 이전 안정 모델로 복귀

참조 구현 예

• PAX MiroFish-Ko — Codex CLI → Claude CLI → 로컬 LLM 폴백 (증거 E1)

관련 부품

C8 짝 — 권한 경계는 막는 통제, 폴백은 이어 가는 통제 · A2 끼울 자리 — 대체 모델은 모델 서빙 계층에 등록 · C4 기록처 — 헬스체크가 전환 신호, 전환 이력 기록 · C9 선행 — 모델 교체(Blue-Green) 전 회귀시험 · F7 이용자 쪽 대응 — 대체 경로 운영 중 한계 안내

참고 자료

Gulli ch.12 Exception Handling · Microservice 패턴 #15 Circuit Breaker · Bulkhead · Blue-Green · PAX Native 관문 4

이 부품과 이어지는 가이드라인

• 프런티어 AI 보안 위협 금융분야 대응 요령 금융보안원, 2026.7(게시 2026.7.1).

웹북에서 전체 프로필 보기 ↗ · 패턴 성좌 디렉터리에서 보기 ↗

답변에 근거 문서·조문·통계표 ID를 붙여 이용자가 원문을 직접 확인할 수 있게 한다. C5 출처 검증의 이용자 면이다.

PAX 사례 87건이 이 부품을 쓴다

맥락

B3 지식 접지 상담, A8 공공데이터 MCP, 법령·통계·규정을 인용하는 모든 응답. 유형 ① 대민 상담, ⑤b 데이터 에이전트, ⑦ 대조·점검, ⑨ 인수인계(원문 위치).

맞서는 힘(긴장)

• 출처 상세도 vs 화면 복잡도
• 출처 표시 vs 실제 검증(표시만 하고 검증하지 않으면 잘못된 신뢰)
• 원문 링크의 신선도 vs 유지 비용

해법

답변의 각 주장에 근거 문서·조문 번호·통계표 ID·원문 위치를 붙이고, 원문으로 바로 이동하는 링크를 제공한다. 출처의 갱신 시각과 이용 조건을 함께 보여 오래된 자료를 현재로 오인하지 않게 한다. 표시되는 출처는 C5 출처 검증을 통과한 것이어야 한다.

이럴 때 쓴다

• B3 지식 접지 응답 전반
• 대민 서비스 D1~D7(F1·F2·F7이 최소 요건)
• 유형 ①⑤b⑦⑨처럼 F1이 필수인 유형

이럴 때는 쓰지 않는다

• 모델의 판정 근거(요인·BBox·사유 코드)를 보여 주려는 경우(F9)
• B0 결정적 도구로 원천 데이터를 그대로 보여 주는 경우(출처가 곧 화면)

얻는 것

• 이용자 신뢰 확보
• 원문 대조로 오류 발견
• 공식 판단 여부를 이용자가 스스로 확인

점검표

• 모든 답변에 출처가 붙는가
• 출처가 원본과 대조되는가
• 갱신 시각이 보이는가
• 이용자가 원문을 바로 열 수 있는가

구조 — 참여 부품

• C5 가드레일 필터 — 출처 검증
• 이용자 — 원문을 열어 대조

변형

• 문서·조문 인용: 근거 문서명과 조문 번호를 답변에 붙임
• 통계표 ID 인용: 통계 답변에 통계표 ID를 자동 인용(KOSIS MCP 방식)
• 출처·신선도 표시: 출처에 갱신 시각과 이용 조건을 함께 표시

참조 구현 예

• PAX Korean Stats MCP — KOSIS 통계를 자연어로, 출처 자동 인용
• PAX 224e2d82d9369735 — 모든 출처에 갱신 시각과 이용 조건을 함께 저장한 출처·신선도 표시
• PAX 9998aba2d1f55c24 — 항목별 법령·처분사례 원문 연계(F1)

관련 부품

C5 시스템 쪽 대응 — 출처 검증 · F7 짝 — 한계 안내와 함께 신뢰의 실체 · F9 구분 — 판정 근거 표시 · B3 끼울 자리 — 지식 접지 응답 · A3 출처 제공 — 공공 API 원문

참고 자료

aiuxpatterns Results · Show Citations

이 부품과 이어지는 가이드라인

• 인공지능 투명성 확보 가이드라인 과학기술정보통신부, 2026.1.
• 생성형 인공지능 결과물에 의한 저작권 분쟁 예방 안내서 문화체육관광부·한국저작권위원회. 4종 모음 게시물에 수록.

웹북에서 전체 프로필 보기 ↗ · 패턴 성좌 디렉터리에서 보기 ↗

AI가 무엇을 못 하는지, 얼마나 확신하는지, 공식 판단이 아님을 이용자가 볼 수 있는 곳에 적어 과신을 막는다.

PAX 사례 63건이 이 부품을 쓴다

맥락

대민 상담·안내(유형 ①), 대조·점검(⑦), 분석·예측(5a·⑩), 비식별 도구(⑬). 대체 경로로 운영 중인 C7 상황.

맞서는 힘(긴장)

• 정직한 한계 고지 vs 서비스 신뢰도 하락 우려
• 신뢰도 수치 표시의 정확성 vs 이용자 이해

해법

화면에 사용 한계(대상 범위·미검증 항목·처리 시간), 신뢰도, '공식 판단 아님' 고지를 결과 옆에 배치한다. 저신뢰 결과는 표시를 달리하고, C7 대체 경로로 운영 중이면 품질 저하를 알린다. 고지 문구는 법률 자문·유권해석을 대체하지 않는다는 점을 분명히 적는다.

이럴 때 쓴다

• 대민 서비스 D1~D7(F1·F2·F7 최소 요건)
• 유형 ①⑦5a⑩⑬처럼 F7이 필수인 유형
• C7 대체 경로 운영 중

이럴 때는 쓰지 않는다

• 유형 ①·⑦에서 model_dependency가 없음(비LLM)이면 필수에서 면제(R7). 단 비LLM 도구도 한계 고지는 권장된다

얻는 것

• 과신·오인 방지
• 기관 책임 범위 명확화

점검표

• 이용자가 '공식 판단이 아님'을 결과 화면에서 읽을 수 있는가
• 사용 한계가 명시되어 있는가
• 저신뢰 결과가 구분 표시되는가

구조 — 참여 부품

• 고지 문구 — 사용 한계·공식 판단 아님
• 신뢰도 표시 — 결과별 확신 수준
• C7 폴백 스위치 — 대체 경로 운영 여부 제공

변형

• 공식 판단 아님 고지: '유권해석 아님'·'참고용' 고지
• 신뢰도 표시: 결과별 신뢰도·등급 표시
• 미검증 항목 열거: 검증되지 않은 조건·처리 시간을 명시

참조 구현 예

• 소방기술민원 답변생성기 — '유권해석 아님' 고지
• PAX 9998aba2d1f55c24 — 비공식 참고 도구·공식 판단 아님 고지와 원문 연계를 함께 갖춘 자가점검 UI
• PAX 759835514b4b7ca4 — README가 미검증 항목을 열거하고 '최종 판단은 항상 사람' 고지
• PAX 6c0fa4c0c3508ff0 — 처리 시간과 라이선스 동의 절차를 정직하게 고지한 온디바이스 비전 도구
• PAX aef95509b7611c96 — 비LLM 스크리닝 도구가 실제 검토를 대체하지 않음을 화면에 명시
• PAX 0a2535cadf2d621a — 법률 자문·안전 인증을 대체하지 않는다는 한계 고지

관련 부품

C7 시스템 쪽 대응 — 대체 경로 운영 중 안내 · F1 짝 — 이용자 신뢰의 실체 · F9 짝 — 판정 근거와 함께 표시(F9+F7 표준형) · C5 짝 — 근거 없을 때의 동작

참고 자료

InfoQ Contextual Guidance · aiuxpatterns Inline Help

이 부품과 이어지는 가이드라인

• 공공기관 신뢰가능 AI 구현 실용가이드 NIA, 2019(게시 2019.12.30).
• 인공지능 투명성 확보 가이드라인 과학기술정보통신부, 2026.1.
• 신뢰할 수 있는 인공지능 개발 안내서 과학기술정보통신부·TTA, 일반 2023·2024년판, 분야별 2023~2024.
• KS X ISO/IEC TS 4213 기계 학습 분류 성능에 대한 평가 국가기술표준원 고시 제2025-0413호, 발행 2025.10.30. ISO/IEC TS 4213:2022와 일치(IDT).
• KS X ISO/IEC 22989 인공지능 개념 및 용어, KS X ISO/IEC TR 24028 인공지능의 신뢰성 개요 국가기술표준원 고시 제2023-0612호, 두 표준 모두 발행 2023.12.14. 각각 ISO/IEC 22989:2022, ISO/IEC TR 24028:2020과 일치(IDT).

웹북에서 전체 프로필 보기 ↗ · 패턴 성좌 디렉터리에서 보기 ↗

기존 화면에 요약·챗봇 버튼만 붙이고 업무 순서와 사람·AI의 역할 분담은 그대로 두어, AI가 있어도 업무 산출물이 바뀌지 않는 함정이다.

맥락

기존 행정정보시스템·업무 포털에 AI 기능을 추가하는 과제, 특히 성과 지표가 'AI 기능 탑재 여부'나 호출 수로 잡힌 과제. R24에 따라 AI 런타임이 전혀 없는 순수 행정정보시스템도 이 태그(AI 무관)로 표기한다.

맞서는 힘(긴장)

• 빠른 도입 실적 vs 업무 흐름 재설계 비용
• 기존 시스템 무변경(안정성) vs 산출물 단위의 역할 분담
• 'AI 탑재' 홍보 효과 vs 실제 처리시간·수정률 개선

해법

먼저 가치 흐름 규칙(R1)으로 사람 또는 국민이 최종으로 받는 핵심 산출물을 정하고, 그 산출물을 AI가 어떤 모양으로 분담할지 B 업무 컴포넌트를 하나 고른다(초안→사람 확정이면 B1, 근거 접지 답변이면 B3, 서류 추출이면 B4). 사람이 확정하는 지점은 C1 검토 큐로, 이용자가 고쳐 확정하는 면은 F2 편집 가능한 출력으로 명시한다. 흐름이 바뀌었는지는 C4 감사 로그·지표의 처리시간·수정률로 잰다. AI 런타임이 전혀 없는 행정정보시스템이라면 AI로 포장하지 말고 R24대로 B0·service_type 0·platform 공란·X1(AI 무관)으로 정직하게 분류한다.

이럴 때 쓴다

• AI 기능이 추가됐다는 서술은 있으나 처리 단계 수·결재선·담당자 역할이 바뀌었다는 서술이 없다
• 성과 지표가 AI 호출 수·이용 만족도뿐이고 처리시간·수정률 같은 산출물 지표가 없다
• 챗봇이 기관 업무 데이터·시스템과 연결되지 않은 범용 대화에 머문다
• AI 런타임이 전혀 없는 행정정보시스템이 AX 과제로 분류되어 있다(R24)

이럴 때는 쓰지 않는다

• B1 코파일럿처럼 AI가 초안을 만들고 사람이 확정하는 역할 분담이 실제로 서술된 경우
• B8 레거시 오버레이처럼 표준 시스템 위에 얹었지만 업무 산출물을 AI가 만들어 내는 경우
• B0 결정적 도구가 반복 취합 업무를 실제로 줄이고 AI로 포장하지 않은 경우(Ready 부품으로 정직하게 분류된 경우)

얻는 것

• 기존 시스템을 건드리지 않아 도입이 빠르고 장애 위험이 낮다
• 'AI 탑재' 실적을 즉시 보고할 수 있다

점검표

• AI 도입 전후 처리 단계·담당자 역할의 차이를 한 장으로 보여 줄 수 있는가
• AI가 만드는 산출물과 사람이 확정하는 지점이 명시되어 있는가
• 처리시간·수정률 같은 산출물 지표가 도입 전 기준선과 함께 있는가
• AI 런타임이 없는데 AI 과제로 보고하고 있지 않은가

구조 — 참여 부품

• 덧붙인 AI 기능 — 요약·대화 버튼. 업무 산출물 생산에 역할이 없음
• B1 코파일럿 — 교정 후 초안→사람 확정으로 산출물 역할을 나누는 대체 부품
• C1 검토 큐 — 교정 후 사람이 확정하는 지점을 명시
• C4 감사 로그·지표 — 흐름이 실제로 바뀌었는지 처리시간·수정률로 측정

변형

• 요약 버튼형: 기존 화면에 '요약' 버튼만 추가하고 결재·처리 단계는 그대로
• 범용 챗봇 부착형: 업무 데이터와 연결되지 않은 범용 대화창을 포털에 부착
• AI 무관 행정시스템(R24): AI 런타임이 전혀 없는 순수 행정정보시스템(예: 교육·인증 학습관리시스템). B0·service_type 0·platform 공란과 함께 X1(AI 무관)로 표기

관련 부품

B1 대체 — 초안→사람 확정으로 산출물 역할을 나누는 교정 목표 · C1 교정에 끼울 자리 — 사람이 확정하는 지점 · B0 정직한 분류 — AI 런타임이 없으면 B0 Ready 부품으로(R24) · C4 기록처 — 흐름 변화의 증거(처리시간·수정률) · X8 이웃 안티패턴 — 개수·탑재를 성과로 세는 같은 뿌리

참고 자료

PAX 기준서 '기능 탑재가 아니라 실제 업무 산출물이 관건' · PAX 원칙 '도구를 호출해도 기존 흐름이 그대로면 Enabled'

웹북에서 전체 프로필 보기 ↗ · 패턴 성좌 디렉터리에서 보기 ↗

상용 API 하나에 전 기능이 묶여 있어, 그 API가 멈추거나 바뀌면 무슨 일이 생기는지 아무도 답하지 못하는 함정이다.

맥락

E2가 해외 상용 API이고 B 부품이 그 API를 게이트웨이 없이 직접 호출하는 과제. 특히 대민 자동응답·상시 감지처럼 중단 비용이 큰 서비스.

맞서는 힘(긴장)

• 최고 성능 단일 모델 vs 대체 경로 유지 비용
• 빠른 시범 구축 vs 게이트웨이·폴백 설계
• 모델 업데이트의 성능 향상 vs 예고 없는 동작 변화

해법

모델 호출을 A2 모델 서빙 계층 뒤로 숨겨 B 부품이 특정 벤더 API를 직접 부르지 않게 한다. 그 위에 C7 폴백 스위치로 재시도 → 기존 API → 대체 MCP → 대체 모델(A2.2 주권형 로컬 등) → 규칙 기반 축소 → 수동 전환의 경로를 정하고 전환 이력을 C4에 남긴다. 모델 교체가 실제로 안전한지는 C9 평가 세트로 재어 버전을 고정한다. 모델 중립(BYO) 배포라면 A9 스킬 형태로 배포해 모델 교체 가능성 자체를 폴백으로 삼는다.

이럴 때 쓴다

• E2가 해외 상용 API인데 C7 폴백이 없다(분류기준 검증 경고 조건)
• 'API가 멈추면 어떻게 되는가'에 대한 서술이 없다
• 모델 버전 고정·교체 시험 기록이 없다
• A2 게이트웨이 없이 B 부품이 벤더 API를 직접 호출한다

이럴 때는 쓰지 않는다

• B0 결정적 도구처럼 런타임 AI가 없는 경우
• 로컬 완결 도구로 외부 의존이 없는 경우
• 모델 중립(BYO) 배포로 A9 스킬 형태라 이용자가 모델을 바꿀 수 있는 경우
• 상용 API를 쓰되 A2 게이트웨이와 C7 대체 경로가 구현된 경우

얻는 것

• 가장 성능 좋은 모델을 가장 빨리 쓴다
• 게이트웨이·대체 모델 유지 비용이 없다

점검표

• 모든 모델 호출이 A2 한 곳을 지나는가
• 대체 경로가 하나 이상 구현되어 있는가
• 대체 모델의 품질이 C9로 측정되어 있는가
• 모델 버전이 고정되어 있고 교체가 릴리스처럼 관리되는가

구조 — 참여 부품

• A2 모델 서빙 계층 — 벤더 API를 숨기는 끼울 자리
• C7 폴백 스위치 — 장애 시 대체 경로로 전환
• C9 평가 세트·회귀시험 — 대체 모델의 품질을 같은 자로 확인
• 단일 상용 API — 모든 기능이 묶인 의존 대상

변형

• 직접 호출형: 게이트웨이 없이 코드 곳곳에서 벤더 SDK를 직접 호출
• 벤더 내장형: 벤더 제품 안에 모델이 박혀 교체 자체가 불가능(A2.6 블랙박스와 결합)
• 버전 미고정형: 모델 버전을 고정하지 않아 업데이트가 예고 없이 동작을 바꿈

관련 부품

C7 대체 — 장애 시 이어 가는 폴백 경로 · A2 끼울 자리 — 벤더 API를 숨기는 모델 서빙 계층 · A2.2 대체 모델 후보 — 주권형 로컬 · C9 선행 — 대체 모델 품질 확인과 버전 고정 · A9 BYO 배포에서의 대응 — 스킬 형태면 모델 교체 가능

참고 자료

Gulli ch.12 Exception Handling · Microservice Circuit Breaker · PAX Native 관문 4

이 부품과 이어지는 가이드라인

• 인공지능과 머신러닝 공급망 위험 및 완화방안 국가정보원, 2026.3(게시 2026.3.5).

웹북에서 전체 프로필 보기 ↗ · 패턴 성좌 디렉터리에서 보기 ↗

평가 세트 없이 검색을 붙여 '좋아진 것 같다'로 배포하고, 검색으로 풀릴 문제를 파인튜닝으로 푸는, 진행 경로를 건너뛰는 함정이다.

맥락

B3 지식 접지·B1 코파일럿에 RAG를 붙이거나 A2.3 튜닝형 모델을 만드는 과제, 특히 규정·매뉴얼 기반 질의응답.

맞서는 힘(긴장)

• 눈에 보이는 기술 성과 vs 지루한 평가 세트 구축
• 빠른 배포 vs 변경마다 재는 자
• 자체 모델 보유 인상 vs 검색으로 충분한 문제

해법

§7.2 진행 경로를 순서대로 밟는다. B1 직접 프롬프트에서 시작해 두 번째 단계에서 C9 평가 세트(업무 질문·정답·채점 기준)를 먼저 만들고, 이후 A9 규범 스킬·F4, B3 지식 접지(A1 데이터 자산), B3 검색 품질(Hybrid·Rewriting·Reranker), C5 가드레일·F1 순으로 붙이며 매 단계를 C9로 잰다. A2.3 튜닝은 진행 경로의 마지막 단계로, 검색·규범 스킬로 풀리지 않는다는 것이 C9 점수로 확인됐을 때만 한다. 모델·프롬프트·설정 조합은 릴리스처럼 버전 관리한다.

이럴 때 쓴다

• RAG·튜닝을 도입했는데 업무 질문·정답·채점 기준 세트가 없다
• '답변 품질 향상'을 수치 없이 서술하거나 단발 정확도만 보고한다
• 자주 바뀌는 규정·매뉴얼 질의를 파인튜닝으로 풀었다
• 검색 품질(재현율·리랭킹)을 재지 않고 튜닝으로 넘어갔다

이럴 때는 쓰지 않는다

• C9 세트로 RAG 전후를 비교한 뒤 배포한 경우
• 검색·스킬로 풀리지 않음을 C9 점수로 확인한 뒤 튜닝한 경우
• B2·B4처럼 비LLM 학습 모델로 원래 학습이 해법인 경우(RAG가 대안이 아님)

얻는 것

• RAG·튜닝이라는 눈에 보이는 기술 성과를 빨리 낸다
• 평가 세트 구축에 현업 시간을 쓰지 않는다

점검표

• 업무 질문·정답·채점 기준 세트가 있는가
• RAG 전후 점수 비교가 있는가
• 튜닝을 선택한 근거가 C9 점수로 설명되는가
• 모델·프롬프트·설정 조합이 버전 관리되는가

구조 — 참여 부품

• C9 평가 세트·회귀시험 — 빠진 부품. 모든 변경을 같은 자로 잼
• B3 지식 접지 — 튜닝 전에 먼저 시도할 검색 기반 접지
• A2.3 튜닝형 모델 — 진행 경로의 마지막 단계
• A1 데이터 자산 서비스 — 정답 출처와 검색 코퍼스

변형

• 평가 없는 RAG: 검색을 붙이고 몇 개 질문을 눈으로 보고 배포
• RAG 없는 튜닝: 문서 검색으로 풀릴 최신 규정 질의를 파인튜닝으로 해결하려 함
• 평가 없는 튜닝: 튜닝 전후를 같은 세트로 비교하지 않음

관련 부품

C9 대체 — RAG·튜닝보다 먼저 만들 평가 세트 · B3 선행 — 튜닝 전에 시도할 지식 접지 · A2.3 순서 — 진행 경로의 마지막 단계 · A9 대안 — 튜닝 대신 규범 스킬로 푸는 경로 · X11 이웃 안티패턴 — 같은 진행 경로 위반

참고 자료

Fowler GenAI 진행 경로(Direct Prompting → Evals → RAG → Hybrid Retriever·Query Rewriting·Reranker → Guardrails → Fine Tuning) · InfoQ Prompt-Model-Config Versioning

이 부품과 이어지는 가이드라인

• 공공부문 AI 도입·활용 가이드 행정안전부·NIA, 2026.6. 현행 핵심.

웹북에서 전체 프로필 보기 ↗ · 패턴 성좌 디렉터리에서 보기 ↗