법제처가 실제 의견을 낸 조례 사안 16건을 정답지로 삼아, 사무용 PC급 환경에서 HyperCLOVA X SEED 1.5B·Kanana 2.1B·Mi:dm 2.0 Mini 2.3B(Q4 양자화)에게 상위법령 저촉 여부를 각 3회씩 판정시킨 실측. 세 모델 모두 정답지에 못 미쳤고 실패 양상이 제각각이며, 3회 응답 일치율이 최고 69%·최저 19%로 일관성이 핵심 병목으로 확인됐다. 내부망 무료 배치 후보 체급의 경량 모델을 법령 판단에 검증 계층 없이 쓸 수 없다는 결론으로, 정답지 구성과 측정 방법은 공개 예정이다.
상세 정보
- 사례 성격
- 개인 개발
- 출처 채널
- 오픈채팅
- 수집일
- 2026-08-30
- 태그
- #국산모델 #SLM #벤치마크 #조례심사
- AI 모델
- 국산 오픈웨이트 — HyperCLOVA X SEED 1.5B(Q4 로컬), Kanana 2.1B(Q4 로컬), Mi:dm 2.0 Mini 2.3B(Q4 로컬)
4축 평가
| AX 단계 | AI-Enabled |
|---|---|
| 업무 범위 | S1 Script/보조 |
| 업무 완결성 | C1 결과 제공 |
| 권한(P축) | P1 산출물 생성(잠정) |
| 위험도 | R0 최소 |
| 인간 통제 | 해당 없음 |
| 증거 등급 | E0 게시글 주장 |
| 신뢰도 | 낮음 |
법제처 의견제시 16건을 정답지로 HyperCLOVA X SEED·Kanana·Mi:dm 미니(Q4)에 조례의 상위법령 저촉 판정을 3회씩 시킨 실측 — 아카이브 최초의 국산 오픈웨이트 로컬 실행 관측이다. 점수(전패)보다 3회 응답 일치율 19~69%라는 일관성 병목을 짚은 것이 핵심으로, 내부망 경량모델 도입 담론에 검증 계층 필요성을 제기한다. 정답지·측정 방법 미공개 상태라 E0·낮음이며 공개 시 재평가한다.
디자인 패턴 분석
『모두의 공공AX 디자인 패턴』 카탈로그 v0.7.1 기준 — 사례를 기관이 함께 쓰는 AI 부품과 그 조립으로 읽은 결과입니다. · 패턴 성좌에서 전체 보기 ↗
업무 패턴 B1 코파일럿 변형: 실측 벤치마크(LLM 저촉 판정 실험)
환경 축 배포:로컬 PC 네트워크:로컬 완결 모델:국산 오픈웨이트 런타임:설치 필요 권한:P0 읽기 전용
- 공통 서비스(A)
- A2.2 모델 서빙 · 주권형 온프레미스
- 운영(C)
- C9 평가 세트·회귀시험
- 서비스 블록(D)
- D8.4 대조·점검
- 부품 배선
- A2.2 → B1 · B1 → C9 · C9 → D8.4
- 참조 구현 후보
- C9 평가 세트·회귀시험 법제처 실제 의견 16건을 정답지로, 3회 반복 응답 일치율(19~69%)까지 측정한 회귀시험 설계 — '경량 모델을 검증 계층 없이 법령 판단에 쓸 수 없다'는 결론을 수치로 낸 드문 사례
판정 근거
도구가 아니라 실측 연구다. 사무용 PC에서 HyperCLOVA X SEED·Kanana·Mi:dm 경량 모델(Q4 로컬, A2.2)에 조례의 상위법령 저촉 여부를 판정시켰으므로 실험된 워크플로는 B1(검토안 생성)이며, 산출물의 실체는 정답지 16건·3회 반복·일치율 측정이라는 평가 세트(C9 present — 실제 실행 기록 있음). 결론이 '검증 계층 없이 사용 불가'라 B′9·C1 필요성을 시사하지만 구현물이 아니라 태그하지 않았다. 대조·점검 유형으로 두되 유형 필수 부품(A3·C1·C5·F7)은 연구 성격상 해당 없음. 정답지·측정 방법 공개 예정. URL 없음.
구현 가이드
주 패턴 B1 코파일럿을 구현할 때
구현 단계
- 대상 문서의 서식·필수 항목·문체 규범을 정리해 A9 스킬(프롬프트 템플릿)로 만든다.
- 업무 질문·모범 답안·채점 기준으로 C9 평가 세트를 먼저 만들어 모델·프롬프트 선택을 잰다.
- E1·E5에 맞는 모델 경로를 정한다. 행정망이면 BYO 대신 A2 내부망 프록시, 민감 자료면 C5 비식별을 앞단에 둔다.
- 산출물을 F2 편집 가능 출력과 A10 서식으로 내고, C1 검토 큐에서 담당자가 확정하게 한다.
- 수정률·처리시간을 C4로 집계하고, 저위험 유형이 확인되면 C2 자동 확정 분기를 검토한다.
점검표
- 담당자가 최종 확정한다는 절차가 운영되는가
- 서식·문체 규범이 A9 스킬로 분리되어 있는가
- 초안을 이용자가 직접 고칠 수 있는가(F2)
- 수정 내역이 기록되어 품질 개선에 쓰이는가
환경 조건
E1 행정망이면 BYO 코딩 에이전트를 쓸 수 없어 A2 내부망 프록시가 필요하다. E1 로컬 PC 완결이면 A9 스킬 + A10 어댑터 조합이 된다. E2 해외 상용 API면 직접 호출 대신 A2 게이트웨이를 거친다. E2 모델 중립(BYO)이면 A9 스킬 형태로 배포하고 모델 교체 가능성이 곧 C7이다. E4는 P1이 기본이고, P2로 올라가면 C1 전건 검토 → C2 분기로 바꾼다.
주의할 점
- 전건 검토가 영원히 남으면 업무 순서는 그대로(First 불가)
- 상용 API 직접 호출 시 X4 위험
- 행정망에서는 BYO 불가로 A2 내부망 프록시가 선행되어야 함
기본 배선 예
A9 → B1 (B′5) → C1 → D8.3 · A2.4 → B1 (행정망)
보완이 필요한 필수 부품
이 조합에서 카탈로그가 함께 갖추라고 권하는 부품 가운데 아직 확인되지 않은 것이다.
- A3 공공 API 제공자 정부·공공이 운영하는 모델·데이터·개발 도구(범정부 AI 공통기반, 모두의 AI 실험실, 공공데이터포털, 공공 깃랩)를 범정부 Provider로 소비한다.
- C1 검토 큐 AI 산출물이 다음 단계로 넘어가기 전에 사람이 맞고 틀림을 확인·수정·확정하는 대기열을 두어, 오류가 업무 결과로 흘러가지 않게 한다.
- C5 가드레일 필터 개인정보·환각·편향·형식 오류가 프롬프트나 산출물에 들어가지 못하게 시스템이 경계에서 걸러낸다. 비식별 전처리, 출처 검증, 구조적 출력 제약이 대표 변형이다.
- F7 한계·신뢰도 안내 AI가 무엇을 못 하는지, 얼마나 확신하는지, 공식 판단이 아님을 이용자가 볼 수 있는 곳에 적어 과신을 막는다.
피해야 할 안티패턴
- X1 AI 스티커 기존 화면에 요약·챗봇 버튼만 붙이고 업무 순서와 사람·AI의 역할 분담은 그대로 두어, AI가 있어도 업무 산출물이 바뀌지 않는 함정이다. 대처: 먼저 가치 흐름 규칙(R1)으로 사람 또는 국민이 최종으로 받는 핵심 산출물을 정하고, 그 산출물을 AI가 어떤 모양으로 분담할지 B 업무 컴포넌트를 하나 고른다(초안→사람 확정이면 B1, 근거 접지 답변이면 B3, 서류 추출이면 B4). 사람이 확정하는 지점은 C1 검토 큐로, 이용자가 고쳐 확정하는 면은 F2 편집 가능한 출력으로 명시한다. 흐름이 바뀌었는지는 C4 감사 로그·지표의 처리시간·수정률로 잰다. AI 런타임이 전혀 없는 행정정보시스템이라면 AI로 포장하지 말고 R24대로 B0·service_type 0·platform 공란·X1(AI 무관)으로 정직하게 분류한다.
- X4 단일 모델 인질 상용 API 하나에 전 기능이 묶여 있어, 그 API가 멈추거나 바뀌면 무슨 일이 생기는지 아무도 답하지 못하는 함정이다. 대처: 모델 호출을 A2 모델 서빙 계층 뒤로 숨겨 B 부품이 특정 벤더 API를 직접 부르지 않게 한다. 그 위에 C7 폴백 스위치로 재시도 → 기존 API → 대체 MCP → 대체 모델(A2.2 주권형 로컬 등) → 규칙 기반 축소 → 수동 전환의 경로를 정하고 전환 이력을 C4에 남긴다. 모델 교체가 실제로 안전한지는 C9 평가 세트로 재어 버전을 고정한다. 모델 중립(BYO) 배포라면 A9 스킬 형태로 배포해 모델 교체 가능성 자체를 폴백으로 삼는다.
- X10 평가 없는 RAG, RAG 없는 튜닝 평가 세트 없이 검색을 붙여 '좋아진 것 같다'로 배포하고, 검색으로 풀릴 문제를 파인튜닝으로 푸는, 진행 경로를 건너뛰는 함정이다. 대처: §7.2 진행 경로를 순서대로 밟는다. B1 직접 프롬프트에서 시작해 두 번째 단계에서 C9 평가 세트(업무 질문·정답·채점 기준)를 먼저 만들고, 이후 A9 규범 스킬·F4, B3 지식 접지(A1 데이터 자산), B3 검색 품질(Hybrid·Rewriting·Reranker), C5 가드레일·F1 순으로 붙이며 매 단계를 C9로 잰다. A2.3 튜닝은 진행 경로의 마지막 단계로, 검색·규범 스킬로 풀리지 않는다는 것이 C9 점수로 확인됐을 때만 한다. 모델·프롬프트·설정 조합은 릴리스처럼 버전 관리한다.
관련 가이드라인
이 사례가 쓰는 부품과 이어지는 공공 AX 안내서·지침이다 (부록 E 공공 AX 가이드라인 문서 해설 기준, 겹치는 부품이 많은 순).
- 신뢰할 수 있는 인공지능 개발 안내서 쓰는 작업: 개발사가 신뢰성 요구사항을 개발 산출물에 대응시킬 때, 발주 기관이 검증항목 일부를 인수 조건으로 고를 때 쓴다. 공공 서비스는 공공·사회 분야판을, 챗봇과 문서 생성은 생성 AI 분야판을 먼저 본다.주의: 배포 페이지에는 TTA 표기가 따로 보이지 않는다. 발행 기관은 PAX 목록의 표기를 따랐다. 67개 항목 전부를 인수 조건으로 넣으면 검수가 불가능해지므로, 사업 성격에 맞는 항목을 골라 넣는다.
- KS X ISO/IEC 22989 인공지능 개념 및 용어, KS X ISO/IEC TR 24028 인공지능의 신뢰성 개요 쓰는 작업: 과업지시서와 제안요청서의 용어 정의 절에 22989를 인용하면 "학습", "추론", "AI 시스템" 같은 말의 범위를 두고 다투는 일이 준다. TR 24028은 신뢰성 요구사항을 처음 정리하는 기획 단계에서 점검 항목의 출처로 쓴다.주의: TR은 기술보고서라 요구사항이 아니다. 신뢰성 검증 항목은 TTA 신뢰할 수 있는 AI 개발 안내서처럼 구체 문서로 내려간다.
- 공공부문 AI 도입·활용 가이드 이 사례와 겹치는 부품 C9 평가 세트·회귀시험 X10 평가 없는 RAG, RAG 없는 튜닝쓰는 작업: 사업 담당자가 사업계획서와 예산 요구서를 쓸 때 처음 펴는 문서다. 기획 단계에서는 사업 범위와 성과 지표를, 계약 단계에서는 과업지시서 구조를, 운영 단계에서는 유지관리 항목을 이 문서의 단계 구분에 맞춘다. 자체 모델을 들일지 공통기반을 쓸지 결정할 때도 이 문서가 기준이다.주의: 2024년 1.0과 2025년 2.0 초거대 AI 가이드라인을 잇는 문서다. 신규 사업은 이 판을 근거로 쓰고, 구판의 체크리스트는 이 판에 없는 항목을 확인할 때만 꺼낸다.
- 공공기관 신뢰가능 AI 구현 실용가이드 이 사례와 겹치는 부품 C1 검토 큐 F7 한계·신뢰도 안내쓰는 작업: 기관 AI 윤리 지침이나 내부 거버넌스 규정을 처음 만드는 기획 부서가 원칙의 뼈대를 잡을 때 참고한다. 인간개입과 고객소통 항목은 검토 절차와 이용자 안내 문구를 설계하는 데 아직 쓸 만하다.주의: 생성형 AI 이전 문서다. PAX 목록은 원칙 참고용이며 구축 절차는 최신 문서를 우선하라고 적었다.
- 금융분야 AI 위험관리프레임워크 이 사례와 겹치는 부품 C1 검토 큐 C9 평가 세트·회귀시험쓰는 작업: 금융회사의 리스크관리 부서가 업무별 AI에 위험등급을 매기고, 등급마다 독립 검증을 누가 언제 하는지와 사람이 어느 단계에서 결과를 확인하는지를 내규 초안에 적을 때 편다. 등급이 높을수록 사람이 개입하는 지점이 앞당겨진다.주의: 문서 원문은 금융감독원 배포본으로 확인한다.
- KS X ISO/IEC TS 4213 기계 학습 분류 성능에 대한 평가 이 사례와 겹치는 부품 C9 평가 세트·회귀시험 F7 한계·신뢰도 안내쓰는 작업: 민원 분류, 문서 유형 판별, 이상 탐지처럼 분류 모델을 납품받는 사업에서 인수 시험 계획서의 성능 지표와 측정 방법을 정할 때 쓴다. 과업지시서에 "정확도 90% 이상"만 적으면 측정 방법을 두고 다툼이 생긴다. 이 표준을 인용해 지표 정의와 평가 데이터 구성을 함께 적는다.주의: 분류 성능에 한정된다. 생성형 AI의 답변 품질 평가는 이 표준의 범위가 아니다.
- 공공부문 초거대 AI 도입·활용 가이드라인 1.0 이 사례와 겹치는 부품 A2.2 모델 서빙 · 주권형 온프레미스쓰는 작업: 신규 사업에는 2026년 판을 쓴다. 이 판은 SLO와 유지관리 조항의 초기 문구를 찾거나, 2024년 사업의 계약 근거를 거슬러 확인할 때 편다.주의: PAX 목록이 "신규 사업에는 2026판 우선"이라고 못 박은 문서다.
- 공공데이터의 인공지능 친화적 관리 가이드라인 이 사례와 겹치는 부품 A3 공공 API 제공자쓰는 작업: 데이터 담당 부서가 공공데이터나 내부 문서를 RAG 지식베이스와 API로 내놓기 전에 편다. 데이터 개방 계획서의 메타데이터 항목, 지식베이스에 넣을 문서의 형식 변환 기준, 데이터 품질 점검표를 이 문서로 쓴다. 공공 API를 MCP 서버로 감싸려는 담당자에게도 기본 문서다.주의: NIA가 v1.1 개정을 공지했으므로 내려받은 파일의 판을 확인한다.
같은 주 패턴(B1)을 쓰는 다른 사례
같은 업무 패턴으로 조립된 사례를 서비스 유형이 같은 것부터 모았다 외 68건. 구현할 때 비교해 볼 수 있다.
이 사례에 쓰인 패턴
B1 코파일럿 업무 컴포넌트
사람이 하던 문서·판단 작업 옆에 AI가 초안·요약·검토안을 놓고, 사람이 고쳐서 확정한다.
PAX 사례 111건이 이 부품을 쓴다
맥락
문서·기안·검토의견처럼 산출물 형식이 정해져 있고 최종 확정자가 사람인 업무에 쓴다. BYO 코딩 에이전트와 A9 스킬을 쓰는 스킬 코파일럿이 PAX 자생 도구에 많다.
맞서는 힘(긴장)
- 초안 속도 vs 전건 검토에 드는 사람 시간
- 상용 모델 품질 vs 행정망·민감정보 제약(E1·E5)
- 양식 일관성(A9 규범) vs 사안별 유연성
해법
업무 서식과 참고 자료를 입력으로 받아 모델(A2 또는 BYO 구독)이 초안·근거·신뢰도를 내고, 사람이 편집 가능한 형태(F2)로 받아 고쳐서 확정한다. 보고서 구조·문체·검증 절차는 A9 규범 스킬로 코드 밖에 두고, 공공 문서 형식은 A10 어댑터로 입출력한다. 확정 전 검토는 C1 검토 큐로 운영하고 수정 내역을 C4·C6의 입력으로 남긴다. First로 가려면 저위험 건을 C2로 자동 확정하는 분기를 더한다.
이럴 때 쓴다
- 산출물 형식이 정해진 문서를 반복 작성할 때
- 최종 판단과 책임이 사람에게 남아야 할 때(P1 산출물 생성)
- 유형 ④ 내부 문서·기안, 유형 ⑫ 개발 코파일럿의 기본 조립일 때
이럴 때는 쓰지 않는다
- 답이 기관 규정·선례 속에 있어 접지와 출처가 핵심일 때(B3)
- 추출 결과가 사람 확정 없이 다음 판정 단계로 흐를 때(B4)
- 런타임에 모델이 필요 없는 정형 취합일 때(B0)
얻는 것
- 문서 작성 시간 단축
- 책임 소재가 사람에게 명확히 남음
- 도입이 쉬워 Enabled의 전형 경로
점검표
- 담당자가 최종 확정한다는 절차가 운영되는가
- 서식·문체 규범이 A9 스킬로 분리되어 있는가
- 초안을 이용자가 직접 고칠 수 있는가(F2)
- 수정 내역이 기록되어 품질 개선에 쓰이는가
구조 — 참여 부품
- A2 모델 서빙 계층 — 초안 생성 모델 호출(행정망이면 내부망 프록시)
- A9 업무 규범 스킬 — 서식·문체·검증 절차를 프롬프트 템플릿으로 고정
- A10 문서 형식 어댑터 — HWPX·엑셀 입출력
- C1 검토 큐 — 담당자가 초안을 확인·수정·확정
- 담당자 — 최종 확정자이자 책임자
변형
- 시스템 내장형: 기관 업무 시스템 안에 초안 기능을 넣은 형태
- 스킬 코파일럿: BYO 코딩 에이전트 + A9 스킬로 배포되는 형태(PAX Enabled 사례에서 가장 흔한 형태)
참조 구현 예
- PAX gov-report-skill — 기획보고서 7대 항목 스킬 코파일럿(카드 참조 구현)
관련 부품
C1 짝 — 사람 확정 절차 · F2 이용자 쪽 대응 — 편집 가능 출력은 B1의 필수 면 · A9 끼울 자리 — 서식·규범 스킬 · B′5 기본 배선 — 유형 ④·⑫ 조립 템플릿의 생성자-비평가 · C2 다음 단계 — 저위험 자동 확정으로 First · B3 승급 경로 — §7.2 진행 경로 1 → 4
참고 자료
Fowler Direct Prompting · InfoQ Editable Output · GoF Decorator
이 부품과 이어지는 가이드라인
A2.2 모델 서빙 · 주권형 온프레미스 공통 서비스
오픈웨이트 모델을 기관 서버·폐쇄망·로컬 PC 안에서 Ollama·vLLM 등으로 구동해 데이터를 기관 밖으로 내보내지 않고 추론한다.
PAX 사례 54건이 이 부품을 쓴다
맥락
E1은 폐쇄망·행정망·로컬 PC, E2는 해외 오픈웨이트(로컬) 또는 국산 오픈웨이트, E5는 S 이상이다. 폐쇄망 B3·B6·B8, 유형 3(현장 폐쇄망 서버 추론), 유형 12 개발 코파일럿은 이 변형을 기본으로 쓴다.
맞서는 힘(긴장)
- 데이터 주권 vs 상용 최신 모델 대비 성능
- GPU·서버 고정비 vs 종량 과금
- 모델 운영·갱신 역량 vs 외부 의존 제거
- 저사양 장비 구동 vs 모델 크기
해법
오픈웨이트 모델을 기관 안에 설치하고 서빙 계층(Ollama·vLLM·LM Studio 등)으로 업무 부품에 노출한다. 임베딩 모델도 로컬로 두어 B3 검색까지 망 안에서 끝낸다(§5 E1 폐쇄망 행 '로컬 임베딩'). 모델 선정은 C9 평가 세트로 상용·온프레미스 후보를 같은 조건에서 비교해 정한다. 폐쇄망에서 C7 경로는 수동 전환·다른 로컬 모델로 제한되므로 둘 이상의 로컬 모델이나 수동 절차를 미리 둔다. 모델·패키지 반입은 S11 인제스천 검증을 거친다.
이럴 때 쓴다
- E1이 폐쇄망·행정망이거나 문서가 PC 밖으로 나가면 안 될 때
- E5가 S 이상인데 내부망 프록시(A2.4)를 쓸 수 없을 때
- 현장 폐쇄망 서버에서 추론해야 하는 유형 3
- C7의 대체 경로로 로컬 모델을 둘 때
이럴 때는 쓰지 않는다
- 추론 인프라·운영 인력을 확보할 수 없을 때
- 현장 기기 자체에서 돌아야 하면 A5(엣지 런타임)
- 모델을 재학습했으면 A2.3
얻는 것
- 데이터가 기관 밖으로 나가지 않음
- 호출 비용이 고정비로 바뀜
- 폐쇄망에서도 LLM 사용 가능
- C7의 대체 경로 후보
점검표
- 추론·임베딩 어디에서도 데이터가 망 밖으로 나가지 않는가
- 모델 선정 근거(평가 세트 비교)가 남아 있는가
- 반입한 모델·패키지의 무결성 검사 기록이 있는가
- 대체 로컬 모델 또는 수동 전환 절차가 있는가
구조 — 참여 부품
- A2 서빙 계층 — 로컬 모델을 업무 부품에 노출
- 오픈웨이트 모델·로컬 임베딩 — 기관 안에서 추론·색인
- GPU 서버 또는 워크스테이션 — 추론 인프라
- S11 인제스천·공급망 검증 — 폐쇄망 반입 모델·패키지 검사
변형
- 기관 서버형: vLLM 등으로 기관 GPU 서버에서 다수 이용자에게 서빙한다.
- 로컬 PC·워크스테이션형: Ollama·LM Studio로 개인 PC나 단일 워크스테이션에서 돌린다(온나라 sAIde).
- 범정부 공통기반 내부망 설치형: 국산 독자모델·오픈웨이트를 공통기반 내부망에 직접 설치해 여러 부처에 제공한다(PAX 행정안전부 사례).
참조 구현 예
- PAX 58420e002644542c — 행정안전부, 엑사원·Gemma4를 범정부 공통기반 내부망에 설치해 약 8천 명에 롤아웃(§13 A2.2)
- PAX 01963ce2b093182c — 양산시, 저사양 온프레미스 로컬 LLM으로 보고서 작성 전 과정을 폐쇄망 안에서 처리(§13 A2.2)
- PAX 온나라 sAIde — 온나라 사이드패널 + 로컬 Ollama 요약(§9)
관련 부품
C7 대체 경로 — 상용 API 장애 시 전환 대상 · A8 짝 — 폐쇄망 로컬 MCP 호스트 · S11 선행 — 폐쇄망 반입 검증 · A5 대안 — 현장 기기 추론 · C9 선행 — 모델 선정 근거
참고 자료
Heiland '업무 로직과 ML 모델 분리' · GoF Strategy
이 부품과 이어지는 가이드라인
C9 평가 세트·회귀시험 운영 컴포넌트
배포 전에 업무 맥락의 질문·정답·채점 기준을 세트로 만들어, 프롬프트·모델·설정의 모든 변경을 같은 자로 재고 회귀를 잡는다.
PAX 사례 15건이 이 부품을 쓴다
맥락
모델·프롬프트·검색 설정이 바뀌는 모든 AI 부품. 특히 B3 지식 접지(검색 품질은 평가 없이 개선 불가), E2 상용 API(예고 없는 모델 업데이트), 유형 ①④⑤a⑦⑩⑫.
맞서는 힘(긴장)
- 평가 세트 구축 비용 vs 변경의 안전
- 사람 라벨의 정확성 vs LLM 심판의 규모
- 세트 고정(비교 가능성) vs 업무 변화 반영(세트 갱신)
해법
RAG를 붙이거나 모델을 고르기 전에 업무 질문·정답·채점 기준(사람 라벨 + LLM 심판)을 세트로 만든다. 프롬프트·모델·설정 조합을 릴리스처럼 버전 관리하고, 모든 변경마다 같은 세트로 재평가해 점수표와 회귀 실패 목록을 남긴다. 기준을 넘지 못하면 배포하지 않는 게이트를 둔다. 학습 데이터와 평가 세트는 누수 없이 분리한다.
이럴 때 쓴다
- RAG·튜닝을 붙이기 전(§7.1 4단계, §7.2 진행 경로 2단계)
- E2 상용 API로 모델 업데이트가 예고 없이 올 때(필수)
- 폐쇄망 로컬 모델의 교체 시점
- C6 환류·C7 모델 교체를 하려 할 때(선행 조건)
이럴 때는 쓰지 않는다
- B0 결정적 도구처럼 비결정적 출력이 없을 때
- 유형 5a 중 순수 시각화(R10: 면제)
얻는 것
- 변경의 효과와 회귀를 숫자로 확인
- 모델 교체·재학습의 안전
- 모델 선정 근거 확보
점검표
- 업무 질문·정답·채점 기준 세트가 있는가
- 프롬프트·모델·설정이 버전 관리되는가
- 변경마다 재평가한 기록이 있는가
- 기준 미달 시 배포를 막는 절차가 있는가
구조 — 참여 부품
- A1 데이터 자산 서비스 — 정답의 출처
- A2 모델 서빙 계층 — 평가 대상 모델의 버전 고정
- 채점기 — 사람 라벨과 LLM 심판으로 점수 산출
- 배포 게이트 — 기준 미달 변경의 배포 차단
- C4 감사 로그·지표 — 운영 지표와 평가 점수 대조
변형
- 모델 선정 블라인드 비교: 여러 모델을 동일 조건·평가 의도 은닉으로 채점해 운영 모델 선별
- 배포 전 회귀검증 게이트: 응답 로직 변경 시 기준 질의의 기대응답 대조를 통과해야 배포
- 재학습 모델 비교 게이트: 재학습 시 이전 버전 대비 성능을 비교해 기준 상회 모델만 배포
- 공인시험 기반 검증 세트: 검출 기준을 명시한 검증 세트와 공인시험
참조 구현 예
- PAX MOPAN — 기각한 시도 15건의 실패 기전을 기술 보고서로 남김
관련 부품
C6 후속 — 환류의 재검증 단계 · C7 후속 — 모델 교체(Blue-Green) 전 회귀시험 · B3 끼울 자리 — 검색 품질 개선의 전제 · A1 의존 — 정답 출처 · A2 의존 — 모델 버전 고정
참고 자료
Fowler Evals · InfoQ AI-Ops · Prompt-Model-Config Versioning · Gulli ch.19 Evaluation & Monitoring
이 부품과 이어지는 가이드라인
- 공공부문 AI 도입·활용 가이드
- 인공지능 위험 사례집
- 금융분야 AI 위험관리프레임워크
- AI 기반 신용평가모형 검증체계
- 합성데이터 생성·활용 안내서
- 인공지능 영향평가 가이드라인
- 신뢰할 수 있는 인공지능 개발 안내서
- 인공지능(AI) 표준화 전략 로드맵
- KS X ISO/IEC 42001 인공지능 경영시스템
- KS X ISO/IEC 23894 인공지능 리스크관리 지침
- KS X ISO/IEC TS 4213 기계 학습 분류 성능에 대한 평가
- KS X ISO/IEC 22989 인공지능 개념 및 용어, KS X ISO/IEC TR 24028 인공지능의 신뢰성 개요
D8.4 대조·점검 서비스 블록
법령·규정·서식·인용·근태·보안 기준과 대조해 확인할 대상을 먼저 골라 주는 내부 운영 블록이다. "최종 판단은 사람"이 가장 자주 붙는다.
PAX 사례 81건이 이 부품을 쓴다
맥락
기관 내부 문서·자료를 기준과 대조하는 업무. §7.3 유형 ⑦ 대조·점검 도우미(D8.4, P0~P1)와 유형 ⑩ 위험 예측·표적 선별(D6·D3·D8.4)의 무대. PAX 81건(주 부품 B0 73%, B1 12%), 감사·법무 25건·문서·기안 12건.
맞서는 힘(긴장)
- 점검 범위 확대 vs 오탐으로 인한 확인 부담
- 규칙 점검의 결정성 vs LLM 대조의 유연성
- 점검 대상이 점검기를 속이는 위협 vs 자동 점검
- 출처 대조의 엄격성 vs 원문 접근 권한(공공 API 인가)
해법
기준이 규칙으로 옮겨지면 B0 규칙 점검기로, 해석이 필요하면 B3 법령 접지로 대조한다. 기준 원문은 A3 공공 API(법령·판례)에서 가져와 C5 출처 검증으로 인용이 실제 원문과 일치하는지 확인한다. 결과는 판정이 아니라 "확인할 대상 목록"으로 내고, C1으로 "최종 판단은 사람"을 명시하며, F7 한계와 F1 출처를 붙인다. 점검 대상 문서·코드가 점검기를 속이지 못하게 대상별 격리(S6)나 고정 규칙 실행(S4)을 쓰고, 코드 점검이면 S9 샌드박스를 둔다. C9 평가 세트로 누락률을 잰다.
이럴 때 쓴다
- 문서·자료를 법령·규정·서식과 한 줄씩 대조하는 업무
- 인용·근거가 원문과 맞는지 확인해야 할 때
- 점검 대상이 많아 확인 대상을 먼저 좁혀야 할 때
이럴 때는 쓰지 않는다
- 국민 신청 건의 자격 판정이면 D3
- 현장 시설을 관측해 점검하면 D6
- 대조 없이 자료를 찾아 보여 주면 D8.1
얻는 것
- 대조 시간 단축과 누락 감소
- 사람 판단을 확인 대상에 집중
- 인용 오류의 사전 차단
점검표
- 결과가 판정이 아닌 확인 대상으로 표시되는가
- 근거 원문 출처가 연결되는가
- 누락률을 평가 세트로 재는가
- 점검 대상 속 문장이 점검 결과를 바꾸지 못하는가
구조 — 참여 부품
- 담당자 — 확인 대상을 검토해 최종 판단
- B0 결정적 도구(규칙 점검기) — 규칙화된 기준으로 대조
- B3 지식 접지 상담 — 법령·규정에 접지해 해석 대조
- A3 공공 API 제공자 — 법령·판례 원문 제공
- C5 가드레일·출처 검증 — 인용을 원문과 대조
- C1 검토 큐 — 최종 판단은 사람
변형
- 규칙 점검기형: B0로 서식·근태·보안 기준을 결정적으로 대조(Attendance Checker).
- 법령 접지 대조형: B3가 법령·규정에 접지해 해석 필요 항목을 대조(Legal Reviewer).
- 인용 검증형: 보고서·논문의 법령·판례·문헌 인용을 원본과 대조(paper-verify).
- 표적 선별형: B2 위험 예측이 점검 대상을 좁힘(유형 ⑩, B′9).
참조 구현 예
- paper-verify — 카탈로그 D8.4 카드·§7.3 유형 ⑦ 참조 구현: 인용을 원본과 대조
- 민원 답변 작성 스킬 팩 — 카탈로그 D8.4 카드 예
- Attendance Checker — §7.3 유형 ⑦ 참조 구현
- Legal Reviewer — §7.3 유형 ⑦ 참조 구현
관련 부품
C1 필수 통제 — 최종 판단은 사람 · C5 필수 통제 — 출처 검증 · A3 필수 기반 — 법령·기준 출처 · D3 대민 버전 — 자격·심사 · S6 필수 보안 — 대상별 격리
참고 자료
카탈로그 §7.3 유형 ⑦·⑩ · 카탈로그 §7.4 유형 ⑦ 위협 모델
A3 공공 API 제공자 공통 서비스
정부·공공이 운영하는 모델·데이터·개발 도구(범정부 AI 공통기반, 모두의 AI 실험실, 공공데이터포털, 공공 깃랩)를 범정부 Provider로 소비한다.
PAX 사례 154건이 이 부품을 쓴다
맥락
모델·공공데이터·법령 원문·개발 환경을 공공 플랫폼에서 가져올 수 있다면 어느 과제든 해당한다. §7.1 2단계 '기반 부품은 새로 만들지 말고 Provider에서 먼저 찾는다'가 바로 이 부품을 가리킨다. 유형 7(대조·점검)에서는 법령·기준 출처를 대는 필수 기반이다.
맞서는 힘(긴장)
- 공통 Provider 재사용 vs 기관 고유 요구 반영
- 공공 API 가용성·갱신 주기 vs 서비스 신뢰성
- 인가·검증 절차의 통제 vs 에이전트 루프의 병목(PAX 공공API 진단)
해법
기반을 새로 만들기 전에 범정부 AI 공통기반(모델), 공공데이터포털·법령 API(데이터), 모두의 AI 실험실·공공 깃랩(개발·실험 환경)에서 먼저 찾아 소비한다. 인증은 GPKI·디지털원패스 같은 연합 신원(Federated Identity)으로 위임하고, 공공 API 응답은 출처·조회 시각과 함께 업무 부품에 넘긴다. 에이전트가 부를 수 있게 하려면 A8 MCP 서버로 감싸고, 결과를 재가공해 기준선으로 고정하면 A1을 더한다. 기관이 만든 도구는 공공 깃랩에 등재해 다음 기관의 Provider가 되게 한다.
이럴 때 쓴다
- 모델·데이터·개발 환경을 기관이 새로 만들려 할 때 — 먼저 Provider 확인
- 법령·기준 원문을 최신으로 대조해야 하는 유형 7
- 여러 부서가 같은 기반을 따로 만들고 있을 때(X3 교정)
이럴 때는 쓰지 않는다
- 필요한 모델·데이터가 공공 Provider에 없을 때(만들고 레지스트리에 올림)
- 타 기관 데이터를 계약·키 매핑으로 결합하는 경우는 A4
얻는 것
- 기관별 중복 구축 방지(X3 교정)
- 공인된 원천 데이터·모델 사용
- 등재를 통해 전이 경로 확보
점검표
- 같은 기반을 기관 안에서 따로 만들지 않았는가
- 공공 API 응답의 출처·조회 시각이 결과에 남는가
- API 장애·변경 시 어떻게 되는지 답할 수 있는가
- 만든 도구가 공공 깃랩 등에 등재되었는가
구조 — 참여 부품
- 공공 Provider — 범정부 AI 공통기반·공공데이터포털·모두의 AI 실험실·공공 깃랩
- 연합 신원 인증 — GPKI·디지털원패스 등으로 호출 주체를 확인
- 소비 부품(B·A2·A8) — Provider를 직접 만들지 않고 가져다 씀
- S1 AI 게이트웨이·단일 진입점 — 공공 인증을 위임받아 호출을 통제
변형
- 공공 모델 Provider: 범정부 AI 공통기반(HCX-GOV-THINK) 위에서 모델을 소비한다. 온나라 AI 문서 분배기가 공통기반 RAG 위에서 돈다.
- 공공 데이터·법령 Provider: 공공데이터포털 OpenAPI·법제처 API 등을 실서비스 파이프라인에 상시 연동한다.
- 개발·실험 환경 Provider: 모두의 AI 실험실·공공 깃랩에서 개발하고 결과물을 등재한다.
참조 구현 예
- PAX 온나라 AI 문서 분배기 — 범정부 공통기반 RAG 위에서 접수 문서 배분(§6 A3 카드)
- PAX ef389de4efadc258 — 법제처 API로 매일 최신성 검증(§13 A3)
- PAX 3d07b6da99f5e1ed — 직제·시행규칙을 법령 API로 파싱·결합, 시행일 스냅샷 비교(§13 A3)
관련 부품
A2.4 짝 — 공통기반 모델을 내부망에서 경유 · A8 감싸는 층 — 공공 API를 MCP 도구로 · S1 인증 위임 — 공공 인증을 단일 진입점에 · A7 등재처 — 자체 제작 도구를 공공 깃랩에 · A4 경계 — 계약 기반 결합
참고 자료
patterns.dev Provider 패턴 · Microservice 패턴 Federated Identity·Access Token · PAX 공공API 진단 보고서
이 부품과 이어지는 가이드라인
C1 검토 큐 운영 컴포넌트
AI 산출물이 다음 단계로 넘어가기 전에 사람이 맞고 틀림을 확인·수정·확정하는 대기열을 두어, 오류가 업무 결과로 흘러가지 않게 한다.
PAX 사례 46건이 이 부품을 쓴다
맥락
AI 산출물이 공문·처분·대민 안내·기록으로 이어지는 모든 B 부품(B1 코파일럿, B4 인식 파이프라인, B2 예측기, B7 콘텐츠 생성기 등). 이용자 본인이 최종 확정자인 자기서비스형 도구도 포함한다(R16).
맞서는 힘(긴장)
- 정확성·책임성 vs 처리 속도(전건 검토는 자동화 이득을 깎는다)
- 검토자의 숙련 vs 자동화 편향(AI 결과를 그대로 승인하는 경향)
- 전건 검토의 안전 vs 위험도별 분기(C2)로 가야 하는 효율 압력
해법
AI 산출물에 신뢰도·근거를 붙여 검토 대기열에 올리고, 검토자가 승인·수정·반려 중 하나를 고르게 한다. 수정·반려 내역은 C4 감사 로그에 남겨 수정률을 집계하고 C6 환류의 입력으로 쓴다. 검토 화면은 원문 위치·근거를 함께 보여 줘 확인 비용을 줄인다. 전건 검토로 시작하되, 수정률 실측이 쌓이면 C2 위험도 라우터로 저위험 건을 자동 종결하는 단계로 옮긴다.
이럴 때 쓴다
- AI 산출물이 공문·처분·대민 안내로 그대로 이어질 때
- E4가 P1 이상이고 되돌리는 데 사람 시간이 많이 드는 조치가 있을 때
- 서비스 유형 ② 접수·심사, ④ 기안 코파일럿, ⑥ 콘텐츠 제작, ⑦ 대조·점검, ⑩ 위험 예측, ⑪ 추천·매칭, ⑫ 개발 코파일럿처럼 C1이 필수인 유형
이럴 때는 쓰지 않는다
- B0 결정적 도구처럼 런타임 AI 산출물이 없을 때
- 쉽게 되돌릴 수 있고 저위험인 조치를 이미 C2로 자동 종결하도록 실측 근거를 갖춘 구간(전건 검토를 영원히 남기지 않는다)
얻는 것
- 오류가 업무 결과로 나가기 전에 차단
- 책임 소재가 명확해짐
- 수정 내역이 C4 지표와 C6 환류의 원천 데이터가 됨
점검표
- AI 산출물이 확정 전 상태로 머무는 지점이 명시되어 있는가
- 검토자와 승인·수정·반려 선택지가 정해져 있는가
- 검토 결정과 수정 내역이 로그로 남는가
- 실증 기간의 검토·수정 건수가 기록되어 있는가
- 전건 검토에서 분기로 옮길 조건이 정해져 있는가
구조 — 참여 부품
- 검토 대기열 — AI 산출물을 확정 전 상태로 보관하고 검토자에게 배정
- 검토자(담당자 또는 이용자 본인) — 승인·수정·반려를 결정하는 최종 책임자
- F2 편집 가능한 출력 — 검토자가 산출물을 직접 고치는 화면
- C4 감사 로그·지표 — 검토 결정과 수정 내역을 적재해 수정률로 집계
변형
- 전건 검토형: 모든 AI 산출물을 담당자가 확인·확정
- 예외 검수형: 정상 건은 일괄 승인하고 저신뢰 항목만 개별 검수하는 검수 UI
- 파이프라인 내장 관문형: 멀티에이전트·다단계 파이프라인의 각 관문에 승인·보완·재작성 선택지를 둠
- 자기서비스형: 이용자 본인이 최종 확정자인 HITL. 실제 운영 중이면 C1 present(R16)
- 심의 게이트: 팩트체크·법무·윤리처럼 제3자 전문가가 수행하는 승인 게이트
참조 구현 예
- PAX 9dc1a7081bc869b1 — 광진구 — 담당자·팀장 최종 판단 책임 등 4대 관리 원칙 명문화
관련 부품
C2 다음 단계 — 전건 검토에서 위험도 분기로 승급 · C1.2 변형 — 제3자 전문가 심의 게이트 · F2 이용자 쪽 대응 — 검토자가 직접 고치는 화면 · F6 이용자 쪽 대응 — 에이전트 행동 실행 전 확인 · C4 기록처 — 검토 결정·수정 내역 · C6 후속 — 수정 내역이 환류의 입력
참고 자료
Google ADK HITL · Gulli ch.13 Human-in-the-Loop · Towards AI 동기·비동기 HITL · Chain of Responsibility
이 부품과 이어지는 가이드라인
C5 가드레일 필터 운영 컴포넌트
개인정보·환각·편향·형식 오류가 프롬프트나 산출물에 들어가지 못하게 시스템이 경계에서 걸러낸다. 비식별 전처리, 출처 검증, 구조적 출력 제약이 대표 변형이다.
PAX 사례 44건이 이 부품을 쓴다
맥락
외부 모델을 부르거나 대민에 답하는 모든 B 부품. 특히 E2 해외 상용 API, E5 S 이상 데이터, B3 지식 접지 상담, 유형 ① 대민 상담, ④ 기안, ⑥ 콘텐츠, ⑦ 대조·점검, ⑨ 인수인계, ⑬ 비식별·정제 도구.
맞서는 힘(긴장)
- 차단의 엄격함 vs 과잉 차단으로 인한 유용성 저하
- 비식별 강도 vs 문맥 보존
- 결정적 검증의 신뢰성 vs 구현 범위
해법
프롬프트가 기관 밖으로 나가기 전 PII를 마스킹하고 원복 키를 보관하는 비식별 전처리기를 둔다. 응답에는 인용을 원본(법령정보센터·통계표 등)과 대조하는 출처 검증기와, JSON 스키마·허용 목록 같은 구조적 출력 제약을 건다. 근거가 없으면 답하지 않거나 '확인 필요'로 표시한다. 차단 사유는 C4에 남기고, 이용자에게는 F1 출처와 F7 한계 안내로 보인다. 사람이 하는 팩트체크·법무 심의는 C5가 아니라 C1.2에 둔다.
이럴 때 쓴다
- E2 해외 상용 API로 행정망 본문이 외부로 나갈 때(필수)
- E5 S 이상 개인정보·민감정보를 다룰 때
- B3 대민 응답처럼 인용·수치의 정확성이 신뢰의 핵심일 때
- C5가 필수인 유형 ①④⑥⑦⑨⑪⑬
이럴 때는 쓰지 않는다
- E1 로컬 PC 완결로 데이터가 밖으로 나가지 않을 때 비식별은 불필요해질 수 있다(§5 매트릭스, 단 출처 검증은 별개)
- 사람이 수행하는 심의만 있을 때(C1.2로 태그)
- 적대적 입력 탐지가 목적일 때(S8)
얻는 것
- 개인정보 외부 유출 차단
- 환각 인용 감소
- 상용 API 사용 조건 충족
점검표
- 외부 전송 전 무엇이 걸러지는지 답할 수 있는가
- 인용이 원본과 대조되는가
- 근거 없을 때의 동작이 정해져 있는가
- 차단 사유가 기록되는가
구조 — 참여 부품
- 비식별 전처리기 — 외부 전송 전 PII 마스킹과 원복
- 출처 검증기 — 인용을 원본과 대조해 환각을 걸러냄
- 출력 제약 — 스키마·허용 목록·금칙어로 출력 형식 제한
- F1 출처 표시 — 검증된 출처를 이용자에게 보임
변형
- 로컬 비식별 전처리기: 외부 전송 전 PII 마스킹·원복(PAX에서 독립 부품으로 확인)
- 출처 검증기: 인용을 법령정보센터·KCI·CrossRef 원본과 대조
- 구조적 출력 제약·스키마 검증: JSON 스키마·허용 목록으로 출력 범위를 고정(v0.6 식별 신호 추가)
- 근거 재대조형 환각 검증: 추출값의 근거 문장을 원문에서 재대조해 '문서확인/AI추정/문서에없음'으로 재분류
참조 구현 예
- PAX Korean Stats MCP — KOSIS 통계 출처 자동 인용
관련 부품
F1 이용자 쪽 대응 — 검증된 출처 표시 · F7 이용자 쪽 대응 — 근거 없을 때 한계 안내 · A2.4 짝 — 민감정보 외부 유출 대응 · C1.2 구분 — 사람이 하는 심의 · S8 구분 — 적대적 입력 탐지 · S13 변형 후보 — 로컬 비식별 게이트
참고 자료
Fowler Guardrails · InfoQ Output Guardrails·Model Critic · Gulli ch.18 Guardrails · Heiland 규칙 기반 안전장치 · Proxy · Decorator
이 부품과 이어지는 가이드라인
F7 한계·신뢰도 안내 상호작용 패턴
AI가 무엇을 못 하는지, 얼마나 확신하는지, 공식 판단이 아님을 이용자가 볼 수 있는 곳에 적어 과신을 막는다.
PAX 사례 63건이 이 부품을 쓴다
맥락
대민 상담·안내(유형 ①), 대조·점검(⑦), 분석·예측(5a·⑩), 비식별 도구(⑬). 대체 경로로 운영 중인 C7 상황.
맞서는 힘(긴장)
- 정직한 한계 고지 vs 서비스 신뢰도 하락 우려
- 신뢰도 수치 표시의 정확성 vs 이용자 이해
해법
화면에 사용 한계(대상 범위·미검증 항목·처리 시간), 신뢰도, '공식 판단 아님' 고지를 결과 옆에 배치한다. 저신뢰 결과는 표시를 달리하고, C7 대체 경로로 운영 중이면 품질 저하를 알린다. 고지 문구는 법률 자문·유권해석을 대체하지 않는다는 점을 분명히 적는다.
이럴 때 쓴다
- 대민 서비스 D1~D7(F1·F2·F7 최소 요건)
- 유형 ①⑦5a⑩⑬처럼 F7이 필수인 유형
- C7 대체 경로 운영 중
이럴 때는 쓰지 않는다
- 유형 ①·⑦에서 model_dependency가 없음(비LLM)이면 필수에서 면제(R7). 단 비LLM 도구도 한계 고지는 권장된다
얻는 것
- 과신·오인 방지
- 기관 책임 범위 명확화
점검표
- 이용자가 '공식 판단이 아님'을 결과 화면에서 읽을 수 있는가
- 사용 한계가 명시되어 있는가
- 저신뢰 결과가 구분 표시되는가
구조 — 참여 부품
- 고지 문구 — 사용 한계·공식 판단 아님
- 신뢰도 표시 — 결과별 확신 수준
- C7 폴백 스위치 — 대체 경로 운영 여부 제공
변형
- 공식 판단 아님 고지: '유권해석 아님'·'참고용' 고지
- 신뢰도 표시: 결과별 신뢰도·등급 표시
- 미검증 항목 열거: 검증되지 않은 조건·처리 시간을 명시
참조 구현 예
- 소방기술민원 답변생성기 — '유권해석 아님' 고지
- PAX 9998aba2d1f55c24 — 비공식 참고 도구·공식 판단 아님 고지와 원문 연계를 함께 갖춘 자가점검 UI
- PAX 759835514b4b7ca4 — README가 미검증 항목을 열거하고 '최종 판단은 항상 사람' 고지
- PAX 6c0fa4c0c3508ff0 — 처리 시간과 라이선스 동의 절차를 정직하게 고지한 온디바이스 비전 도구
- PAX aef95509b7611c96 — 비LLM 스크리닝 도구가 실제 검토를 대체하지 않음을 화면에 명시
- PAX 0a2535cadf2d621a — 법률 자문·안전 인증을 대체하지 않는다는 한계 고지
관련 부품
C7 시스템 쪽 대응 — 대체 경로 운영 중 안내 · F1 짝 — 이용자 신뢰의 실체 · F9 짝 — 판정 근거와 함께 표시(F9+F7 표준형) · C5 짝 — 근거 없을 때의 동작
참고 자료
InfoQ Contextual Guidance · aiuxpatterns Inline Help
이 부품과 이어지는 가이드라인
X1 AI 스티커 안티패턴
기존 화면에 요약·챗봇 버튼만 붙이고 업무 순서와 사람·AI의 역할 분담은 그대로 두어, AI가 있어도 업무 산출물이 바뀌지 않는 함정이다.
맥락
기존 행정정보시스템·업무 포털에 AI 기능을 추가하는 과제, 특히 성과 지표가 'AI 기능 탑재 여부'나 호출 수로 잡힌 과제. R24에 따라 AI 런타임이 전혀 없는 순수 행정정보시스템도 이 태그(AI 무관)로 표기한다.
맞서는 힘(긴장)
- 빠른 도입 실적 vs 업무 흐름 재설계 비용
- 기존 시스템 무변경(안정성) vs 산출물 단위의 역할 분담
- 'AI 탑재' 홍보 효과 vs 실제 처리시간·수정률 개선
해법
먼저 가치 흐름 규칙(R1)으로 사람 또는 국민이 최종으로 받는 핵심 산출물을 정하고, 그 산출물을 AI가 어떤 모양으로 분담할지 B 업무 컴포넌트를 하나 고른다(초안→사람 확정이면 B1, 근거 접지 답변이면 B3, 서류 추출이면 B4). 사람이 확정하는 지점은 C1 검토 큐로, 이용자가 고쳐 확정하는 면은 F2 편집 가능한 출력으로 명시한다. 흐름이 바뀌었는지는 C4 감사 로그·지표의 처리시간·수정률로 잰다. AI 런타임이 전혀 없는 행정정보시스템이라면 AI로 포장하지 말고 R24대로 B0·service_type 0·platform 공란·X1(AI 무관)으로 정직하게 분류한다.
이럴 때 쓴다
- AI 기능이 추가됐다는 서술은 있으나 처리 단계 수·결재선·담당자 역할이 바뀌었다는 서술이 없다
- 성과 지표가 AI 호출 수·이용 만족도뿐이고 처리시간·수정률 같은 산출물 지표가 없다
- 챗봇이 기관 업무 데이터·시스템과 연결되지 않은 범용 대화에 머문다
- AI 런타임이 전혀 없는 행정정보시스템이 AX 과제로 분류되어 있다(R24)
이럴 때는 쓰지 않는다
- B1 코파일럿처럼 AI가 초안을 만들고 사람이 확정하는 역할 분담이 실제로 서술된 경우
- B8 레거시 오버레이처럼 표준 시스템 위에 얹었지만 업무 산출물을 AI가 만들어 내는 경우
- B0 결정적 도구가 반복 취합 업무를 실제로 줄이고 AI로 포장하지 않은 경우(Ready 부품으로 정직하게 분류된 경우)
얻는 것
- 기존 시스템을 건드리지 않아 도입이 빠르고 장애 위험이 낮다
- 'AI 탑재' 실적을 즉시 보고할 수 있다
점검표
- AI 도입 전후 처리 단계·담당자 역할의 차이를 한 장으로 보여 줄 수 있는가
- AI가 만드는 산출물과 사람이 확정하는 지점이 명시되어 있는가
- 처리시간·수정률 같은 산출물 지표가 도입 전 기준선과 함께 있는가
- AI 런타임이 없는데 AI 과제로 보고하고 있지 않은가
구조 — 참여 부품
- 덧붙인 AI 기능 — 요약·대화 버튼. 업무 산출물 생산에 역할이 없음
- B1 코파일럿 — 교정 후 초안→사람 확정으로 산출물 역할을 나누는 대체 부품
- C1 검토 큐 — 교정 후 사람이 확정하는 지점을 명시
- C4 감사 로그·지표 — 흐름이 실제로 바뀌었는지 처리시간·수정률로 측정
변형
- 요약 버튼형: 기존 화면에 '요약' 버튼만 추가하고 결재·처리 단계는 그대로
- 범용 챗봇 부착형: 업무 데이터와 연결되지 않은 범용 대화창을 포털에 부착
- AI 무관 행정시스템(R24): AI 런타임이 전혀 없는 순수 행정정보시스템(예: 교육·인증 학습관리시스템). B0·service_type 0·platform 공란과 함께 X1(AI 무관)로 표기
관련 부품
B1 대체 — 초안→사람 확정으로 산출물 역할을 나누는 교정 목표 · C1 교정에 끼울 자리 — 사람이 확정하는 지점 · B0 정직한 분류 — AI 런타임이 없으면 B0 Ready 부품으로(R24) · C4 기록처 — 흐름 변화의 증거(처리시간·수정률) · X8 이웃 안티패턴 — 개수·탑재를 성과로 세는 같은 뿌리
참고 자료
PAX 기준서 '기능 탑재가 아니라 실제 업무 산출물이 관건' · PAX 원칙 '도구를 호출해도 기존 흐름이 그대로면 Enabled'
X4 단일 모델 인질 안티패턴
상용 API 하나에 전 기능이 묶여 있어, 그 API가 멈추거나 바뀌면 무슨 일이 생기는지 아무도 답하지 못하는 함정이다.
맥락
E2가 해외 상용 API이고 B 부품이 그 API를 게이트웨이 없이 직접 호출하는 과제. 특히 대민 자동응답·상시 감지처럼 중단 비용이 큰 서비스.
맞서는 힘(긴장)
- 최고 성능 단일 모델 vs 대체 경로 유지 비용
- 빠른 시범 구축 vs 게이트웨이·폴백 설계
- 모델 업데이트의 성능 향상 vs 예고 없는 동작 변화
해법
모델 호출을 A2 모델 서빙 계층 뒤로 숨겨 B 부품이 특정 벤더 API를 직접 부르지 않게 한다. 그 위에 C7 폴백 스위치로 재시도 → 기존 API → 대체 MCP → 대체 모델(A2.2 주권형 로컬 등) → 규칙 기반 축소 → 수동 전환의 경로를 정하고 전환 이력을 C4에 남긴다. 모델 교체가 실제로 안전한지는 C9 평가 세트로 재어 버전을 고정한다. 모델 중립(BYO) 배포라면 A9 스킬 형태로 배포해 모델 교체 가능성 자체를 폴백으로 삼는다.
이럴 때 쓴다
- E2가 해외 상용 API인데 C7 폴백이 없다(분류기준 검증 경고 조건)
- 'API가 멈추면 어떻게 되는가'에 대한 서술이 없다
- 모델 버전 고정·교체 시험 기록이 없다
- A2 게이트웨이 없이 B 부품이 벤더 API를 직접 호출한다
이럴 때는 쓰지 않는다
- B0 결정적 도구처럼 런타임 AI가 없는 경우
- 로컬 완결 도구로 외부 의존이 없는 경우
- 모델 중립(BYO) 배포로 A9 스킬 형태라 이용자가 모델을 바꿀 수 있는 경우
- 상용 API를 쓰되 A2 게이트웨이와 C7 대체 경로가 구현된 경우
얻는 것
- 가장 성능 좋은 모델을 가장 빨리 쓴다
- 게이트웨이·대체 모델 유지 비용이 없다
점검표
- 모든 모델 호출이 A2 한 곳을 지나는가
- 대체 경로가 하나 이상 구현되어 있는가
- 대체 모델의 품질이 C9로 측정되어 있는가
- 모델 버전이 고정되어 있고 교체가 릴리스처럼 관리되는가
구조 — 참여 부품
- A2 모델 서빙 계층 — 벤더 API를 숨기는 끼울 자리
- C7 폴백 스위치 — 장애 시 대체 경로로 전환
- C9 평가 세트·회귀시험 — 대체 모델의 품질을 같은 자로 확인
- 단일 상용 API — 모든 기능이 묶인 의존 대상
변형
- 직접 호출형: 게이트웨이 없이 코드 곳곳에서 벤더 SDK를 직접 호출
- 벤더 내장형: 벤더 제품 안에 모델이 박혀 교체 자체가 불가능(A2.6 블랙박스와 결합)
- 버전 미고정형: 모델 버전을 고정하지 않아 업데이트가 예고 없이 동작을 바꿈
관련 부품
C7 대체 — 장애 시 이어 가는 폴백 경로 · A2 끼울 자리 — 벤더 API를 숨기는 모델 서빙 계층 · A2.2 대체 모델 후보 — 주권형 로컬 · C9 선행 — 대체 모델 품질 확인과 버전 고정 · A9 BYO 배포에서의 대응 — 스킬 형태면 모델 교체 가능
참고 자료
Gulli ch.12 Exception Handling · Microservice Circuit Breaker · PAX Native 관문 4
이 부품과 이어지는 가이드라인
X10 평가 없는 RAG, RAG 없는 튜닝 안티패턴
평가 세트 없이 검색을 붙여 '좋아진 것 같다'로 배포하고, 검색으로 풀릴 문제를 파인튜닝으로 푸는, 진행 경로를 건너뛰는 함정이다.
맥락
B3 지식 접지·B1 코파일럿에 RAG를 붙이거나 A2.3 튜닝형 모델을 만드는 과제, 특히 규정·매뉴얼 기반 질의응답.
맞서는 힘(긴장)
- 눈에 보이는 기술 성과 vs 지루한 평가 세트 구축
- 빠른 배포 vs 변경마다 재는 자
- 자체 모델 보유 인상 vs 검색으로 충분한 문제
해법
§7.2 진행 경로를 순서대로 밟는다. B1 직접 프롬프트에서 시작해 두 번째 단계에서 C9 평가 세트(업무 질문·정답·채점 기준)를 먼저 만들고, 이후 A9 규범 스킬·F4, B3 지식 접지(A1 데이터 자산), B3 검색 품질(Hybrid·Rewriting·Reranker), C5 가드레일·F1 순으로 붙이며 매 단계를 C9로 잰다. A2.3 튜닝은 진행 경로의 마지막 단계로, 검색·규범 스킬로 풀리지 않는다는 것이 C9 점수로 확인됐을 때만 한다. 모델·프롬프트·설정 조합은 릴리스처럼 버전 관리한다.
이럴 때 쓴다
- RAG·튜닝을 도입했는데 업무 질문·정답·채점 기준 세트가 없다
- '답변 품질 향상'을 수치 없이 서술하거나 단발 정확도만 보고한다
- 자주 바뀌는 규정·매뉴얼 질의를 파인튜닝으로 풀었다
- 검색 품질(재현율·리랭킹)을 재지 않고 튜닝으로 넘어갔다
이럴 때는 쓰지 않는다
- C9 세트로 RAG 전후를 비교한 뒤 배포한 경우
- 검색·스킬로 풀리지 않음을 C9 점수로 확인한 뒤 튜닝한 경우
- B2·B4처럼 비LLM 학습 모델로 원래 학습이 해법인 경우(RAG가 대안이 아님)
얻는 것
- RAG·튜닝이라는 눈에 보이는 기술 성과를 빨리 낸다
- 평가 세트 구축에 현업 시간을 쓰지 않는다
점검표
- 업무 질문·정답·채점 기준 세트가 있는가
- RAG 전후 점수 비교가 있는가
- 튜닝을 선택한 근거가 C9 점수로 설명되는가
- 모델·프롬프트·설정 조합이 버전 관리되는가
구조 — 참여 부품
- C9 평가 세트·회귀시험 — 빠진 부품. 모든 변경을 같은 자로 잼
- B3 지식 접지 — 튜닝 전에 먼저 시도할 검색 기반 접지
- A2.3 튜닝형 모델 — 진행 경로의 마지막 단계
- A1 데이터 자산 서비스 — 정답 출처와 검색 코퍼스
변형
- 평가 없는 RAG: 검색을 붙이고 몇 개 질문을 눈으로 보고 배포
- RAG 없는 튜닝: 문서 검색으로 풀릴 최신 규정 질의를 파인튜닝으로 해결하려 함
- 평가 없는 튜닝: 튜닝 전후를 같은 세트로 비교하지 않음
관련 부품
C9 대체 — RAG·튜닝보다 먼저 만들 평가 세트 · B3 선행 — 튜닝 전에 시도할 지식 접지 · A2.3 순서 — 진행 경로의 마지막 단계 · A9 대안 — 튜닝 대신 규범 스킬로 푸는 경로 · X11 이웃 안티패턴 — 같은 진행 경로 위반
참고 자료
Fowler GenAI 진행 경로(Direct Prompting → Evals → RAG → Hybrid Retriever·Query Rewriting·Reranker → Guardrails → Fine Tuning) · InfoQ Prompt-Model-Config Versioning
이 부품과 이어지는 가이드라인
실무 도입 카드
필요한 것
요구 환경 미확인 — 원문·저장소에서 확인 필요
첫 3단계
① 원문·저장소에서 실체 확인 → ② 소규모 업무로 시험 → ③ 결과를 동료와 교차 검증
주의사항
게시글 주장 외 독립 증거가 아직 없습니다 · 실사용 피드백이 미확인입니다 — 도입 전 소규모 검증을 권합니다 · 성과 수치는 출처가 확인된 것만 신뢰하세요
전이 절차(보안검토→품의→배포)는 전이 플레이북을 참고하세요.