
경기도의회가 일상의 궁금증과 이웃 간 분쟁을 시·군 조례와 대한민국 법령 근거로 풀어주는 대민 AI 안내 서비스를 베타로 공개했다. 자연어로 법을 물어보면 지역 조례를 근거와 함께 안내하고, 조례 이야기·의원별 조례·건의함 코너로 주민 참여까지 연결한다.
사례 대상 바로가기 · 공유 링크 · 아카이브에서 보기
상세 정보
- 사례 성격
- 기관 공식
- 출처 채널
- 오픈채팅
- 수집일
- 2026-08-14
- 태그
- #법령 #조례 #대민서비스 #AI상담
- 링크 점검
- 정상 (2026-11-02)
4축 평가
| AX 단계 | AI-Enabled |
|---|---|
| 업무 범위 | S2 Tool bundle |
| 업무 완결성 | C1 결과 제공 |
| 권한(P축) | P1 산출물 생성(잠정) |
| 위험도 | R2 보통 |
| 인간 통제 | H1/H2 미확인 |
| 증거 등급 | E2 화면·서비스 확인 |
| 신뢰도 | 중간 |
자연어 질문에 지역 조례·법령 근거를 제시하는 대민 AI 안내 — 검증 가능한 답변 산출물을 생산하므로 Enabled. 법률 안내 대민 서비스 맥락상 오답 위험을 감안해 위험도 보통, 베타 단계.
디자인 패턴 분석
『모두의 공공AX 디자인 패턴』 카탈로그 v0.7.1 기준 — 사례를 기관이 함께 쓰는 AI 부품과 그 조립으로 읽은 결과입니다. · 패턴 성좌에서 전체 보기 ↗
업무 패턴 B3 지식 접지 상담 변형: 대민 자동응답(조례·법령 접지)
환경 축 배포:인터넷망 네트워크:인터넷 필수 모델:LLM(모델 미상) 런타임:브라우저만 권한:P0 읽기 전용
- 공통 서비스(A)
- A1 데이터 자산 서비스
- 신뢰할 수 없는 입력
- 주민 자연어 질문
- 상호작용(F)
- F1 출처 표시 F10 이용자 자기확인·피드백
- 서비스 블록(D)
- D7 상담·처방 D1 안내·탐색
- 부품 배선
- A1 → B3 · B3 → F1 · B3 → D7 · F10 → D7
판정 근거
자연어로 법을 물으면 시·군 조례와 법령 근거로 안내하는 대민 AI 서비스—기관 규정에 접지된 질의응답이므로 B3 변형 대민 자동응답. 모델명 미기재이나 LLM 사용은 확실해 LLM(모델 미상). 조례·법령 코퍼스 구축은 A1, '근거와 함께 안내'가 F1, 건의함 코너는 이용자 피드백 채널로 F10 잠정. 답변만 하므로 P0. 이웃 분쟁 질문에 개인정보가 섞일 수 있으나 시스템 데이터는 공개 법령이라 O 잠정. C5·C9·C7·F7은 공개 자료에 없어 결락. URL 없음.
구현 가이드
주 패턴 B3 지식 접지 상담을 구현할 때
구현 단계
- 대표 질문·정답·채점 기준으로 C9 평가 세트를 먼저 만든다.
- A1로 코퍼스를 정리하고 데이터 등급(E5)과 공개 범위를 메타로 붙인다. 등급 문서가 섞이면 S2 권한 인식 검색을 둔다.
- E1에 맞게 임베딩·벡터DB·모델 위치를 정한다(폐쇄망이면 전부 로컬, A2.2·A2.4).
- 근거 밖 답변 금지·출처 상시 표시·근거 없으면 이관하는 규칙을 C5·F1·B′2로 구현한다.
- 검색 품질 3패턴을 하나씩 붙이며 C9로 재고, 문서 갱신 주기를 C6으로 운영한다.
점검표
- 답마다 출처가 표시되는가
- 근거가 없을 때 답하지 않고 이관하는가
- 평가 세트로 검색·답변 품질을 재고 있는가
- 코퍼스 갱신 주기와 책임자가 정해져 있는가
환경 조건
E1 폐쇄망·행정망이면 임베딩·벡터DB·모델 전부 로컬(A2.2 주권형 또는 A2.4 내부망 프록시 + 로컬 임베딩). E2 해외 상용 API면 C5 비식별 전처리와 C7 폴백이 필수다. E4는 P0~P1이 기본이다. 신뢰 불가 입력(민원 입력·공개 웹)을 읽고 P2 이상이면 S6 문서별 격리와 S2가 필요하다. 대민형은 S4·S7이 권장된다(§7.4).
주의할 점
- 평가 없이 붙이면 품질을 알 수 없음(X10)
- 코퍼스 갱신이 멈추면 오답이 됨
- 부서마다 따로 만들면 중복(X3)
- 대민형은 인젝션·유출 위협에 노출
기본 배선 예
A1 → A2.2 → B3 (B′7 · B′2) → F1 · B3 → C2 → 담당자 이관
보완이 필요한 필수 부품
이 조합에서 카탈로그가 함께 갖추라고 권하는 부품 가운데 아직 확인되지 않은 것이다.
- A2 모델 서빙 계층 업무 부품이 모델을 직접 부르지 않고 서빙 계층을 거쳐 부르게 해 모델을 바꿔 끼우고 라우팅·캐싱·버전 고정·폴백을 한 자리에서 다룬다. A2.0~A2.6을 묶는 부모 항목이다.
- C5 가드레일 필터 개인정보·환각·편향·형식 오류가 프롬프트나 산출물에 들어가지 못하게 시스템이 경계에서 걸러낸다. 비식별 전처리, 출처 검증, 구조적 출력 제약이 대표 변형이다.
- C9 평가 세트·회귀시험 배포 전에 업무 맥락의 질문·정답·채점 기준을 세트로 만들어, 프롬프트·모델·설정의 모든 변경을 같은 자로 재고 회귀를 잡는다.
- C7 폴백 스위치 모델·API·도구가 멈추거나 품질이 떨어질 때 대체 모델·규칙 기반 축소·수동 처리로 경로를 바꿔 서비스가 끊기지 않게 한다.
- F7 한계·신뢰도 안내 AI가 무엇을 못 하는지, 얼마나 확신하는지, 공식 판단이 아님을 이용자가 볼 수 있는 곳에 적어 과신을 막는다.
피해야 할 안티패턴
- X3 부서마다 챗봇 같은 기관의 과제들이 각자 모델·벡터DB·프롬프트를 따로 만들어, 공유할 수 있는 기반 부품을 부서 수만큼 중복 구축하는 함정이다. 대처: §7.1의 두 번째 단계대로 기반 부품은 새로 만들지 말고 Provider에서 먼저 가져온다. 모델 호출은 A2 모델 서빙 계층(범정부 AI 공통기반 또는 기관 게이트웨이) 뒤로 모으고, S1 단일 진입점에서 인증·요청 상한·비용 상한·감사 기록을 일괄 적용한다. 공공 API·공공 클라우드·공공 깃랩은 A3 공공 API 제공자로 쓴다. 부서별 차이는 모델을 따로 두지 말고 A9 업무 규범 스킬과 부서 코퍼스(A1)로 표현하며, 부서·등급별 코퍼스 분리가 필요하면 S2 권한 인식 검색으로 푼다. 없어서 새로 만든 부품은 §13 참조 구현 레지스트리에 올린다.
- X10 평가 없는 RAG, RAG 없는 튜닝 평가 세트 없이 검색을 붙여 '좋아진 것 같다'로 배포하고, 검색으로 풀릴 문제를 파인튜닝으로 푸는, 진행 경로를 건너뛰는 함정이다. 대처: §7.2 진행 경로를 순서대로 밟는다. B1 직접 프롬프트에서 시작해 두 번째 단계에서 C9 평가 세트(업무 질문·정답·채점 기준)를 먼저 만들고, 이후 A9 규범 스킬·F4, B3 지식 접지(A1 데이터 자산), B3 검색 품질(Hybrid·Rewriting·Reranker), C5 가드레일·F1 순으로 붙이며 매 단계를 C9로 잰다. A2.3 튜닝은 진행 경로의 마지막 단계로, 검색·규범 스킬로 풀리지 않는다는 것이 C9 점수로 확인됐을 때만 한다. 모델·프롬프트·설정 조합은 릴리스처럼 버전 관리한다.
관련 가이드라인
이 사례가 쓰는 부품과 이어지는 공공 AX 안내서·지침이다 (부록 E 공공 AX 가이드라인 문서 해설 기준, 겹치는 부품이 많은 순).
- 공공부문 AI 도입·활용 가이드 쓰는 작업: 사업 담당자가 사업계획서와 예산 요구서를 쓸 때 처음 펴는 문서다. 기획 단계에서는 사업 범위와 성과 지표를, 계약 단계에서는 과업지시서 구조를, 운영 단계에서는 유지관리 항목을 이 문서의 단계 구분에 맞춘다. 자체 모델을 들일지 공통기반을 쓸지 결정할 때도 이 문서가 기준이다.주의: 2024년 1.0과 2025년 2.0 초거대 AI 가이드라인을 잇는 문서다. 신규 사업은 이 판을 근거로 쓰고, 구판의 체크리스트는 이 판에 없는 항목을 확인할 때만 꺼낸다.
- AI 정부 서비스 사례집 쓰는 작업: 대국민 서비스를 기획하는 부서가 같은 분야의 정부 서비스를 찾을 때 편다. 국민이 직접 쓰는 서비스는 내부 업무 지원 도구와 요구사항이 다르므로, 내부 도구 사례만 보고 기획하지 않도록 이 사례집으로 균형을 잡는다.주의: 사례의 운영 상태는 발간 시점 기준이다. 지금도 운영 중인지는 PAX 사례 페이지나 기관 누리집에서 다시 확인한다.
- 공공데이터의 인공지능 친화적 관리 가이드라인 이 사례와 겹치는 부품 A1 데이터 자산 서비스 B3 지식 접지 상담쓰는 작업: 데이터 담당 부서가 공공데이터나 내부 문서를 RAG 지식베이스와 API로 내놓기 전에 편다. 데이터 개방 계획서의 메타데이터 항목, 지식베이스에 넣을 문서의 형식 변환 기준, 데이터 품질 점검표를 이 문서로 쓴다. 공공 API를 MCP 서버로 감싸려는 담당자에게도 기본 문서다.주의: NIA가 v1.1 개정을 공지했으므로 내려받은 파일의 판을 확인한다.
- 합성데이터 생성·활용 안내서 이 사례와 겹치는 부품 C9 평가 세트·회귀시험 A1 데이터 자산 서비스쓰는 작업: 실제 민원 데이터를 개발사에 넘기기 어려우면 합성데이터로 개발·시험 환경을 꾸린다. 그 생성 계획과 안전성 검증 절차를 이 문서로 세운다. 평가 세트를 합성데이터로 만들면 재식별 위험 검증을 함께 한다.주의: 합성데이터로 만든 평가 세트가 실제 데이터 분포를 대표하는지는 따로 확인한다.
- 인공지능 투명성 확보 가이드라인 이 사례와 겹치는 부품 F7 한계·신뢰도 안내 F1 출처 표시쓰는 작업: 국민이 쓰는 챗봇이나 AI가 만든 안내문·이미지를 내보내는 서비스에서, 화면 문구와 생성물 표시 방식을 정할 때 쓴다. 화면 설계서의 고지 문구 칸이 이 문서에서 나온다.주의: 문서 원문의 구체 의무 범위는 게시물 첨부로 확인한다.
- 신뢰할 수 있는 인공지능 개발 안내서 이 사례와 겹치는 부품 C9 평가 세트·회귀시험 F7 한계·신뢰도 안내쓰는 작업: 개발사가 신뢰성 요구사항을 개발 산출물에 대응시킬 때, 발주 기관이 검증항목 일부를 인수 조건으로 고를 때 쓴다. 공공 서비스는 공공·사회 분야판을, 챗봇과 문서 생성은 생성 AI 분야판을 먼저 본다.주의: 배포 페이지에는 TTA 표기가 따로 보이지 않는다. 발행 기관은 PAX 목록의 표기를 따랐다. 67개 항목 전부를 인수 조건으로 넣으면 검수가 불가능해지므로, 사업 성격에 맞는 항목을 골라 넣는다.
- 생성형 인공지능의 저작물 학습에 대한 저작권법상 공정이용 안내서 이 사례와 겹치는 부품 A1 데이터 자산 서비스 B3 지식 접지 상담쓰는 작업: 모델을 튜닝하거나 외부 문서를 지식베이스에 넣는 사업이라면 데이터 수집 계획서의 저작권 검토 칸을 이 문서로 채운다. 학습과 검색·인용을 구분하라는 PAX 목록의 메모는 이 문서와 RAG 운영 기준을 나눠 적으라는 뜻이다.주의: 공정이용 판단은 사안별이다. 공공누리 유형이나 이용허락이 확인되는 자료를 먼저 쓰고, 공정이용은 그 다음 근거로 둔다.
- KS X ISO/IEC 23053 기계 학습(ML)을 사용하는 인공지능(AI) 시스템 프레임워크 이 사례와 겹치는 부품 A2 모델 서빙 계층 A1 데이터 자산 서비스쓰는 작업: 아키텍처 설계서에서 데이터, 모델, 학습, 추론 구성요소를 이름 붙여 나눌 때 공통 어휘로 쓴다. 발주기관과 사업자가 구성도를 놓고 서로 다른 말을 쓰는 일을 줄인다.주의: 기술 프레임워크이며 보안·망 요구는 다루지 않는다. 망 설계는 N²SF와 AI보안 가이드북으로 정한다.
같은 주 패턴(B3)을 쓰는 다른 사례
같은 업무 패턴으로 조립된 사례를 서비스 유형이 같은 것부터 모았다 외 22건. 구현할 때 비교해 볼 수 있다.
이 사례에 쓰인 패턴
B3 지식 접지 상담 업무 컴포넌트
기관 규정·매뉴얼·사례 문서에 접지(RAG)해 질문에 답하고, 답마다 출처를 붙이며, 근거가 없으면 답하지 않고 담당자에게 넘긴다.
PAX 사례 48건이 이 부품을 쓴다
맥락
규정·매뉴얼·FAQ·사례가 문서로 쌓인 기관에서 내부 검색·검수, 대민 자동응답, 폐쇄망 로컬 검색에 쓴다. PAX 557건에서 주 부품이 B3인 사례는 31건으로 B0·B1 다음이다. 유형 ① 대민 상담·안내의 기본 조립이기도 하다.
맞서는 힘(긴장)
- 답변 범위 vs 환각 위험(근거 밖 답변 금지)
- 대민 자동응답의 효율 vs 예외 건 이관 필요
- 검색 품질 개선 vs 평가 세트 없이는 개선을 잴 수 없음
- 폐쇄망 요구 vs 로컬 임베딩·모델 품질
해법
기관 문서를 A1 자산으로 정리해 임베딩·색인하고, 질문이 오면 검색한 근거 범위 안에서만 모델이 답하게 한다. 답에는 출처(F1)를 상시 붙이고, 근거가 없으면 '확인 불가'로 답하거나 담당자·소관기관으로 이관한다(B′2). 검색 품질은 Hybrid Retriever·Query Rewriting·Reranker로 높이되, 변경마다 C9 평가 세트로 잰다. 대민형은 한계 안내(F7)와 폴백(C7)을 두고, 문서 갱신 주기를 C6으로 정한다.
이럴 때 쓴다
- 같은 질문이 반복되고 답의 근거가 기관 문서에 있을 때
- 답변에 조문·문서 출처를 반드시 붙여야 할 때
- 유형 ① 대민 상담·안내, 유형 ⑦ 법령 접지 점검
이럴 때는 쓰지 않는다
- 평가 세트가 없어 검색 품질을 잴 수 없을 때(먼저 C9, X10)
- 질문 유형이 몇 개로 정해져 행동 선택기(S4)나 규칙 조회로 충분할 때
- 문서를 요약해 초안을 쓰는 것이 핵심이면(B1)
얻는 것
- 답변에 근거를 댈 수 있음
- 반복 질의 처리 시간 단축
- 범정부 엔진 + 기관별 코퍼스로 공유 가능
점검표
- 답마다 출처가 표시되는가
- 근거가 없을 때 답하지 않고 이관하는가
- 평가 세트로 검색·답변 품질을 재고 있는가
- 코퍼스 갱신 주기와 책임자가 정해져 있는가
구조 — 참여 부품
- A1 데이터 자산 서비스 — 코퍼스 정제·등급 메타
- A2 모델 서빙 계층 — 임베딩·생성 모델(폐쇄망이면 로컬)
- 검색기 — 벡터·키워드 검색, 재작성·재순위
- C5 가드레일 필터 — 출처 검증·근거 밖 답변 차단
- F1 출처 표시 — 근거 문서·조문을 답에 표시
- 담당자 — 내부형 검수, 대민형 예외 건 처리
변형
- 내부 검수형: 직원이 쓰고 답을 검수(Enabled)
- 대민 자동응답형: 국민에게 직접 답하고 예외만 이관(이관 분기가 있으면 First)
- 폐쇄망 로컬 RAG: 내부망 LLM + 로컬 임베딩·벡터DB
- 검색 품질 하위 항목: Hybrid Retriever(벡터+키워드)·Query Rewriting·Reranker. 태깅 시 variant에 기재(Fowler)
- 그래프 RAG: A6 지식그래프를 검색에 결합(rag_type = Graph)
참조 구현 예
- PAX 전북AI — 자체 구축, 이용 10만 건(카드 참조 구현)
- PAX 소방기술민원 답변생성기 — 관리자 승인·적재, '유권해석 아님' 고지(카드 참조 구현)
- PAX bfcd190155ae69f7 — 코레일유통 그래프RAG 사내검색, 개인 시범 구축 → 기관 공식 플랫폼(§13)
관련 부품
C9 선행 — 평가 세트 없이 검색 품질을 개선할 수 없음 · F1 이용자 쪽 대응 — 출처 표시 · B′2 배선 — 근거 없거나 예외인 질문을 담당자로 이관 · A6 선택 부품 — 그래프 RAG · S2 보안 짝 — 등급 문서가 섞인 코퍼스의 권한 인식 검색 · C7 대민 상시 서비스의 폴백
참고 자료
Fowler RAG·Hybrid Retriever·Query Rewriting·Reranker · Gulli ch.14 RAG · computer.org RAG · GoF Proxy·Facade, Microservice Aggregator
이 부품과 이어지는 가이드라인
A1 데이터 자산 서비스 공통 서비스
흩어진 업무 기록을 정제·라벨링해 AI 부품이 붙여 쓸 수 있는 데이터셋·라벨·데이터 사전 형태의 기준선으로 제공한다.
PAX 사례 110건이 이 부품을 쓴다
맥락
학습 모델(A2.5·B2), 지식 접지(B3)의 코퍼스, 평가 세트(C9)의 정답 출처가 필요한 과제라면 모두 이 부품을 쓴다. 서비스 유형 5a·9·10·11에서는 필수 기반이다. 비LLM 규칙 기반 대민 안내에서는 A2를 거치지 않고 결정론 조회의 대상이 된다(R21).
맞서는 힘(긴장)
- 정제 품질 vs 구축 기간·라벨링 인력 비용
- 과제 전용 가공(빠름) vs 기관 공통 기준선(재사용)
- 데이터 활용 범위 vs 데이터 등급(E5) 보호
- 기준선 고정(재현성) vs 원천 갱신 반영
해법
원천 기록을 수집→정제(중복·결측 처리)→라벨링→정의 문서화 순으로 가공하고, 결과를 정제 데이터셋·라벨·데이터 사전의 세 산출물로 고정해 제공한다. 'N건→M건 정제'처럼 정제 전후 규모와 기준을 기록하고, 변수·테이블·인터페이스 정의서로 소비 부품이 같은 정의를 쓰게 한다. 기준선은 버전으로 관리해 C9 평가 세트의 정답 출처와 C6 재학습의 입력으로 재사용한다. 데이터 경계는 부품별로 두고(DB per Service), 타 기관 데이터와의 결합은 A4로 분리한다.
이럴 때 쓴다
- 예측·추천기(B2)나 비전 모델(A2.5)을 학습·재학습할 때
- 지식 접지(B3)의 코퍼스를 구축할 때
- 평가 세트(C9)의 정답 출처가 필요할 때
- 서비스 유형 5a-agg·9·10·11처럼 A1이 필수인 조립
이럴 때는 쓰지 않는다
- 공공 API 응답을 가공 없이 조회만 할 때(A3)
- 정제·정의 없이 파일을 올려 바로 검색하는 경우(태그 대상 아님)
- 타 기관 데이터 결합이 핵심일 때는 A4를 함께 태그해 계약·키 매핑을 따로 드러낸다
얻는 것
- 모델 교체와 무관하게 남는 기관 자산
- C9·C6·B3가 같은 기준선을 재사용
- 데이터 사전이 기관 간 표준 확산의 단위가 됨
점검표
- 정제 전후 규모와 정제 기준이 기록되어 있는가
- 데이터 사전(정의·단위·출처)이 있는가
- 기준선에 버전이 있고 평가용 분할이 학습용과 분리되어 있는가
- 데이터 등급(E5)에 맞는 가명·비식별 처리가 적용되었는가
구조 — 참여 부품
- 원천 시스템·기록 — 가공 전 업무 기록을 내주는 출처
- 정제·라벨링 파이프라인 — 중복 제거·결측 처리·라벨 부여·품질관리를 수행
- 데이터 사전 — 정의·단위·출처를 문서로 고정해 소비 부품이 같은 뜻으로 쓰게 함
- C9 평가 세트·회귀시험 — 기준선을 정답 출처로 사용
- A2.5 비LLM 학습 모델 — 기준선으로 학습·재학습하는 소비 부품
변형
- 학습데이터 구축형: 영상·이미지 등을 수집해 품질관리 단계(중복 제거·재라벨링·학습/검증/평가 분리)를 거쳐 학습 기준선으로 만든다.
- RAG 코퍼스 정본화형: 법령·규정 원문을 현행 시행본 기준으로 정본화하고 조문 구조·메타데이터를 부여해 색인한다.
- 지표 표준화형: 여러 자료원의 지표를 도메인별로 표준화하고 정의·단위·분모·결측·원본 링크를 메타데이터로 관리한다.
- 자동 피처 파이프라인형: 수집→정제→파생 변수 생성→자동 검증→담당자 승인을 주기 실행하고 승인만 사람에게 남긴다.
관련 부품
C9 소비처 — 기준선이 평가 세트의 정답 출처 · A4 짝 — 자기 기관 정제(A1)와 타 기관 결합(A4) · B3 소비처 — 지식 접지의 코퍼스 · C6 선행 — 재학습 입력이 되는 기준선 · A2.5 소비처 — 자체 학습 모델의 학습 데이터
참고 자료
computer.org 데이터 증강 · Heiland 데이터 계층 · Microservice 패턴 DB per Service · GoF Builder
이 부품과 이어지는 가이드라인
F1 출처 표시 상호작용 패턴
답변에 근거 문서·조문·통계표 ID를 붙여 이용자가 원문을 직접 확인할 수 있게 한다. C5 출처 검증의 이용자 면이다.
PAX 사례 87건이 이 부품을 쓴다
맥락
B3 지식 접지 상담, A8 공공데이터 MCP, 법령·통계·규정을 인용하는 모든 응답. 유형 ① 대민 상담, ⑤b 데이터 에이전트, ⑦ 대조·점검, ⑨ 인수인계(원문 위치).
맞서는 힘(긴장)
- 출처 상세도 vs 화면 복잡도
- 출처 표시 vs 실제 검증(표시만 하고 검증하지 않으면 잘못된 신뢰)
- 원문 링크의 신선도 vs 유지 비용
해법
답변의 각 주장에 근거 문서·조문 번호·통계표 ID·원문 위치를 붙이고, 원문으로 바로 이동하는 링크를 제공한다. 출처의 갱신 시각과 이용 조건을 함께 보여 오래된 자료를 현재로 오인하지 않게 한다. 표시되는 출처는 C5 출처 검증을 통과한 것이어야 한다.
이럴 때 쓴다
- B3 지식 접지 응답 전반
- 대민 서비스 D1~D7(F1·F2·F7이 최소 요건)
- 유형 ①⑤b⑦⑨처럼 F1이 필수인 유형
이럴 때는 쓰지 않는다
- 모델의 판정 근거(요인·BBox·사유 코드)를 보여 주려는 경우(F9)
- B0 결정적 도구로 원천 데이터를 그대로 보여 주는 경우(출처가 곧 화면)
얻는 것
- 이용자 신뢰 확보
- 원문 대조로 오류 발견
- 공식 판단 여부를 이용자가 스스로 확인
점검표
- 모든 답변에 출처가 붙는가
- 출처가 원본과 대조되는가
- 갱신 시각이 보이는가
- 이용자가 원문을 바로 열 수 있는가
구조 — 참여 부품
- C5 가드레일 필터 — 출처 검증
- 이용자 — 원문을 열어 대조
변형
- 문서·조문 인용: 근거 문서명과 조문 번호를 답변에 붙임
- 통계표 ID 인용: 통계 답변에 통계표 ID를 자동 인용(KOSIS MCP 방식)
- 출처·신선도 표시: 출처에 갱신 시각과 이용 조건을 함께 표시
참조 구현 예
- PAX Korean Stats MCP — KOSIS 통계를 자연어로, 출처 자동 인용
- PAX 224e2d82d9369735 — 모든 출처에 갱신 시각과 이용 조건을 함께 저장한 출처·신선도 표시
- PAX 9998aba2d1f55c24 — 항목별 법령·처분사례 원문 연계(F1)
관련 부품
C5 시스템 쪽 대응 — 출처 검증 · F7 짝 — 한계 안내와 함께 신뢰의 실체 · F9 구분 — 판정 근거 표시 · B3 끼울 자리 — 지식 접지 응답 · A3 출처 제공 — 공공 API 원문
참고 자료
aiuxpatterns Results · Show Citations
이 부품과 이어지는 가이드라인
F10 이용자 자기확인·피드백 상호작용 패턴
최종 이용자가 AI 인식 결과를 '정확함/틀림'으로 확인만 하거나 응답 만족도·오류를 제보하는 단계. 담당자 검수(C1)도 편집(F2)도 아니며, C6 환류의 이용자 쪽 입력이다.
PAX 사례 3건이 이 부품을 쓴다
맥락
대민 인식·추정 서비스, 상담 응답, 공공 추정값 서비스. v0.6에서 추가된 후보 부품.
맞서는 힘(긴장)
- 피드백 수집 vs 이용자 부담
- 제보의 가치 vs 오염·악의적 제보
해법
결과 옆에 '정확함/틀림' 확인이나 만족도 버튼, 오류 제보 통로를 둔다. 수집된 피드백은 C4에 적재하고 C6 환류 규칙이 주기·상한에 따라 반영한다. 추정값임을 함께 명시한다.
이럴 때 쓴다
- 이용자가 결과의 정오를 판단할 수 있는 서비스
- C6 환류에 이용자 신호를 넣으려 할 때
이럴 때는 쓰지 않는다
- 이용자가 결과를 확정하는 자기서비스형 HITL(C1, R16)
- 피드백을 반영할 C6·C4가 없어 수집만 하게 되는 경우(먼저 반영 경로 설계)
얻는 것
- 이용자 신호를 환류에 활용
- 오류 조기 발견
점검표
- 확인·제보 통로가 결과 화면에 있는가
- 피드백이 기록되는가
- 피드백을 반영하는 경로가 있는가
구조 — 참여 부품
- 이용자 — 결과 확인·제보
- C4 감사 로그·지표 — 피드백 적재
- C6 환류 파이프라인 — 피드백 반영
변형
- 인식 결과 자기확인: '정확함/틀림'으로 확인만
- 만족도 피드백: 👍👎 응답 평가
- 데이터 오류 제보: 추정값·데이터 오류를 제보하는 통로
참조 구현 예
- PAX 9e0d7d42f0a21b44 — 새집고고 — 단지마다 데이터 오류 제보 통로와 추정값 명시
관련 부품
C6 후속 — 환류의 이용자 쪽 입력 · C1 구분 — 확정 권한이 있으면 C1 · F2 구분 — 편집 · C4 기록처 — 피드백 적재
참고 자료
카탈로그 v0.6 개정 F10
이 부품과 이어지는 가이드라인
D7 상담·처방 서비스 블록
개인 상황에 맞춘 정보·처방·법령 안내를 주는 대민 접점 블록이다. B1 코파일럿이나 B3 지식 접지가 이 자리에 들어간다.
PAX 사례 14건이 이 부품을 쓴다
맥락
국민에게 개인 맞춤 정보·처방·법령 안내를 주는 접점. §7.3 유형 ① 대민 상담·안내(D1·D7)와 유형 ⑪ 추천·매칭(D7·D4)의 무대다.
맞서는 힘(긴장)
- 맞춤화 정도 vs 오답의 대가
- 전문가 전건 검토 vs 처리량
- 민원인이 원하는 답 vs 규정·데이터에서 나오는 답(S4)
- 쉬운 설명 vs '공식 해석 아님' 고지
해법
답이 데이터·규정에서 나오게 한다. 개인 조건은 F4 구조화 입력으로 받고, B3가 공개 규정·법령에 접지하거나 B1이 전문가 검토용 처방 초안을 만든다. 처방처럼 오답의 대가가 크면 C1 검토 큐로 전문가가 확정하고, 저위험 건만 C2로 자동 확정한다. 답에는 F1 출처와 F7 한계 고지, 추천이면 F9 추천 사유와 F3 대안을 붙인다. 민원인 입력에는 S4 행동 선택기·S7로 규정 밖 답을 막고, 이용자 반응과 전문가 수정은 C6로 되돌린다.
이럴 때 쓴다
- 개인 조건에 따라 답이 달라지는 정보·처방·법령 안내
- 전문가 상담 수요가 인력을 넘을 때
- 일반 안내(D1)로는 무엇을 할지 결정하지 못할 때
이럴 때는 쓰지 않는다
- 서비스·창구를 찾는 데서 끝나면 D1
- 지급·승인 같은 자격 판정이면 D3
- 이용자가 기관 담당자면 D8 하위 블록
얻는 것
- 전문가 상담 대기 감소
- 개인 조건에 맞는 행동 제시
- 전문가 수정의 누적으로 품질 개선
점검표
- 맞춤 답이 데이터·규정에서 나오는가
- 오답의 대가가 큰 건에 전문가 확정이 있는가
- 공식 판단이 아님이 고지되는가
- 전문가 수정이 개선으로 되돌아오는가
구조 — 참여 부품
- 국민 — 자기 상황을 말하고 맞춤 안내를 받음
- B1 직접 프롬프트 코파일럿 — 처방·안내 초안 생성
- B3 지식 접지 상담 — 법령·조례·규정에 접지한 답변
- C1 검토 큐 — 전문가가 처방을 확정
- F7 한계·신뢰도 안내 — 공식 판단이 아님을 고지
- F9 판정 근거 표시 — 추천·처방 사유를 보여 줌
변형
- 전문가 확정 처방형: B1이 초안을 만들고 전문가가 전건 검토.
- 법령·조례 안내형: B3가 법령·조례에 접지해 답함(경기도의회 법·조례 안내).
- 추천·매칭형: 조건 점수화로 맞춤 프로그램·서비스를 추천(유형 ⑪).
참조 구현 예
- 경기도의회 법·조례 안내 — 카탈로그 D7 카드와 §7.3 유형 ① 참조 구현
관련 부품
D1 이웃 블록 — 일반 안내 · D4 이웃 블록 — 추천·매칭이 이관으로 이어짐 · C1 필수 통제 — 전문가 확정 · S4 필수 보안 — 대민 챗봇 기본형 · C6 환류 — 전문가 수정의 재학습
참고 자료
Davis Levine, Service Design Patterns: An alpha list of patterns (2017) · 카탈로그 §7.3 유형 ①·⑪ · 카탈로그 §7.4 유형 ① 위협 모델
이 부품과 이어지는 가이드라인
D1 안내·탐색 서비스 블록
국민이 어떤 서비스를 받을 수 있고 어디로 가야 하는지 알려 주는 대민 접점 블록이다. B3 지식 접지나 B0 탐색기가 이 자리에 들어간다.
PAX 사례 99건이 이 부품을 쓴다
맥락
국민·기업이 직접 쓰는 대민 접점. §7.3 유형 ① 대민 상담·안내(D1·D7, P0~P1)의 입구다. 규칙 기반 공공데이터 조회로 안내하는 비LLM 도구도 이 블록에 속한다(R21).
맞서는 힘(긴장)
- 안내 범위의 폭 vs 답의 정확성
- 자유 질의의 편의 vs 규정 밖 답을 끌어내려는 입력(S4가 막는 위협)
- 상시 운영 요구 vs 상용 API 장애(C7)
- 쉬운 말 vs 법령·공고 원문 충실성
해법
블록은 렌즈이고, 해법은 이 자리에 끼우는 부품 조합이다. 주 부품은 공개(O) 문서에 접지한 B3 대민 자동응답형이나 조건으로 대상 서비스를 좁히는 B0 탐색기다. 답은 F1 출처와 F7 "공식 판단 아님" 고지와 함께 내고, 입력은 F4 구조화 입력으로 받아 조건 누락을 줄인다. 민원인 입력은 신뢰 불가 입력이므로 S4 행동 선택기와 S7 컨텍스트 최소화로 규정 밖 답을 막고, 상시 서비스이므로 C7 폴백을 둔다. 판단이 필요한 질문은 B′2 라우터로 D4 분류·이관이나 담당자에게 넘기고 F11로 이관을 알린다.
이럴 때 쓴다
- 국민이 받을 수 있는 서비스나 담당 창구를 몰라 헤매는 문제가 있을 때
- 같은 안내 질문이 반복되고 답이 공개 규정·공고에 있을 때
- 뒤따르는 신청(D2)의 입구를 정리해 잘못된 접수를 줄이고 싶을 때
이럴 때는 쓰지 않는다
- 개인별 요건 충족 판정이 필요하면 D3 자격·심사
- 개인 상황에 맞춘 정보·처방·법령 해석을 주면 D7 상담·처방
- 이용자가 기관 내부 담당자면 D8.1 탐색·조회
얻는 것
- 창구를 찾아 헤매는 시간 감소
- 반복 안내 업무 경감
- 후속 신청(D2)의 입구 정리
점검표
- 안내마다 근거 출처가 보이는가
- "공식 판단 아님" 고지가 화면에 있는가
- 규정 밖 질문을 사람에게 넘기는 경로가 있는가
- 평가 세트로 안내 정확도를 재는가
- 모델 장애 시에도 안내가 멈추지 않는가
구조 — 참여 부품
- 국민·기업 — 자기 상황을 말하고 받을 서비스와 창구를 찾는 주체
- B3 지식 접지 상담 — 공개 문서에 접지해 안내 답변을 생성
- B0 결정적 도구(탐색기) — 조건 선택으로 해당 서비스 목록을 좁힘
- F1 출처 표시 — 안내의 근거 문서·데이터를 보여 줌
- F7 한계·신뢰도 안내 — 공식 판단이 아님과 안내 범위를 고지
- 담당자 — 라우터가 넘긴 판단 필요 질문을 처리
변형
- 조건 탐색형: B0 탐색기. 나이·가구·지역 같은 조건을 넣으면 받을 수 있는 서비스 목록을 준다(생애주기 혜택 내비게이터).
- 접지 질의응답형: B3 대민 자동응답형. 자유 질의에 공개 규정·공고로 답하고 예외만 이관한다.
- 비LLM 공공데이터 안내형: 모델 없이 A1 결정론 조회로 안내한다. 유형 1의 A2 요건을 A1로 대체한다(R21).
참조 구현 예
- 생애주기 혜택 내비게이터 — 카탈로그 D1 카드의 B3·B0 탐색기 예
관련 부품
D4 다음 단계 — 판단이 필요한 질문의 이관처 · D7 이웃 블록 — 개인 맞춤 정보·처방 · D2 후속 블록 — 안내 뒤 신청 · S4 필수 보안 — 대민 챗봇의 기본형 · C7 상시 서비스 필수 통제
참고 자료
Davis Levine, Service Design Patterns: An alpha list of patterns (2017) · 카탈로그 §7.3 유형 ① 대민 상담·안내 · 카탈로그 §7.4 유형 ① 위협 모델
이 부품과 이어지는 가이드라인
A2 모델 서빙 계층 공통 서비스
업무 부품이 모델을 직접 부르지 않고 서빙 계층을 거쳐 부르게 해 모델을 바꿔 끼우고 라우팅·캐싱·버전 고정·폴백을 한 자리에서 다룬다. A2.0~A2.6을 묶는 부모 항목이다.
맥락
런타임에 모델(LLM·VLM·비전·ML)을 부르는 모든 B 부품. E2 모델 의존 값이 곧 어떤 하위 변형을 쓸지를 정하고, E1 배포망과 E5 데이터 등급이 허용 범위를 좁힌다. B0 결정적 도구처럼 런타임 AI가 없으면 해당하지 않는다.
맞서는 힘(긴장)
- 모델 교체 가능성 vs 추상화 계층을 운영하는 비용
- 모델 성능 vs 데이터 주권(E1·E5)
- 비용 통제(라우팅·캐싱·배칭) vs 지연
- 벤더 고유 기능 활용 vs 종속
해법
업무 부품과 모델 사이에 서빙 계층을 두고 모든 호출을 이 층으로 보낸다. 계층은 모델 버전을 고정하고 사용량·지연 로그를 C4로 넘기며, 대체 모델을 함께 등록해 C7이 전환할 자리를 만든다. 지능형 모델 라우팅(경량 모델이 복잡도를 보고 큰 모델로 넘김)·프롬프트 캐싱·동적 배칭은 모두 이 계층이 있어야 가능한 비용 통제다. 하위 변형은 모델이 어디서 도는가로 고른다: 기관 밖 상용 API면 A2.1(행정망·민감 등급이면 A2.4), 오픈웨이트를 기관 안에서 돌리면 A2.2, 재학습했으면 A2.3, 비LLM 자체 학습이면 A2.5, 장비·솔루션에 내장돼 있으면 A2.6, 알 수 없거나 이용자가 가져오면 A2.0이다.
이럴 때 쓴다
- 업무 부품이 런타임에 모델을 한 번이라도 부를 때
- 상용 API에 의존해 C7 폴백을 끼워야 할 때(E2 해외 상용 API)
- 호출당 비용·지연을 관리해야 할 때(라우팅·캐싱)
- 모델 업데이트 후 품질 회귀를 막아야 할 때(버전 고정 + C9)
이럴 때는 쓰지 않는다
- B0 결정적 도구처럼 런타임에 모델을 부르지 않을 때
- 모델이 아니라 도구·데이터를 감싸는 층이 필요할 때(A8·A3)
얻는 것
- 모델 교체와 C7 폴백이 가능해짐
- 라우팅·캐싱으로 비용 통제
- 버전 고정으로 회귀시험 가능
- 민감정보 반출 통제 지점 확보
점검표
- 업무 코드가 특정 모델 API를 직접 호출하지 않는가
- 모델 버전이 고정·기록되는가
- 대체 모델 또는 대체 경로가 계층에 등록되어 있는가
- 선택한 변형이 E1·E5 조건과 모순되지 않는가
구조 — 참여 부품
- 업무 컴포넌트(B) — 모델을 직접 부르지 않고 서빙 계층의 인터페이스만 호출
- 라우터·캐시 — 요청 복잡도에 따라 모델을 고르고 반복 요청을 캐싱·배칭
- 모델 풀(A2.0~A2.6) — 실제로 추론하는 모델들. 주 경로와 대체 경로를 함께 등록
- C4 감사 로그·지표 — 호출별 사용량·지연·모델 버전 기록처
- C7 폴백 스위치 — 장애·품질 저하 시 모델 풀 안에서 경로 전환
변형
- 모델 미상: LLM 사용은 확인되지만 모델명이 없거나 이용자 구독 모델(BYO)에 얹혀 있다. v0.7에서 추가했다.
- 상용 API 호출: GPT·Gemini·Claude·HyperCLOVA X·Upstage 등 상용 모델 API를 부른다.
- 주권형 온프레미스: 오픈웨이트 모델을 자체 서버·폐쇄망·로컬 PC에서 돌린다(Ollama·vLLM).
- 튜닝형: 파인튜닝·LoRA·재학습으로 만든 자체 모델이다. 진행 경로의 마지막 단계에 놓인다.
- 내부망 프록시: 행정망·내부망에서 상용 모델을 기관 게이트웨이·사설 엔드포인트·범정부 공통기반을 거쳐 부른다.
- 비LLM 학습 모델: XGBoost·LightGBM·YOLO·U-Net 등 기관이 직접 학습한 모델을 서빙한다.
- 벤더 블랙박스: 장비·상용 제품에 내장돼 있어 기관이 모델을 보지도 바꾸지도 못한다.
참조 구현 예
- PAX 온나라 sAIde — 행정망에서 로컬 Ollama로 요약해 문서가 PC 밖으로 나가지 않게 함(§9)
관련 부품
C7 끼울 자리 — 대체 모델을 이 계층에 등록 · C4 기록처 — 사용량·지연·버전 · C9 짝 — 버전 고정과 회귀시험 · S1 같은 자리 — 보안 진입점 · A3 Provider — 범정부 공통기반 모델 소비 · A9 대안 — BYO 환경에서 규범을 모델 밖으로
참고 자료
Heiland '업무 로직과 ML 모델 분리' · InfoQ 모델 라우팅·프롬프트 캐싱·동적 배칭 · Microservice 패턴 API Gateway·Blue-Green · GoF Strategy
이 부품과 이어지는 가이드라인
C5 가드레일 필터 운영 컴포넌트
개인정보·환각·편향·형식 오류가 프롬프트나 산출물에 들어가지 못하게 시스템이 경계에서 걸러낸다. 비식별 전처리, 출처 검증, 구조적 출력 제약이 대표 변형이다.
PAX 사례 44건이 이 부품을 쓴다
맥락
외부 모델을 부르거나 대민에 답하는 모든 B 부품. 특히 E2 해외 상용 API, E5 S 이상 데이터, B3 지식 접지 상담, 유형 ① 대민 상담, ④ 기안, ⑥ 콘텐츠, ⑦ 대조·점검, ⑨ 인수인계, ⑬ 비식별·정제 도구.
맞서는 힘(긴장)
- 차단의 엄격함 vs 과잉 차단으로 인한 유용성 저하
- 비식별 강도 vs 문맥 보존
- 결정적 검증의 신뢰성 vs 구현 범위
해법
프롬프트가 기관 밖으로 나가기 전 PII를 마스킹하고 원복 키를 보관하는 비식별 전처리기를 둔다. 응답에는 인용을 원본(법령정보센터·통계표 등)과 대조하는 출처 검증기와, JSON 스키마·허용 목록 같은 구조적 출력 제약을 건다. 근거가 없으면 답하지 않거나 '확인 필요'로 표시한다. 차단 사유는 C4에 남기고, 이용자에게는 F1 출처와 F7 한계 안내로 보인다. 사람이 하는 팩트체크·법무 심의는 C5가 아니라 C1.2에 둔다.
이럴 때 쓴다
- E2 해외 상용 API로 행정망 본문이 외부로 나갈 때(필수)
- E5 S 이상 개인정보·민감정보를 다룰 때
- B3 대민 응답처럼 인용·수치의 정확성이 신뢰의 핵심일 때
- C5가 필수인 유형 ①④⑥⑦⑨⑪⑬
이럴 때는 쓰지 않는다
- E1 로컬 PC 완결로 데이터가 밖으로 나가지 않을 때 비식별은 불필요해질 수 있다(§5 매트릭스, 단 출처 검증은 별개)
- 사람이 수행하는 심의만 있을 때(C1.2로 태그)
- 적대적 입력 탐지가 목적일 때(S8)
얻는 것
- 개인정보 외부 유출 차단
- 환각 인용 감소
- 상용 API 사용 조건 충족
점검표
- 외부 전송 전 무엇이 걸러지는지 답할 수 있는가
- 인용이 원본과 대조되는가
- 근거 없을 때의 동작이 정해져 있는가
- 차단 사유가 기록되는가
구조 — 참여 부품
- 비식별 전처리기 — 외부 전송 전 PII 마스킹과 원복
- 출처 검증기 — 인용을 원본과 대조해 환각을 걸러냄
- 출력 제약 — 스키마·허용 목록·금칙어로 출력 형식 제한
- F1 출처 표시 — 검증된 출처를 이용자에게 보임
변형
- 로컬 비식별 전처리기: 외부 전송 전 PII 마스킹·원복(PAX에서 독립 부품으로 확인)
- 출처 검증기: 인용을 법령정보센터·KCI·CrossRef 원본과 대조
- 구조적 출력 제약·스키마 검증: JSON 스키마·허용 목록으로 출력 범위를 고정(v0.6 식별 신호 추가)
- 근거 재대조형 환각 검증: 추출값의 근거 문장을 원문에서 재대조해 '문서확인/AI추정/문서에없음'으로 재분류
참조 구현 예
- PAX Korean Stats MCP — KOSIS 통계 출처 자동 인용
관련 부품
F1 이용자 쪽 대응 — 검증된 출처 표시 · F7 이용자 쪽 대응 — 근거 없을 때 한계 안내 · A2.4 짝 — 민감정보 외부 유출 대응 · C1.2 구분 — 사람이 하는 심의 · S8 구분 — 적대적 입력 탐지 · S13 변형 후보 — 로컬 비식별 게이트
참고 자료
Fowler Guardrails · InfoQ Output Guardrails·Model Critic · Gulli ch.18 Guardrails · Heiland 규칙 기반 안전장치 · Proxy · Decorator
이 부품과 이어지는 가이드라인
C9 평가 세트·회귀시험 운영 컴포넌트
배포 전에 업무 맥락의 질문·정답·채점 기준을 세트로 만들어, 프롬프트·모델·설정의 모든 변경을 같은 자로 재고 회귀를 잡는다.
PAX 사례 15건이 이 부품을 쓴다
맥락
모델·프롬프트·검색 설정이 바뀌는 모든 AI 부품. 특히 B3 지식 접지(검색 품질은 평가 없이 개선 불가), E2 상용 API(예고 없는 모델 업데이트), 유형 ①④⑤a⑦⑩⑫.
맞서는 힘(긴장)
- 평가 세트 구축 비용 vs 변경의 안전
- 사람 라벨의 정확성 vs LLM 심판의 규모
- 세트 고정(비교 가능성) vs 업무 변화 반영(세트 갱신)
해법
RAG를 붙이거나 모델을 고르기 전에 업무 질문·정답·채점 기준(사람 라벨 + LLM 심판)을 세트로 만든다. 프롬프트·모델·설정 조합을 릴리스처럼 버전 관리하고, 모든 변경마다 같은 세트로 재평가해 점수표와 회귀 실패 목록을 남긴다. 기준을 넘지 못하면 배포하지 않는 게이트를 둔다. 학습 데이터와 평가 세트는 누수 없이 분리한다.
이럴 때 쓴다
- RAG·튜닝을 붙이기 전(§7.1 4단계, §7.2 진행 경로 2단계)
- E2 상용 API로 모델 업데이트가 예고 없이 올 때(필수)
- 폐쇄망 로컬 모델의 교체 시점
- C6 환류·C7 모델 교체를 하려 할 때(선행 조건)
이럴 때는 쓰지 않는다
- B0 결정적 도구처럼 비결정적 출력이 없을 때
- 유형 5a 중 순수 시각화(R10: 면제)
얻는 것
- 변경의 효과와 회귀를 숫자로 확인
- 모델 교체·재학습의 안전
- 모델 선정 근거 확보
점검표
- 업무 질문·정답·채점 기준 세트가 있는가
- 프롬프트·모델·설정이 버전 관리되는가
- 변경마다 재평가한 기록이 있는가
- 기준 미달 시 배포를 막는 절차가 있는가
구조 — 참여 부품
- A1 데이터 자산 서비스 — 정답의 출처
- A2 모델 서빙 계층 — 평가 대상 모델의 버전 고정
- 채점기 — 사람 라벨과 LLM 심판으로 점수 산출
- 배포 게이트 — 기준 미달 변경의 배포 차단
- C4 감사 로그·지표 — 운영 지표와 평가 점수 대조
변형
- 모델 선정 블라인드 비교: 여러 모델을 동일 조건·평가 의도 은닉으로 채점해 운영 모델 선별
- 배포 전 회귀검증 게이트: 응답 로직 변경 시 기준 질의의 기대응답 대조를 통과해야 배포
- 재학습 모델 비교 게이트: 재학습 시 이전 버전 대비 성능을 비교해 기준 상회 모델만 배포
- 공인시험 기반 검증 세트: 검출 기준을 명시한 검증 세트와 공인시험
참조 구현 예
- PAX MOPAN — 기각한 시도 15건의 실패 기전을 기술 보고서로 남김
관련 부품
C6 후속 — 환류의 재검증 단계 · C7 후속 — 모델 교체(Blue-Green) 전 회귀시험 · B3 끼울 자리 — 검색 품질 개선의 전제 · A1 의존 — 정답 출처 · A2 의존 — 모델 버전 고정
참고 자료
Fowler Evals · InfoQ AI-Ops · Prompt-Model-Config Versioning · Gulli ch.19 Evaluation & Monitoring
이 부품과 이어지는 가이드라인
- 공공부문 AI 도입·활용 가이드
- 인공지능 위험 사례집
- 금융분야 AI 위험관리프레임워크
- AI 기반 신용평가모형 검증체계
- 합성데이터 생성·활용 안내서
- 인공지능 영향평가 가이드라인
- 신뢰할 수 있는 인공지능 개발 안내서
- 인공지능(AI) 표준화 전략 로드맵
- KS X ISO/IEC 42001 인공지능 경영시스템
- KS X ISO/IEC 23894 인공지능 리스크관리 지침
- KS X ISO/IEC TS 4213 기계 학습 분류 성능에 대한 평가
- KS X ISO/IEC 22989 인공지능 개념 및 용어, KS X ISO/IEC TR 24028 인공지능의 신뢰성 개요
C7 폴백 스위치 운영 컴포넌트
모델·API·도구가 멈추거나 품질이 떨어질 때 대체 모델·규칙 기반 축소·수동 처리로 경로를 바꿔 서비스가 끊기지 않게 한다.
PAX 사례 12건이 이 부품을 쓴다
맥락
상용 API 또는 단일 모델에 의존하는 모든 B 부품. 특히 E2가 해외 상용 API이거나 B5처럼 상시 가동해야 하는 서비스.
맞서는 힘(긴장)
- 가용성 vs 비용(대체 경로를 상시 유지하는 비용)
- 품질 일관성 vs 대체 경로의 품질 저하
- 자동 전환의 신속성 vs 전환 판단의 오작동 위험
해법
오류율·지연·단가 신호를 감시하다가 임계를 넘으면 재시도 → 기존 API → 대체 MCP → 대체 모델 → 규칙 기반 축소 → 수동 전환 순으로 경로를 바꾼다. 장애 범위는 격리(Bulkhead)로 한 부품에 가두고, 모델 교체는 무중단(Blue-Green)으로 한다. 전환은 C4 감사 로그에 남기고, 복구 후에는 원래 경로로 되돌리는 조건도 함께 정한다. 대체 경로의 품질 저하는 이용자에게 F7 한계 안내로 알린다.
이럴 때 쓴다
- E2가 해외 상용 API이거나 혼합일 때
- B5 현장 감지·경보처럼 상시 서비스일 때 필수
- 대민 자동응답(B3 대민형)처럼 중단 비용이 큰 경우
- 유형 ① 대민 상담(상시), ③ 현장 감시
이럴 때는 쓰지 않는다
- B0 결정적 도구처럼 런타임 AI가 없을 때
- 로컬 완결 도구로 외부 의존이 없을 때
- 유형 ①·⑦에서 model_dependency가 없음(비LLM)일 때는 필수에서 면제(R7)
얻는 것
- 핵심 서비스 연속성
- 벤더 종속 완화(X4 예방)
점검표
- 대체 경로가 최소 하나 구현되어 있는가
- 전환 임계와 복귀 조건이 수치로 정의되어 있는가
- 전환 이력이 로그로 남는가
- 실증 기간에 전환을 1회 이상 실행한 기록이 있는가
구조 — 참여 부품
- A2 모델 서빙 계층 — 주 경로와 대체 모델을 함께 노출하는 끼울 자리
- 상태 감시기 — 오류율·지연을 임계와 비교해 전환을 결정
- C4 감사 로그·지표 — 전환 시점·사유·복구를 기록
- 수동 처리 담당자 — 모든 자동 경로가 실패했을 때의 최종 경로
변형
- 대체 모델 전환: 상용 API 장애 시 다른 상용 모델 또는 로컬 오픈웨이트 모델(A2.2)로 전환
- 규칙 기반 축소: AI 판정 대신 결정적 규칙·공식 템플릿으로 기능을 줄여 계속 운영(Fail-safe)
- 수동 전환: 담당자 처리로 되돌리고 접수만 유지
- 격리(Bulkhead): 장애가 난 부품의 영향 범위를 가둠
- 무중단 교체(Blue-Green): 모델 업데이트를 병행 운영 후 전환하고 급락 시 이전 안정 모델로 복귀
참조 구현 예
- PAX MiroFish-Ko — Codex CLI → Claude CLI → 로컬 LLM 폴백 (증거 E1)
관련 부품
C8 짝 — 권한 경계는 막는 통제, 폴백은 이어 가는 통제 · A2 끼울 자리 — 대체 모델은 모델 서빙 계층에 등록 · C4 기록처 — 헬스체크가 전환 신호, 전환 이력 기록 · C9 선행 — 모델 교체(Blue-Green) 전 회귀시험 · F7 이용자 쪽 대응 — 대체 경로 운영 중 한계 안내
참고 자료
Gulli ch.12 Exception Handling · Microservice 패턴 #15 Circuit Breaker · Bulkhead · Blue-Green · PAX Native 관문 4
이 부품과 이어지는 가이드라인
F7 한계·신뢰도 안내 상호작용 패턴
AI가 무엇을 못 하는지, 얼마나 확신하는지, 공식 판단이 아님을 이용자가 볼 수 있는 곳에 적어 과신을 막는다.
PAX 사례 63건이 이 부품을 쓴다
맥락
대민 상담·안내(유형 ①), 대조·점검(⑦), 분석·예측(5a·⑩), 비식별 도구(⑬). 대체 경로로 운영 중인 C7 상황.
맞서는 힘(긴장)
- 정직한 한계 고지 vs 서비스 신뢰도 하락 우려
- 신뢰도 수치 표시의 정확성 vs 이용자 이해
해법
화면에 사용 한계(대상 범위·미검증 항목·처리 시간), 신뢰도, '공식 판단 아님' 고지를 결과 옆에 배치한다. 저신뢰 결과는 표시를 달리하고, C7 대체 경로로 운영 중이면 품질 저하를 알린다. 고지 문구는 법률 자문·유권해석을 대체하지 않는다는 점을 분명히 적는다.
이럴 때 쓴다
- 대민 서비스 D1~D7(F1·F2·F7 최소 요건)
- 유형 ①⑦5a⑩⑬처럼 F7이 필수인 유형
- C7 대체 경로 운영 중
이럴 때는 쓰지 않는다
- 유형 ①·⑦에서 model_dependency가 없음(비LLM)이면 필수에서 면제(R7). 단 비LLM 도구도 한계 고지는 권장된다
얻는 것
- 과신·오인 방지
- 기관 책임 범위 명확화
점검표
- 이용자가 '공식 판단이 아님'을 결과 화면에서 읽을 수 있는가
- 사용 한계가 명시되어 있는가
- 저신뢰 결과가 구분 표시되는가
구조 — 참여 부품
- 고지 문구 — 사용 한계·공식 판단 아님
- 신뢰도 표시 — 결과별 확신 수준
- C7 폴백 스위치 — 대체 경로 운영 여부 제공
변형
- 공식 판단 아님 고지: '유권해석 아님'·'참고용' 고지
- 신뢰도 표시: 결과별 신뢰도·등급 표시
- 미검증 항목 열거: 검증되지 않은 조건·처리 시간을 명시
참조 구현 예
- 소방기술민원 답변생성기 — '유권해석 아님' 고지
- PAX 9998aba2d1f55c24 — 비공식 참고 도구·공식 판단 아님 고지와 원문 연계를 함께 갖춘 자가점검 UI
- PAX 759835514b4b7ca4 — README가 미검증 항목을 열거하고 '최종 판단은 항상 사람' 고지
- PAX 6c0fa4c0c3508ff0 — 처리 시간과 라이선스 동의 절차를 정직하게 고지한 온디바이스 비전 도구
- PAX aef95509b7611c96 — 비LLM 스크리닝 도구가 실제 검토를 대체하지 않음을 화면에 명시
- PAX 0a2535cadf2d621a — 법률 자문·안전 인증을 대체하지 않는다는 한계 고지
관련 부품
C7 시스템 쪽 대응 — 대체 경로 운영 중 안내 · F1 짝 — 이용자 신뢰의 실체 · F9 짝 — 판정 근거와 함께 표시(F9+F7 표준형) · C5 짝 — 근거 없을 때의 동작
참고 자료
InfoQ Contextual Guidance · aiuxpatterns Inline Help
이 부품과 이어지는 가이드라인
X3 부서마다 챗봇 안티패턴
같은 기관의 과제들이 각자 모델·벡터DB·프롬프트를 따로 만들어, 공유할 수 있는 기반 부품을 부서 수만큼 중복 구축하는 함정이다.
맥락
한 기관 안에서 여러 부서가 동시에 대민·내부 챗봇, 문서 검색, 요약 도구를 추진하는 경우. 특히 각 과제가 상용 API를 직접 호출하는 경우.
맞서는 힘(긴장)
- 부서의 빠른 자율 구축 vs 기관 전체의 중복 비용
- 부서별 맞춤(코퍼스·문체) vs 공통 모델·게이트웨이
- 과제 단위 예산·성과 vs 공통 기반 등재·유지 책임
해법
§7.1의 두 번째 단계대로 기반 부품은 새로 만들지 말고 Provider에서 먼저 가져온다. 모델 호출은 A2 모델 서빙 계층(범정부 AI 공통기반 또는 기관 게이트웨이) 뒤로 모으고, S1 단일 진입점에서 인증·요청 상한·비용 상한·감사 기록을 일괄 적용한다. 공공 API·공공 클라우드·공공 깃랩은 A3 공공 API 제공자로 쓴다. 부서별 차이는 모델을 따로 두지 말고 A9 업무 규범 스킬과 부서 코퍼스(A1)로 표현하며, 부서·등급별 코퍼스 분리가 필요하면 S2 권한 인식 검색으로 푼다. 없어서 새로 만든 부품은 §13 참조 구현 레지스트리에 올린다.
이럴 때 쓴다
- 같은 기관의 두 과제 이상이 각자 모델 계약·API 키·벡터DB를 갖는다
- 범정부 AI 공통기반·공공 API를 쓰지 않은 이유가 서술되지 않는다
- 공통 규정·매뉴얼 코퍼스를 과제마다 따로 임베딩한다
- 모델 호출 비용을 기관 단위로 집계할 수 없다
이럴 때는 쓰지 않는다
- 데이터 등급(E5)이나 망 조건(E1) 때문에 공통 기반을 쓸 수 없고 그 사유가 서술된 경우
- A2 게이트웨이를 공유하면서 부서별 코퍼스·스킬만 따로 둔 경우(정상 조립)
- 개인이 만든 단일 도구로 기관 내 중복 과제가 없는 경우
얻는 것
- 부서가 협의 없이 빠르게 만든다
- 부서 요구에 딱 맞는 맞춤 구성을 갖는다
점검표
- 기관의 모든 모델 호출이 하나의 게이트웨이를 지나는가
- 부서별 API 키 직접 호출이 남아 있지 않은가
- 공통 기반을 쓰지 않은 과제는 그 사유(E1·E5)가 적혀 있는가
- 부서별 차이가 모델이 아니라 스킬·코퍼스로 표현되어 있는가
구조 — 참여 부품
- A2 모델 서빙 계층 — 교정 후 모든 부서 호출이 모이는 공통 자리
- A3 공공 API 제공자 — 범정부 AI 공통기반·공공 깃랩 등 Provider
- S1 AI 게이트웨이·단일 진입점 — 부서별 API 키 직접 호출을 대체하는 인증·상한·기록 지점
- A9 업무 규범 스킬 — 부서별 차이를 모델이 아니라 스킬로 표현
변형
- 부서별 API 키 직접 호출: 각 과제가 상용 API 키를 따로 받아 직접 호출. S1 부재의 전형
- 벡터DB 중복: 같은 규정·매뉴얼을 부서마다 따로 임베딩해 따로 검색
- 프롬프트 사일로: 같은 공문 규범을 부서마다 다른 프롬프트로 재작성
관련 부품
A2 대체 — 모델 호출을 모을 공통 서빙 계층 · A3 대체 — 범정부 AI 공통기반 등 Provider · S1 끼울 자리 — 부서별 API 키 직접 호출을 대체하는 단일 진입점 · A9 짝 — 부서별 차이를 스킬로 표현 · X4 이웃 안티패턴 — 중복 구축과 단일 모델 종속이 함께 나타남
참고 자료
Microservice API Gateway · 카탈로그 §13 참조 구현 레지스트리
이 부품과 이어지는 가이드라인
X10 평가 없는 RAG, RAG 없는 튜닝 안티패턴
평가 세트 없이 검색을 붙여 '좋아진 것 같다'로 배포하고, 검색으로 풀릴 문제를 파인튜닝으로 푸는, 진행 경로를 건너뛰는 함정이다.
맥락
B3 지식 접지·B1 코파일럿에 RAG를 붙이거나 A2.3 튜닝형 모델을 만드는 과제, 특히 규정·매뉴얼 기반 질의응답.
맞서는 힘(긴장)
- 눈에 보이는 기술 성과 vs 지루한 평가 세트 구축
- 빠른 배포 vs 변경마다 재는 자
- 자체 모델 보유 인상 vs 검색으로 충분한 문제
해법
§7.2 진행 경로를 순서대로 밟는다. B1 직접 프롬프트에서 시작해 두 번째 단계에서 C9 평가 세트(업무 질문·정답·채점 기준)를 먼저 만들고, 이후 A9 규범 스킬·F4, B3 지식 접지(A1 데이터 자산), B3 검색 품질(Hybrid·Rewriting·Reranker), C5 가드레일·F1 순으로 붙이며 매 단계를 C9로 잰다. A2.3 튜닝은 진행 경로의 마지막 단계로, 검색·규범 스킬로 풀리지 않는다는 것이 C9 점수로 확인됐을 때만 한다. 모델·프롬프트·설정 조합은 릴리스처럼 버전 관리한다.
이럴 때 쓴다
- RAG·튜닝을 도입했는데 업무 질문·정답·채점 기준 세트가 없다
- '답변 품질 향상'을 수치 없이 서술하거나 단발 정확도만 보고한다
- 자주 바뀌는 규정·매뉴얼 질의를 파인튜닝으로 풀었다
- 검색 품질(재현율·리랭킹)을 재지 않고 튜닝으로 넘어갔다
이럴 때는 쓰지 않는다
- C9 세트로 RAG 전후를 비교한 뒤 배포한 경우
- 검색·스킬로 풀리지 않음을 C9 점수로 확인한 뒤 튜닝한 경우
- B2·B4처럼 비LLM 학습 모델로 원래 학습이 해법인 경우(RAG가 대안이 아님)
얻는 것
- RAG·튜닝이라는 눈에 보이는 기술 성과를 빨리 낸다
- 평가 세트 구축에 현업 시간을 쓰지 않는다
점검표
- 업무 질문·정답·채점 기준 세트가 있는가
- RAG 전후 점수 비교가 있는가
- 튜닝을 선택한 근거가 C9 점수로 설명되는가
- 모델·프롬프트·설정 조합이 버전 관리되는가
구조 — 참여 부품
- C9 평가 세트·회귀시험 — 빠진 부품. 모든 변경을 같은 자로 잼
- B3 지식 접지 — 튜닝 전에 먼저 시도할 검색 기반 접지
- A2.3 튜닝형 모델 — 진행 경로의 마지막 단계
- A1 데이터 자산 서비스 — 정답 출처와 검색 코퍼스
변형
- 평가 없는 RAG: 검색을 붙이고 몇 개 질문을 눈으로 보고 배포
- RAG 없는 튜닝: 문서 검색으로 풀릴 최신 규정 질의를 파인튜닝으로 해결하려 함
- 평가 없는 튜닝: 튜닝 전후를 같은 세트로 비교하지 않음
관련 부품
C9 대체 — RAG·튜닝보다 먼저 만들 평가 세트 · B3 선행 — 튜닝 전에 시도할 지식 접지 · A2.3 순서 — 진행 경로의 마지막 단계 · A9 대안 — 튜닝 대신 규범 스킬로 푸는 경로 · X11 이웃 안티패턴 — 같은 진행 경로 위반
참고 자료
Fowler GenAI 진행 경로(Direct Prompting → Evals → RAG → Hybrid Retriever·Query Rewriting·Reranker → Guardrails → Fine Tuning) · InfoQ Prompt-Model-Config Versioning
이 부품과 이어지는 가이드라인
실무 도입 카드
필요한 것
요구 환경 미확인 — 원문·저장소에서 확인 필요
첫 3단계
① 원문·저장소에서 실체 확인 → ② 소규모 업무로 시험 → ③ 결과를 동료와 교차 검증
주의사항
실사용 피드백이 미확인입니다 — 도입 전 소규모 검증을 권합니다 · 성과 수치는 출처가 확인된 것만 신뢰하세요
전이 절차(보안검토→품의→배포)는 전이 플레이북을 참고하세요.