설문 파일을 업로드하면 주관식 답변의 유사 의견을 자동으로 묶어 핵심 주제와 긍정·부정 반응, 우선 이슈를 정리해 주는 도구. 분석 전 개인정보를 자동 비식별 처리하고 근거 의견을 함께 제시하며, Excel·Word·PPT 보고서를 자동 생성한다. 기본 분석은 PC 안에서 처리하고 심층 해석에만 외부 AI를 선택 연결하는 로컬 우선 설계다. 공공 HR 실무자(AI공공정책학 박사)의 6종 도구 연작 중 하나.
사례 대상 바로가기 · 원문 게시물 · 공공 깃랩 미러 · 아카이브에서 보기
상세 정보
- 사례 성격
- 개인 개발
- 출처 채널
- Threads
- 수집일
- 2026-08-29
- 태그
- #설문분석 #비식별 #로컬우선 #보고서자동화
- 실행 환경
- 설치 필요
- AI 모델
- 혼합 — 로컬 분석(기본), 외부 AI(선택 연결)
- 라이선스
- MIT (확인 2026-08-29)
- 저장소
- ★ 6 · 유지보수 활발
- 링크 점검
- 정상 (2026-11-02)
개발자
GitHub·공공 GitLab 공개 프로필 기준 — 공공AX 챔피언 디렉토리와 같은 자료입니다.
4축 평가
| AX 단계 | AI-Enabled |
|---|---|
| 업무 범위 | S2 Tool bundle |
| 업무 완결성 | C2 부분 완결 |
| 권한(P축) | P0 읽기 전용(잠정) |
| 위험도 | R1 낮음 |
| 인간 통제 | 검토 후 사용(선별·판단 보조 명시) |
| 증거 등급 | E1 코드·도구 확인 |
| 신뢰도 | 중간 |
주관식 수백 건의 군집·감정·우선순위 분석과 3종 보고서 생성을 한 도구에서 완결(C2) — 분석 전 자동 비식별과 로컬 우선(외부 AI는 선택) 설계가 공공 데이터 취급 결에 맞다. 본인 정리 글로 설계 의도까지 확인.
디자인 패턴 분석
『모두의 공공AX 디자인 패턴』 카탈로그 v0.7.1 기준 — 사례를 기관이 함께 쓰는 AI 부품과 그 조립으로 읽은 결과입니다. · 패턴 성좌에서 전체 보기 ↗
업무 패턴 B2 예측·추천기 보조 B1 코파일럿 변형: 비지도 토픽·감정 분석(로컬 우선, 외부 LLM 선택 해석)
환경 축 배포:로컬 PC 네트워크:로컬 완결 모델:혼합 런타임:설치 필요 권한:P1 산출물 생성
- 제어 흐름(B′)
- B′1 순차 파이프라인
- 공통 서비스(A)
- A2.5 모델 서빙 · 비LLM 학습 모델 A2.1 모델 서빙 · 상용 API 호출 A7 자체 제작 환경 A10 문서 형식 어댑터
- 운영(C)
- C1 검토 큐 구현 확인 C5 가드레일 필터 구현 확인 C7 폴백 스위치 구현 확인 C9 평가 세트·회귀시험 구현 확인 C4 감사 로그·지표 계획
- 보안(S)
- S12 데이터 비도달 설계 구현 확인 S13 로컬 비식별 게이트 구현 확인
- 신뢰할 수 없는 입력
- 설문 응답자 주관식 텍스트(외부 작성)
- 상호작용(F)
- F1 출처 표시 F2 편집 가능한 출력 F5 참고자료 첨부 F7 한계·신뢰도 안내
- 서비스 블록(D)
- D8.2 요약·추출
- 부품 배선
- A10 → B2 · A2.5 → B2 · B2 → B1 · A2.1 → B1 · B1 → C1 · C5 → B2 · C1 → D8.2 · C7 → B2 · S13 → A2.1
- 참조 구현 후보
- S13 로컬 비식별 게이트 기본 로컬 분석 + 외부 LLM 선택 연결 + 연결 전 자동 마스킹 + 실패 시 로컬 폴백이라는 '로컬 우선·선택적 외부' 조합이 개인 도구 수준에서 완결적으로 구현됨
판정 근거
README 확인. 기본은 TF-IDF·KMeans·NMF·LDA 등 비LLM 모델이 주제·감정 신호를 내고(B2, A2.5), OpenAI·Gemini·Claude·Azure를 선택 연결하면 임베딩·해석을 보강한다(B1 secondary, A2.1). 사람이 받는 산출물은 Excel·Word·PPT 보고서(A10)이며 검토자가 주제 라벨·대표 응답·해석을 승인·수정하고 결정을 기록한 뒤 내보내는 절차가 README에 구현 기능으로 명시돼 C1 implemented(운영 실측 기록은 없어 present 아님). 이메일·휴대전화·사번 자동 마스킹과 5명 미만 셀 억제는 C5, 외부 호출 실패 시 로컬 결과 폴백은 C7, stability·coherence·coverage 지표와 gold 라벨 평가는 C9(모두 implemented). 결과는 SQLite에 저장되나 지표 집계 화면은 없어 C4 planned. '외부 제공자를 고르지 않으면 텍스트가 외부로 나가지 않는다'는 명시적 보안 설계가 S12, 전송 전 마스킹이 S13. 근거 의견 표시 F1, 라벨 편집 F2, 파일 업로드 F5, 비식별 한계 고지 F7. 유형은 비에이전트 분석 브리핑 5a.
구현 가이드
주 패턴 B2 예측·추천기을 구현할 때
구현 단계
- 예측 대상과 이 값이 바꿀 담당자 결정(점검 순서·배정 등)을 먼저 정한다.
- A1에서 기준 시점 스냅샷으로 시간 누수를 막은 데이터셋을 만들고, 시험 세트를 분리해 C9로 둔다.
- 모델을 학습해 A2.5로 서빙하고, 등급화가 필요하면 임계값·산식을 규칙 게이트(B′9)로 분리한다.
- 결과를 F9 기여 요인·F7 한계 안내와 함께 담당자 화면에 내고 C1에서 조치를 확정하게 한다.
- 실제 결과를 C4로 적재하고 C6 재학습 주기와 배포 전 C9 비교 게이트를 정한다.
점검표
- 시간 누수를 막은 독립 시험 세트가 있는가
- 예측 근거(기여 요인)가 담당자에게 보이는가
- 등급 산정 규칙이 모델과 분리되어 있는가
- 재학습 주기와 배포 전 비교 기준이 정해져 있는가
환경 조건
E2 비LLM이 보통이어서 폐쇄망 이식이 쉽다. E4는 P1이 기본이고, 순위가 지급·승인·반려 결과에 직결되면 P3이며 C1·C2가 필수다. 유형 ⑩에서 C2는 등급 자동분류가 있을 때만 필수이고 연속값 예측·참고용 순위는 면제된다(R10).
주의할 점
- 도메인별 재학습이 필요해 기관 간 재사용이 제한됨
- 근거 표시 없이는 현장 수용이 낮음
- 적대적 접점에서 근거 노출이 취약점이 될 수 있음(X16)
- 성능표만 보고하고 배포 후 환류가 없으면 X5
기본 배선 예
A1 → A2.5 → B2 (B′9) → C1 → D6 · C4 → C6 → B2 (재학습)
보완이 필요한 필수 부품
이 조합에서 카탈로그가 함께 갖추라고 권하는 부품 가운데 아직 확인되지 않은 것이다.
- A1 데이터 자산 서비스 흩어진 업무 기록을 정제·라벨링해 AI 부품이 붙여 쓸 수 있는 데이터셋·라벨·데이터 사전 형태의 기준선으로 제공한다.
- C6 환류 파이프라인 사용 결과(수정·이의·오탐 기록)가 정해진 주기와 트리거로 재학습·기준 개정에 되돌아오게 해, 배포 후에도 성능과 기준이 개선되게 한다.
- F9 판정 근거·기여도 표시 SHAP 요인 문장, 의심 부위 BBox, 판정 사유 코드, 자연어 판독 이유, 예측-실제 잔차로 모델이 왜 그렇게 판정했는지 보인다. B2·B4·B5의 필수 면이다.
피해야 할 안티패턴
- X5 성능표만 있는 학습 학습 모델의 정확도는 보고하지만 배포 후 수정률을 누가 집계해 무엇을 바꾸는지가 없어, 개선이 배포 시점에 멈추는 함정이다. 대처: 배포 후 사람이 고친 기록을 C4 감사 로그·지표로 모아 수정률·오탐·이의를 숫자로 말하게 한다. C1 검토 큐의 수정 내역을 C4·C6의 입력으로 연결하고, C6 환류 파이프라인에 재학습·기준 개정의 주기와 트리거(예: 수정률 임계)를 정한다. 재학습한 모델은 C9 평가 세트로 재검증한 뒤 교체한다. 판정 질문은 '지난 분기 지표 때문에 바뀐 규칙이 하나라도 있는가'다.
- X15 빌린 성과표 실증 고유의 실측치 없이 벤더 상용 서비스의 KPI를 준용해 성과로 보고하는 함정이다. 195건 태깅에서 별도 명명이 요청되어 v0.6에 추가됐다. 대처: 기관 업무 데이터(A1)에서 정답을 뽑아 C9 자체 평가 세트를 만들고, 도입한 벤더 모델을 그 세트로 직접 잰다. 실증 기간 동안의 처리 건수·처리시간·수정률은 C4 지표로 적재해 실측치로 보고한다. 벤더 KPI를 인용할 때는 '참고(벤더 제시)'로 출처를 밝혀 실측치와 분리 표기한다. 벤더 블랙박스라 내부 평가가 어렵더라도 입력·출력 수준의 C9 평가는 가능하다.
- X16 기준을 노출하는 위조 탐지 진위 판정 근거를 이용자 화면에 그대로 보여 줘 위조범이 탐지 기준을 역추적하게 만드는 함정이다. F9 근거 표시가 적대적 접점에서는 취약점이 된다. 대처: F9 판정 근거·기여도 표시를 역할별로 나눈다. 이용자 화면에는 '정상/위조의심'만 노출하고, 의심 부위·사유 코드·기여도 같은 세부 근거는 관리자 화면에만 보여 준다(근거 은닉, anti-oracle — 카탈로그가 S 계층 후보로 둔 반대편 부품). 관리자 화면 접근은 C8 권한 경계로 제한하고, '위조의심' 건은 C1 검토 큐에서 담당자가 세부 근거를 보고 확정한다. 이용자에게는 F7 한계·신뢰도 안내로 추가 확인 절차를 알리고, 반복 제출·판정 이력은 C4·S10에 남겨 역추적 시도를 탐지할 근거로 삼는다.
관련 가이드라인
이 사례가 쓰는 부품과 이어지는 공공 AX 안내서·지침이다 (부록 E 공공 AX 가이드라인 문서 해설 기준, 겹치는 부품이 많은 순).
- 공공부문 데이터 분석 업무 운영 가이드 쓰는 작업: AI가 예측이나 추천을 내는 사업, 또는 분석 결과가 정책 결정으로 들어가는 사업에서 분석 담당자는 이 절차를 작업 절차서의 뼈대로 삼는다. 분석 결과를 정책 보고서로 옮기는 해석 단계의 점검은 AI 산출물 검토에도 그대로 들어맞는다.주의: AI 전용 문서가 아니다. 모델 보안이나 개인정보 처리는 아래 KISA·개보위 문서로 따로 채운다.
- AI 기반 신용평가모형 검증체계 쓰는 작업: 점수나 등급을 매기는 예측 모델을 검증할 때, 금융이 아닌 공공 분야에서도 검증 항목의 틀로 빌려 쓸 만하다. 인수 시험 계획서의 검증 영역을 이 네 칸으로 나누면 빠지는 항목이 줄어든다.주의: 같은 날 발표된 2023년 금융분야 AI 보안 가이드라인은 2026년 문서로 대체되었으나, 이 검증체계는 PAX 목록에 현행으로 남아 있다.
- 공공 AX 프라이버시 보호 안내서 쓰는 작업: 공공 AX 사업 기획 단계에서 개인정보 담당자와 사업 담당자가 함께 편다. 먼저 사업이 세 활용 유형 가운데 어디에 드는지 정한다. 문서 요약이나 챗봇 상담 같은 기초업무 보조라면 허용·금지 활용 사례를 정해 사용자 교육 자료에 넣고 입출력 데이터의 관리체계를 세운다. 여러 DB를 이어 분석·추천하는 사업이면 연계하는 DB마다 처리 근거와 접근권한을 적은 표를 만든다. 그다음 RAG 연계와 결과 출력 지점의 안전조치를 과업지시서의 보안 요구사항으로 옮긴다. 선별·판단 유형이면 아래 자동화된 결정 안내서와 AI기본법 고영향 판단 가이드라인이 함께 걸린다.주의: 10대 점검사항의 개별 항목은 보도자료 본문에서 확인하지 못했다. 안내서 원문을 기준으로 옮긴다.
- 고영향 인공지능 사업자 책무 가이드라인 쓰는 작업: 고영향으로 판단된 사업은 설계 단계에서 책무 이행 계획을 세우며, 그 항목을 이 문서에서 가져온다. 사람의 감독 지점, 설명 제공 방식, 기록 보존을 설계서에 반영한다.주의: 구체 책무 항목은 첨부 원문으로 확인한다.
- 신뢰할 수 있는 인공지능 개발 안내서 쓰는 작업: 개발사가 신뢰성 요구사항을 개발 산출물에 대응시킬 때, 발주 기관이 검증항목 일부를 인수 조건으로 고를 때 쓴다. 공공 서비스는 공공·사회 분야판을, 챗봇과 문서 생성은 생성 AI 분야판을 먼저 본다.주의: 배포 페이지에는 TTA 표기가 따로 보이지 않는다. 발행 기관은 PAX 목록의 표기를 따랐다. 67개 항목 전부를 인수 조건으로 넣으면 검수가 불가능해지므로, 사업 성격에 맞는 항목을 골라 넣는다.
- 생성형 인공지능 결과물에 의한 저작권 분쟁 예방 안내서 쓰는 작업: 운영 단계에서 AI 결과물을 외부로 배포하는 부서가 배포 전 확인 절차를 만들 때 쓴다. PAX 목록이 꼽은 결과물 유사성과 AI 이용 사실 기록이 이 절차의 항목이다.주의: 지식베이스 문서를 그대로 옮겨 답하는 RAG 서비스도 결과물 유사성 문제를 안는다.
- 제조AI 2030 전략 쓰는 작업: 산업단지, 지역 제조 지원, 산업 데이터 플랫폼을 맡은 지자체·공공기관이 사업계획서의 정책 근거와 연계 사업을 적을 때 편다. 기관이 가진 제조·설비 데이터를 외부와 나누는 사업이라면 데이터 수집 계획서에서 라이브러리 체계와의 연계를 검토한다.주의: 정책 전략이며 사업 수행 지침이 아니다. 라이브러리와 인증 제도의 세부 기준은 후속 사업 공고와 법 개정(「산업디지털전환 및 인공지능 활용 촉진법」)을 확인한다.
- KS X ISO/IEC TS 4213 기계 학습 분류 성능에 대한 평가 쓰는 작업: 민원 분류, 문서 유형 판별, 이상 탐지처럼 분류 모델을 납품받는 사업에서 인수 시험 계획서의 성능 지표와 측정 방법을 정할 때 쓴다. 과업지시서에 "정확도 90% 이상"만 적으면 측정 방법을 두고 다툼이 생긴다. 이 표준을 인용해 지표 정의와 평가 데이터 구성을 함께 적는다.주의: 분류 성능에 한정된다. 생성형 AI의 답변 품질 평가는 이 표준의 범위가 아니다.
같은 주 패턴(B2)을 쓰는 다른 사례
같은 업무 패턴으로 조립된 사례를 서비스 유형이 같은 것부터 모았다. 구현할 때 비교해 볼 수 있다.
이 사례에 쓰인 패턴
B1 코파일럿 업무 컴포넌트
사람이 하던 문서·판단 작업 옆에 AI가 초안·요약·검토안을 놓고, 사람이 고쳐서 확정한다.
PAX 사례 111건이 이 부품을 쓴다
맥락
문서·기안·검토의견처럼 산출물 형식이 정해져 있고 최종 확정자가 사람인 업무에 쓴다. BYO 코딩 에이전트와 A9 스킬을 쓰는 스킬 코파일럿이 PAX 자생 도구에 많다.
맞서는 힘(긴장)
- 초안 속도 vs 전건 검토에 드는 사람 시간
- 상용 모델 품질 vs 행정망·민감정보 제약(E1·E5)
- 양식 일관성(A9 규범) vs 사안별 유연성
해법
업무 서식과 참고 자료를 입력으로 받아 모델(A2 또는 BYO 구독)이 초안·근거·신뢰도를 내고, 사람이 편집 가능한 형태(F2)로 받아 고쳐서 확정한다. 보고서 구조·문체·검증 절차는 A9 규범 스킬로 코드 밖에 두고, 공공 문서 형식은 A10 어댑터로 입출력한다. 확정 전 검토는 C1 검토 큐로 운영하고 수정 내역을 C4·C6의 입력으로 남긴다. First로 가려면 저위험 건을 C2로 자동 확정하는 분기를 더한다.
이럴 때 쓴다
- 산출물 형식이 정해진 문서를 반복 작성할 때
- 최종 판단과 책임이 사람에게 남아야 할 때(P1 산출물 생성)
- 유형 ④ 내부 문서·기안, 유형 ⑫ 개발 코파일럿의 기본 조립일 때
이럴 때는 쓰지 않는다
- 답이 기관 규정·선례 속에 있어 접지와 출처가 핵심일 때(B3)
- 추출 결과가 사람 확정 없이 다음 판정 단계로 흐를 때(B4)
- 런타임에 모델이 필요 없는 정형 취합일 때(B0)
얻는 것
- 문서 작성 시간 단축
- 책임 소재가 사람에게 명확히 남음
- 도입이 쉬워 Enabled의 전형 경로
점검표
- 담당자가 최종 확정한다는 절차가 운영되는가
- 서식·문체 규범이 A9 스킬로 분리되어 있는가
- 초안을 이용자가 직접 고칠 수 있는가(F2)
- 수정 내역이 기록되어 품질 개선에 쓰이는가
구조 — 참여 부품
- A2 모델 서빙 계층 — 초안 생성 모델 호출(행정망이면 내부망 프록시)
- A9 업무 규범 스킬 — 서식·문체·검증 절차를 프롬프트 템플릿으로 고정
- A10 문서 형식 어댑터 — HWPX·엑셀 입출력
- C1 검토 큐 — 담당자가 초안을 확인·수정·확정
- 담당자 — 최종 확정자이자 책임자
변형
- 시스템 내장형: 기관 업무 시스템 안에 초안 기능을 넣은 형태
- 스킬 코파일럿: BYO 코딩 에이전트 + A9 스킬로 배포되는 형태(PAX Enabled 사례에서 가장 흔한 형태)
참조 구현 예
- PAX gov-report-skill — 기획보고서 7대 항목 스킬 코파일럿(카드 참조 구현)
관련 부품
C1 짝 — 사람 확정 절차 · F2 이용자 쪽 대응 — 편집 가능 출력은 B1의 필수 면 · A9 끼울 자리 — 서식·규범 스킬 · B′5 기본 배선 — 유형 ④·⑫ 조립 템플릿의 생성자-비평가 · C2 다음 단계 — 저위험 자동 확정으로 First · B3 승급 경로 — §7.2 진행 경로 1 → 4
참고 자료
Fowler Direct Prompting · InfoQ Editable Output · GoF Decorator
이 부품과 이어지는 가이드라인
B2 예측·추천기 업무 컴포넌트
과거 데이터로 학습한 모델이나 비학습 최적화 알고리즘이 수치·등급·순위·이상점수를 내고, 사람이 이를 판단 자료로 쓴다(LLM이 아님).
PAX 사례 4건이 이 부품을 쓴다
맥락
시계열·속성 데이터가 축적된 기관의 예측·이상탐지·우선순위 선별·추천 업무에 쓴다. 유형 5a 분석 대시보드, ⑩ 위험 예측·표적 선별, ⑪ 추천·매칭에서 주 부품이 된다. PAX 자생 도구에는 드물다(557건 중 주 부품 B2는 4건).
맞서는 힘(긴장)
- 예측 성능 vs 설명 가능성(현장 수용)
- 희소·불균형 데이터 vs 순위 안정성
- 자동 반영의 효율 vs 잘못된 순위가 작업 지시를 바꿀 위험
- 도메인별 재학습 필요 vs 기관 간 재사용
해법
A1 데이터 자산에서 시간 누수를 막은 학습 데이터셋을 만들고, 자체 학습 모델(A2.5)이나 공간·조합 최적화 알고리즘으로 예측값·이상 점수·추천 순위를 낸다. 결과는 기여 요인(F9)과 한계 안내(F7)와 함께 사람에게 판단 자료로 제시한다. 등급을 자동으로 매기는 경우 규칙 게이트(B′9)가 임계값·산식으로 등급을 확정하고 사람이 최종 판단한다. 운영 중 실제 결과를 C4로 적재하고 C6 재학습 주기로 모델을 갱신하며, C9 평가 세트로 재학습 모델이 이전보다 나은지 확인한 뒤 배포한다.
이럴 때 쓴다
- 과거 데이터가 충분하고 수치·등급·순위가 사람 판단의 입력이 될 때
- 점검·단속 대상 선별처럼 한정된 인력을 우선순위로 배분해야 할 때
- 설명(F9)과 재학습(C6)을 운영할 수 있을 때
이럴 때는 쓰지 않는다
- 규칙 점수화로 충분히 순위가 정해질 때(B0 결정론 점수 엔진)
- 산출물이 문장·문서일 때(B1·B3)
- 학습 데이터나 실제 결과 회수 경로가 없어 재학습을 할 수 없을 때
얻는 것
- 한정된 인력의 우선순위 배분
- 폐쇄망 이식이 쉬움(비LLM)
- 재학습으로 도메인에 맞춰 개선 가능
점검표
- 시간 누수를 막은 독립 시험 세트가 있는가
- 예측 근거(기여 요인)가 담당자에게 보이는가
- 등급 산정 규칙이 모델과 분리되어 있는가
- 재학습 주기와 배포 전 비교 기준이 정해져 있는가
구조 — 참여 부품
- A1 데이터 자산 서비스 — 정제·라벨링된 학습 데이터와 기준선
- A2.5 비LLM 학습 모델 서빙 — XGBoost·LSTM 등 자체 학습 모델 구동
- F9 판정 근거·기여도 표시 — SHAP 요인·사유 코드를 담당자에게 제시
- C6 환류 파이프라인 — 실제 결과로 주기적 재학습
- 담당자 — 순위·등급을 판단 자료로 써서 조치를 결정
변형
- 수치 예측: 수요·건수·위험도 같은 연속값 예측
- 이상 탐지: Isolation Forest 등으로 이상 점수 산출
- 순위 선별·추천: 점검 대상·매칭 후보의 순위(유형 ⑩·⑪)
- 앙상블: 여러 모델 결합(computer.org ML 생애주기 패턴)
- 비학습 최적화 알고리즘: MCLP·ILP·GNN 등 공간·조합 최적화가 수치·순위를 낸다(R15로 정의를 넓힘)
관련 부품
F9 이용자 쪽 대응 — 판정 근거·기여도 표시는 B2의 필수 면 · C6 Native 관문 — 재학습 파이프라인 · C9 선행 — 누수 없는 평가 세트 · B′9 배선 — 확률을 규칙으로 등급 확정(유형 ⑩ 템플릿) · A2.5 끼울 자리 — 자체 학습 모델 서빙
참고 자료
computer.org 앙상블·지속 학습 · GoF Strategy
이 부품과 이어지는 가이드라인
B′1 순차 파이프라인 제어 흐름
한 단계의 출력을 다음 단계의 입력으로 넘기는 고정 순서 배선이다. 한 프롬프트에 많은 일을 몰아 시켜 품질이 떨어지는 문제를 막는다.
PAX 사례 109건이 이 부품을 쓴다
맥락
B4 인식 파이프라인의 기본 배선이며, B1·B0·B5 안에서도 흔하다. 단계 순서가 업무 절차로 미리 정해져 있고 AI가 순서를 고를 필요가 없을 때 쓴다.
맞서는 힘(긴장)
- 디버깅·출처 추적의 쉬움 vs 병렬화 불가로 인한 지연
- 단계 분리의 품질 이점 vs 단계가 늘수록 오류 누적
- 고정 순서의 예측 가능성 vs 예외 경로 처리의 경직성
해법
업무 절차를 단계로 나누고 각 단계의 입력·출력 형식을 정해 앞 단계 출력을 다음 단계에 넘긴다. 단계 사이에 형식 검증(스키마)을 두어 오류가 번지기 전에 멈추고, 멈춘 건은 C1 검토 큐나 C3 재처리로 보낸다. 판정·산수 단계는 가능한 한 규칙(B′9)으로 두고 모델은 추출·서술 단계만 맡긴다. 단계 순서를 AI가 바꿔야 한다면 B′8이나 B′7로 옮긴다.
이럴 때 쓴다
- 업무 절차가 고정 순서로 정해져 있을 때
- 각 단계를 따로 검증·추적해야 할 때(유형 ② 접수·심사, ⑧ 취합·변환)
- 단일 에이전트에서 시작하는 첫 배선일 때
이럴 때는 쓰지 않는다
- 하위 작업이 서로 독립이라 동시에 돌려야 지연이 줄 때(B′3)
- 입력에 따라 AI가 다음 도구를 골라야 할 때(B′7)
- 긴 업무를 계획부터 세워야 할 때(B′8)
얻는 것
- 디버깅과 출처 추적이 쉬움
- 단계별 품질 검증 가능
- 구현이 가장 단순
점검표
- 단계마다 입력·출력 형식이 정의되어 있는가
- 단계 사이 검증에서 실패하면 멈추는가
- 단계별 중간 결과를 추적할 수 있는가
구조 — 참여 부품
- 단계 처리기 — 각 단계에서 추출·변환·작성 수행
- 단계 간 형식 검증 — 다음 단계로 넘기기 전 스키마 확인
- C3 상태 머신·롤백 — 실패 단계 재처리
관련 부품
B4 기본 배선 — 인식 파이프라인 · B′8 대안 — 순서를 계획으로 정할 때 · B′9 짝 — 판정 단계를 규칙으로 · C3 기록처·되돌림 — 실패 단계 재처리
참고 자료
Google ADK #1 Sequential · Gulli ch.1 Prompt Chaining · Heiland Multi-layer · adaptive.live 프롬프트 체이닝
A2.5 모델 서빙 · 비LLM 학습 모델 공통 서비스
XGBoost·LightGBM·YOLO·U-Net처럼 기관이 직접 학습한 비LLM 예측·비전 모델을 서빙하고 재학습·버전 롤백이 붙을 자리를 제공한다.
PAX 사례 15건이 이 부품을 쓴다
맥락
B2 예측·추천기, B5 현장 감지·경보, B4 비전 판독의 추론 엔진이 된다. 서비스 유형 5a·10에서는 필수이고(R7, R10 'A2.5 또는 결정론 점수 엔진'), 유형 3에서는 A5·A2.2와 함께 셋 중 하나를 고른다. 학습 기준선(A1)이 먼저 있어야 한다.
맞서는 힘(긴장)
- 모델 성능 vs 설명 가능성(F9)
- 배포 후 데이터 드리프트 vs 재학습 비용
- 모델 교체 속도 vs 이전 안정판으로의 복귀 보장
해법
학습한 모델을 서빙 계층에 버전과 함께 올려 업무 부품이 점수·등급·탐지 결과만 받게 한다. 서빙 계층은 모델 버전과 드리프트 지표를 함께 내보내 C4에 기록하고, 재학습 파이프라인(C6)이 새 버전을 올리는 자리와 이전 안정판으로 되돌리는 자리(모델 버전 롤백, C7 변형)를 둔다. 재학습 버전은 C9 독립 시험세트에서 이전 버전을 넘을 때만 배포한다. 판정 근거는 F9로 이용자에게 보인다.
이럴 때 쓴다
- 기관이 자체 데이터로 비LLM 모델을 학습해 운영할 때
- 유형 5a-brief가 아닌 분석·위험 예측(유형 10)·현장 감시(유형 3) 조립
- 재학습과 버전 롤백이 필요한 예측·탐지 서비스
이럴 때는 쓰지 않는다
- LLM을 튜닝했으면 A2.3
- 벤더 장비·솔루션에 내장돼 기관이 모델을 못 바꾸면 A2.6
- 학습 없는 규칙 점수 엔진이면 B0(R10 대안)
얻는 것
- 비LLM 과제가 A2 계층에 정식 자리를 가짐
- 재학습·버전 롤백으로 운영 개선
- C6·C7을 끼울 자리 확보
점검표
- 모델 버전과 학습 데이터 버전이 짝지어 기록되는가
- 독립 시험세트가 학습 데이터와 분리되어 있는가
- 이전 안정판으로 되돌릴 수 있는가
- 재학습 버전 배포 기준이 수치로 있는가
구조 — 참여 부품
- A1 데이터 자산 서비스 — 학습·재학습 기준선
- A2 서빙 계층 — 모델 버전별 노출과 롤백
- C6 환류 파이프라인 — 재학습 주기·트리거
- C9 평가 세트 — 재학습 버전 배포 게이트
- F9 판정 근거·기여도 표시 — SHAP·BBox 등 근거를 이용자에게 표시
변형
- 정형 예측기: XGBoost·LightGBM 등으로 위험 순위·등급·수요를 예측한다(B2와 짝).
- 비전 탐지·분할: YOLO·U-Net 등으로 영상·이미지를 탐지·분할한다(B5·B4와 짝).
- 경량 온디바이스 모델: 소형 자체 학습 모델을 전처리 앞단에 붙인다(A2.5+S13 조합, 40M 파라미터 PII 검출 모델).
참조 구현 예
- PAX dcba0f654467bdc9 — 40M 파라미터 소형 자체 학습 PII 모델(§13 A2.5+S13 조합)
관련 부품
B2 소비처 — 예측·추천기의 추론 엔진 · C6 짝 — 재학습 파이프라인이 붙는 자리 · C7 짝 — 이전 안정판 복귀(모델 버전 롤백) · F9 이용자 쪽 대응 — 판정 근거 표시 · B5 소비처 — 현장 감지의 탐지 모델
참고 자료
GoF Strategy · Microservice 패턴 Blue-Green
A2.1 모델 서빙 · 상용 API 호출 공통 서비스
GPT·Gemini·Claude·HyperCLOVA X·Upstage 등 상용 모델 API를 서빙 계층을 거쳐 호출해 자체 인프라 없이 최신 모델 성능을 쓴다.
PAX 사례 88건이 이 부품을 쓴다
맥락
E2는 해외 상용 API(또는 국산 상용 모델 API), E1은 인터넷망·클라우드다. E5 등급이 O이거나 비식별 후 전송해도 되는 업무에 맞는다. 대민 상담(B3)·코파일럿(B1)·콘텐츠 생성(B7)에서 흔하다.
맞서는 힘(긴장)
- 모델 성능·도입 속도 vs 데이터 반출·주권
- 종량 과금의 초기 저비용 vs 호출량 증가 시 비용 예측 어려움
- 벤더의 모델 개선 vs 예고 없는 품질 회귀
- 단일 API의 단순함 vs 장애 시 서비스 중단
해법
업무 코드는 서빙 계층만 부르고, 서빙 계층이 상용 API를 호출한다. 행정망 본문이 나가는 경로 앞에는 C5 비식별 전처리를 두고, 대체 모델을 등록해 C7 폴백을 건다(§5 매트릭스 E2 해외 상용 API 행). 모델 버전을 고정하고 모델·프롬프트·설정 조합을 릴리스처럼 관리해 업데이트 전후를 C9로 비교한다. 비용이 문제면 라우팅·캐싱으로 큰 모델 호출을 줄인다. E5가 S 이상이면 이 변형 단독으로는 안 되고 A2.4 내부망 프록시를 거친다.
이럴 때 쓴다
- 인터넷망·클라우드 환경이고 데이터 등급이 O이거나 비식별 후 전송 가능할 때
- PoC 초기에 모델 성능을 빠르게 확인해야 할 때
- 자체 GPU·운영 인력이 없을 때
이럴 때는 쓰지 않는다
- E1이 폐쇄망이면 조립 오류(A2.2·A2.4로)
- E5가 S 이상인데 내부망 프록시가 없을 때(A2.4 필수)
- 상시 서비스인데 대체 경로를 둘 수 없을 때
얻는 것
- 인프라 없이 최신 모델 성능
- 빠른 PoC
- 벤더의 지속적 개선
점검표
- 업무 코드가 상용 API를 직접 부르지 않는가
- 외부로 나가는 프롬프트에서 무엇이 걸러지는지 답할 수 있는가
- API 장애 시 대체 경로가 있는가
- 모델 버전과 호출당 비용·지연이 기록되는가
구조 — 참여 부품
- A2 서빙 계층 — 업무 코드 대신 상용 API를 호출하고 버전·사용량을 기록
- C5 가드레일(비식별 전처리) — 외부 전송 전 민감정보 제거
- 상용 모델 API — 기관 밖에서 추론을 수행
- C7 폴백 스위치 — API 장애·품질 저하 시 대체 모델·수동 처리로 전환
변형
- 해외 상용 API: GPT·Gemini·Claude 등이다. E2 값은 해외 상용 API.
- 국산 상용 API: HyperCLOVA X·Upstage 등 국내 사업자 API. 망·등급 조건은 해외와 같이 따진다.
- 구조화 호출: function calling·JSON Schema로 출력 형식을 고정해 부른다. 판정은 규칙 엔진에 남긴다.
관련 부품
C7 필수 짝 — 상용 API 의존이면 폴백 필수 · C5 선행 — 외부 전송 전 비식별 · A2.4 대안 — 행정망·민감 등급일 때 중계 경유 · C9 짝 — 모델 업데이트 회귀시험
참고 자료
Fowler Direct Prompting · InfoQ 모델 라우팅·캐싱 · Microservice 패턴 Circuit Breaker
이 부품과 이어지는 가이드라인
A7 자체 제작 환경 공통 서비스
외부 용역 없이 기관 인력이 저작도구·AI 코딩 에이전트로 도구를 직접 만들고 고치는 제작 환경이다.
PAX 사례 317건이 이 부품을 쓴다
맥락
업무 담당자가 AI 코딩 도구·저작도구·오픈소스로 직접 만드는 과제에 쓴다. 유형 8(취합·변환 자동화)에서는 필수 기반이다. PAX 557건에서 A7이 붙고 BYO 모델을 쓰는 사례는 29건이다.
맞서는 힘(긴장)
- 제작 속도·현장 적합성 vs 유지보수 연속성
- 개인 역량 의존 vs 조직 인수인계
- 무예산 제작 vs 보안 검토·기관 공식화 절차
해법
기관 인력이 AI 코딩 에이전트·저작도구·오픈소스로 직접 만들되, 처음부터 전이를 전제로 한다. 설정·데이터(연락처·업무분장 등)는 코드 밖 파일로 빼 비개발자도 고치게 하고, 작업 지시서 자체를 코딩 에이전트가 수행할 프롬프트로 설계해 제작 절차를 남긴다. MIT·Apache 등 라이선스를 명시하고 공공 깃랩(A3)이나 혁신24 자료실에 등재해 담당자가 바뀌어도 이어지게 한다. 실사용 건수로 성과를 재 기관 공식으로 올린다.
이럴 때 쓴다
- 반복 업무를 줄이는 소규모 도구를 빠르게 만들 때
- 용역 없이 작은 수정을 계속해야 할 때
- 유형 8 취합·변환 자동화
이럴 때는 쓰지 않는다
- P2 이상 시스템 쓰기·처분이 걸려 보안 검토·통제 부품이 먼저 필요한데 이를 갖출 수 없을 때
- 라이선스·저장소·인수인계를 정할 수 없어 전이가 불가능할 때(X9 위험)
얻는 것
- 제작 속도와 현장 적합성
- 내부 유지보수 역량 축적
- 무예산·소예산 제작
점검표
- 라이선스가 명시되어 있는가
- 저장소가 개인 PC가 아닌 공유 위치에 있는가
- 담당자가 바뀌어도 고칠 수 있는 문서·설정 분리가 있는가
- 실사용 지표가 있는가
구조 — 참여 부품
- 업무 담당자 — 요구를 알고 직접 만드는 제작자
- AI 코딩 에이전트·저작도구 — 코드·화면·워크플로 생성
- A3 공공 깃랩·자료실 — 등재처 — 담당자 이동 후에도 이어지게
- A9 업무 규범 스킬 — 제작 규범·지시서를 재사용 가능한 형태로
변형
- 비개발자 바이브코딩: 교육 후 비개발 직원이 AI 코딩으로 웹앱을 만들고 실사용 지표까지 잰다.
- 용역 탈피 단계형: 1단계는 전문기업과, 2단계는 직원이 도구를 대여해 라벨링·학습·개발을 직접 한다.
- 오픈소스 조립형: n8n·FastAPI·Qdrant·LM Studio 등 오픈소스로 워크플로를 직접 조립하고 설정을 공유한다.
- 사람+에이전트 작업 단위형: 작업 지시서를 코딩 에이전트 입력 프롬프트로 설계해 '사람 1인 + 에이전트 1세션' 단위로 일한다.
참조 구현 예
- PAX 145a534a79c6fc53 — 공무원 1인 개발 도구가 혁신24 자료실로 여러 기관에 확산(§13 A7)
관련 부품
A3 등재처 — 공공 깃랩 · A9 짝 — 제작 규범을 스킬로 · B0 주 산출물 — 결정적 도구 · A10 짝 — 유형 8 필수 · X9 주의 — 담당자와 함께 사라지는 도구
참고 자료
GoF Prototype · PAX 전이 플레이북
A10 문서 형식 어댑터 공통 서비스
HWP·HWPX·엑셀·한셀·PDF 같은 한국 공공 문서 형식을 AI 부품이 읽고(구조화) 쓰게(서식 생성) 하는 변환 계층이다.
PAX 사례 136건이 이 부품을 쓴다
맥락
문서를 입력으로 받거나 기안·보고서·취합본을 산출하는 과제라면 거의 다 쓴다. 유형 2·4·8에서는 필수 기반이고 유형 6·7에서도 쓰인다. E1 로컬 PC 조건에서 도는 경우가 많다.
맞서는 힘(긴장)
- 형식 충실도(표·각주·조항 구조 보존) vs 파서 구현 비용
- 로컬 처리(무반출) vs 클라우드 변환 도구의 편의
- 기관별 서식 다양성 vs 공통 어댑터 재사용
해법
입력 쪽에서는 HWPX 압축 구조·PDF에서 조·항·호·별표 계층과 표를 보존해 구조화 텍스트·표로 바꾸고, 머리말·각주 같은 잡음을 걷어 조항 단위로 정규화한다. 출력 쪽에서는 스킬(A9)의 출력 서식을 받아 HWPX·XLSX 기안 서식을 역방향으로 생성한다. 민감 문서는 PC 밖으로 보내지 않도록 로컬에서 변환하고, 파서를 라이브러리·CLI·MCP로 함께 제공하면 다른 부품과 기관이 그대로 쓴다. 형식 변환 정확도는 C9 판정 체계로 잰다.
이럴 때 쓴다
- 입력이 HWP·HWPX·엑셀·PDF 공공 문서일 때
- 산출물을 기안·보고 서식으로 내보내야 할 때
- 유형 2·4·8 조립
이럴 때는 쓰지 않는다
- 스캔 이미지·음성처럼 인식이 필요한 입력은 B4 인식 파이프라인(OCR·STT)
- 입출력이 이미 정형 데이터·API인 경우
얻는 것
- 공공 문서를 AI 입력·출력으로 연결
- 기관 간 재사용 가능한 공통 부품
- 로컬 처리로 무반출
점검표
- 표·조항 계층이 변환 후에도 보존되는가
- 출력이 기관 기안 서식 그대로 열리는가
- 민감 문서가 변환 과정에서 PC 밖으로 나가지 않는가
- 변환 정확도 판정 기록이 있는가
구조 — 참여 부품
- 입력 파서 — 조·항·호·표 구조를 보존해 구조화
- 서식 생성기 — 구조화 결과를 HWPX·엑셀 서식으로 출력
- A9 업무 규범 스킬 — 출력 서식 규범 제공
- B3 지식 접지 상담 — 구조화된 규정을 색인해 검색
변형
- 규정 구조 파서: HWP/HWPX·PDF 규정을 조항 단위로 정규화한다.
- 엑셀·한셀 취합: 폐쇄망에서 엑셀·한셀 파일을 취합한다(GatherFlow).
- 서식 출력: HWPX 직무기술서·보도자료 등 공공 서식으로 역방향 생성한다(NCS JD, ReleasePick 입력).
- 완결형 문서 엔진: HWP/HWPX 파싱·조판·렌더링·편집·PDF 출력을 자체 구현하고 MCP·CLI로 제공한다(PAX e18d5e018e0cd10d).
- AI 친화 병행 등록: 기관이 발간자료를 마크다운으로 함께 등록하도록 표준화한다(PAX 17329009668eb397).
참조 구현 예
- PAX GatherFlow — 엑셀·한셀 취합(폐쇄망)(§6 A10 카드)
- PAX 7ad16f34cfb6cca7 — HWP·HWPX·PDF에서 신구대비표 초안을 로컬 생성(§13 A10)
- PAX e18d5e018e0cd10d — HWP/HWPX 파싱·조판·렌더링·편집·PDF 출력 + MCP·CLI(§13 A10)
관련 부품
A9 짝 — 스킬 출력 서식 · B4 경계 — 인식이 필요한 입력 · A12 대칭 — 사람 쪽 모달리티 어댑터 · A7 짝 — 유형 8 필수 · B0 소비처 — 문서·엑셀 자동화
참고 자료
GoF Adapter
이 부품과 이어지는 가이드라인
C1 검토 큐 운영 컴포넌트
AI 산출물이 다음 단계로 넘어가기 전에 사람이 맞고 틀림을 확인·수정·확정하는 대기열을 두어, 오류가 업무 결과로 흘러가지 않게 한다.
PAX 사례 46건이 이 부품을 쓴다
맥락
AI 산출물이 공문·처분·대민 안내·기록으로 이어지는 모든 B 부품(B1 코파일럿, B4 인식 파이프라인, B2 예측기, B7 콘텐츠 생성기 등). 이용자 본인이 최종 확정자인 자기서비스형 도구도 포함한다(R16).
맞서는 힘(긴장)
- 정확성·책임성 vs 처리 속도(전건 검토는 자동화 이득을 깎는다)
- 검토자의 숙련 vs 자동화 편향(AI 결과를 그대로 승인하는 경향)
- 전건 검토의 안전 vs 위험도별 분기(C2)로 가야 하는 효율 압력
해법
AI 산출물에 신뢰도·근거를 붙여 검토 대기열에 올리고, 검토자가 승인·수정·반려 중 하나를 고르게 한다. 수정·반려 내역은 C4 감사 로그에 남겨 수정률을 집계하고 C6 환류의 입력으로 쓴다. 검토 화면은 원문 위치·근거를 함께 보여 줘 확인 비용을 줄인다. 전건 검토로 시작하되, 수정률 실측이 쌓이면 C2 위험도 라우터로 저위험 건을 자동 종결하는 단계로 옮긴다.
이럴 때 쓴다
- AI 산출물이 공문·처분·대민 안내로 그대로 이어질 때
- E4가 P1 이상이고 되돌리는 데 사람 시간이 많이 드는 조치가 있을 때
- 서비스 유형 ② 접수·심사, ④ 기안 코파일럿, ⑥ 콘텐츠 제작, ⑦ 대조·점검, ⑩ 위험 예측, ⑪ 추천·매칭, ⑫ 개발 코파일럿처럼 C1이 필수인 유형
이럴 때는 쓰지 않는다
- B0 결정적 도구처럼 런타임 AI 산출물이 없을 때
- 쉽게 되돌릴 수 있고 저위험인 조치를 이미 C2로 자동 종결하도록 실측 근거를 갖춘 구간(전건 검토를 영원히 남기지 않는다)
얻는 것
- 오류가 업무 결과로 나가기 전에 차단
- 책임 소재가 명확해짐
- 수정 내역이 C4 지표와 C6 환류의 원천 데이터가 됨
점검표
- AI 산출물이 확정 전 상태로 머무는 지점이 명시되어 있는가
- 검토자와 승인·수정·반려 선택지가 정해져 있는가
- 검토 결정과 수정 내역이 로그로 남는가
- 실증 기간의 검토·수정 건수가 기록되어 있는가
- 전건 검토에서 분기로 옮길 조건이 정해져 있는가
구조 — 참여 부품
- 검토 대기열 — AI 산출물을 확정 전 상태로 보관하고 검토자에게 배정
- 검토자(담당자 또는 이용자 본인) — 승인·수정·반려를 결정하는 최종 책임자
- F2 편집 가능한 출력 — 검토자가 산출물을 직접 고치는 화면
- C4 감사 로그·지표 — 검토 결정과 수정 내역을 적재해 수정률로 집계
변형
- 전건 검토형: 모든 AI 산출물을 담당자가 확인·확정
- 예외 검수형: 정상 건은 일괄 승인하고 저신뢰 항목만 개별 검수하는 검수 UI
- 파이프라인 내장 관문형: 멀티에이전트·다단계 파이프라인의 각 관문에 승인·보완·재작성 선택지를 둠
- 자기서비스형: 이용자 본인이 최종 확정자인 HITL. 실제 운영 중이면 C1 present(R16)
- 심의 게이트: 팩트체크·법무·윤리처럼 제3자 전문가가 수행하는 승인 게이트
참조 구현 예
- PAX 9dc1a7081bc869b1 — 광진구 — 담당자·팀장 최종 판단 책임 등 4대 관리 원칙 명문화
관련 부품
C2 다음 단계 — 전건 검토에서 위험도 분기로 승급 · C1.2 변형 — 제3자 전문가 심의 게이트 · F2 이용자 쪽 대응 — 검토자가 직접 고치는 화면 · F6 이용자 쪽 대응 — 에이전트 행동 실행 전 확인 · C4 기록처 — 검토 결정·수정 내역 · C6 후속 — 수정 내역이 환류의 입력
참고 자료
Google ADK HITL · Gulli ch.13 Human-in-the-Loop · Towards AI 동기·비동기 HITL · Chain of Responsibility
이 부품과 이어지는 가이드라인
C5 가드레일 필터 운영 컴포넌트
개인정보·환각·편향·형식 오류가 프롬프트나 산출물에 들어가지 못하게 시스템이 경계에서 걸러낸다. 비식별 전처리, 출처 검증, 구조적 출력 제약이 대표 변형이다.
PAX 사례 44건이 이 부품을 쓴다
맥락
외부 모델을 부르거나 대민에 답하는 모든 B 부품. 특히 E2 해외 상용 API, E5 S 이상 데이터, B3 지식 접지 상담, 유형 ① 대민 상담, ④ 기안, ⑥ 콘텐츠, ⑦ 대조·점검, ⑨ 인수인계, ⑬ 비식별·정제 도구.
맞서는 힘(긴장)
- 차단의 엄격함 vs 과잉 차단으로 인한 유용성 저하
- 비식별 강도 vs 문맥 보존
- 결정적 검증의 신뢰성 vs 구현 범위
해법
프롬프트가 기관 밖으로 나가기 전 PII를 마스킹하고 원복 키를 보관하는 비식별 전처리기를 둔다. 응답에는 인용을 원본(법령정보센터·통계표 등)과 대조하는 출처 검증기와, JSON 스키마·허용 목록 같은 구조적 출력 제약을 건다. 근거가 없으면 답하지 않거나 '확인 필요'로 표시한다. 차단 사유는 C4에 남기고, 이용자에게는 F1 출처와 F7 한계 안내로 보인다. 사람이 하는 팩트체크·법무 심의는 C5가 아니라 C1.2에 둔다.
이럴 때 쓴다
- E2 해외 상용 API로 행정망 본문이 외부로 나갈 때(필수)
- E5 S 이상 개인정보·민감정보를 다룰 때
- B3 대민 응답처럼 인용·수치의 정확성이 신뢰의 핵심일 때
- C5가 필수인 유형 ①④⑥⑦⑨⑪⑬
이럴 때는 쓰지 않는다
- E1 로컬 PC 완결로 데이터가 밖으로 나가지 않을 때 비식별은 불필요해질 수 있다(§5 매트릭스, 단 출처 검증은 별개)
- 사람이 수행하는 심의만 있을 때(C1.2로 태그)
- 적대적 입력 탐지가 목적일 때(S8)
얻는 것
- 개인정보 외부 유출 차단
- 환각 인용 감소
- 상용 API 사용 조건 충족
점검표
- 외부 전송 전 무엇이 걸러지는지 답할 수 있는가
- 인용이 원본과 대조되는가
- 근거 없을 때의 동작이 정해져 있는가
- 차단 사유가 기록되는가
구조 — 참여 부품
- 비식별 전처리기 — 외부 전송 전 PII 마스킹과 원복
- 출처 검증기 — 인용을 원본과 대조해 환각을 걸러냄
- 출력 제약 — 스키마·허용 목록·금칙어로 출력 형식 제한
- F1 출처 표시 — 검증된 출처를 이용자에게 보임
변형
- 로컬 비식별 전처리기: 외부 전송 전 PII 마스킹·원복(PAX에서 독립 부품으로 확인)
- 출처 검증기: 인용을 법령정보센터·KCI·CrossRef 원본과 대조
- 구조적 출력 제약·스키마 검증: JSON 스키마·허용 목록으로 출력 범위를 고정(v0.6 식별 신호 추가)
- 근거 재대조형 환각 검증: 추출값의 근거 문장을 원문에서 재대조해 '문서확인/AI추정/문서에없음'으로 재분류
참조 구현 예
- PAX Korean Stats MCP — KOSIS 통계 출처 자동 인용
관련 부품
F1 이용자 쪽 대응 — 검증된 출처 표시 · F7 이용자 쪽 대응 — 근거 없을 때 한계 안내 · A2.4 짝 — 민감정보 외부 유출 대응 · C1.2 구분 — 사람이 하는 심의 · S8 구분 — 적대적 입력 탐지 · S13 변형 후보 — 로컬 비식별 게이트
참고 자료
Fowler Guardrails · InfoQ Output Guardrails·Model Critic · Gulli ch.18 Guardrails · Heiland 규칙 기반 안전장치 · Proxy · Decorator
이 부품과 이어지는 가이드라인
C7 폴백 스위치 운영 컴포넌트
모델·API·도구가 멈추거나 품질이 떨어질 때 대체 모델·규칙 기반 축소·수동 처리로 경로를 바꿔 서비스가 끊기지 않게 한다.
PAX 사례 12건이 이 부품을 쓴다
맥락
상용 API 또는 단일 모델에 의존하는 모든 B 부품. 특히 E2가 해외 상용 API이거나 B5처럼 상시 가동해야 하는 서비스.
맞서는 힘(긴장)
- 가용성 vs 비용(대체 경로를 상시 유지하는 비용)
- 품질 일관성 vs 대체 경로의 품질 저하
- 자동 전환의 신속성 vs 전환 판단의 오작동 위험
해법
오류율·지연·단가 신호를 감시하다가 임계를 넘으면 재시도 → 기존 API → 대체 MCP → 대체 모델 → 규칙 기반 축소 → 수동 전환 순으로 경로를 바꾼다. 장애 범위는 격리(Bulkhead)로 한 부품에 가두고, 모델 교체는 무중단(Blue-Green)으로 한다. 전환은 C4 감사 로그에 남기고, 복구 후에는 원래 경로로 되돌리는 조건도 함께 정한다. 대체 경로의 품질 저하는 이용자에게 F7 한계 안내로 알린다.
이럴 때 쓴다
- E2가 해외 상용 API이거나 혼합일 때
- B5 현장 감지·경보처럼 상시 서비스일 때 필수
- 대민 자동응답(B3 대민형)처럼 중단 비용이 큰 경우
- 유형 ① 대민 상담(상시), ③ 현장 감시
이럴 때는 쓰지 않는다
- B0 결정적 도구처럼 런타임 AI가 없을 때
- 로컬 완결 도구로 외부 의존이 없을 때
- 유형 ①·⑦에서 model_dependency가 없음(비LLM)일 때는 필수에서 면제(R7)
얻는 것
- 핵심 서비스 연속성
- 벤더 종속 완화(X4 예방)
점검표
- 대체 경로가 최소 하나 구현되어 있는가
- 전환 임계와 복귀 조건이 수치로 정의되어 있는가
- 전환 이력이 로그로 남는가
- 실증 기간에 전환을 1회 이상 실행한 기록이 있는가
구조 — 참여 부품
- A2 모델 서빙 계층 — 주 경로와 대체 모델을 함께 노출하는 끼울 자리
- 상태 감시기 — 오류율·지연을 임계와 비교해 전환을 결정
- C4 감사 로그·지표 — 전환 시점·사유·복구를 기록
- 수동 처리 담당자 — 모든 자동 경로가 실패했을 때의 최종 경로
변형
- 대체 모델 전환: 상용 API 장애 시 다른 상용 모델 또는 로컬 오픈웨이트 모델(A2.2)로 전환
- 규칙 기반 축소: AI 판정 대신 결정적 규칙·공식 템플릿으로 기능을 줄여 계속 운영(Fail-safe)
- 수동 전환: 담당자 처리로 되돌리고 접수만 유지
- 격리(Bulkhead): 장애가 난 부품의 영향 범위를 가둠
- 무중단 교체(Blue-Green): 모델 업데이트를 병행 운영 후 전환하고 급락 시 이전 안정 모델로 복귀
참조 구현 예
- PAX MiroFish-Ko — Codex CLI → Claude CLI → 로컬 LLM 폴백 (증거 E1)
관련 부품
C8 짝 — 권한 경계는 막는 통제, 폴백은 이어 가는 통제 · A2 끼울 자리 — 대체 모델은 모델 서빙 계층에 등록 · C4 기록처 — 헬스체크가 전환 신호, 전환 이력 기록 · C9 선행 — 모델 교체(Blue-Green) 전 회귀시험 · F7 이용자 쪽 대응 — 대체 경로 운영 중 한계 안내
참고 자료
Gulli ch.12 Exception Handling · Microservice 패턴 #15 Circuit Breaker · Bulkhead · Blue-Green · PAX Native 관문 4
이 부품과 이어지는 가이드라인
C9 평가 세트·회귀시험 운영 컴포넌트
배포 전에 업무 맥락의 질문·정답·채점 기준을 세트로 만들어, 프롬프트·모델·설정의 모든 변경을 같은 자로 재고 회귀를 잡는다.
PAX 사례 15건이 이 부품을 쓴다
맥락
모델·프롬프트·검색 설정이 바뀌는 모든 AI 부품. 특히 B3 지식 접지(검색 품질은 평가 없이 개선 불가), E2 상용 API(예고 없는 모델 업데이트), 유형 ①④⑤a⑦⑩⑫.
맞서는 힘(긴장)
- 평가 세트 구축 비용 vs 변경의 안전
- 사람 라벨의 정확성 vs LLM 심판의 규모
- 세트 고정(비교 가능성) vs 업무 변화 반영(세트 갱신)
해법
RAG를 붙이거나 모델을 고르기 전에 업무 질문·정답·채점 기준(사람 라벨 + LLM 심판)을 세트로 만든다. 프롬프트·모델·설정 조합을 릴리스처럼 버전 관리하고, 모든 변경마다 같은 세트로 재평가해 점수표와 회귀 실패 목록을 남긴다. 기준을 넘지 못하면 배포하지 않는 게이트를 둔다. 학습 데이터와 평가 세트는 누수 없이 분리한다.
이럴 때 쓴다
- RAG·튜닝을 붙이기 전(§7.1 4단계, §7.2 진행 경로 2단계)
- E2 상용 API로 모델 업데이트가 예고 없이 올 때(필수)
- 폐쇄망 로컬 모델의 교체 시점
- C6 환류·C7 모델 교체를 하려 할 때(선행 조건)
이럴 때는 쓰지 않는다
- B0 결정적 도구처럼 비결정적 출력이 없을 때
- 유형 5a 중 순수 시각화(R10: 면제)
얻는 것
- 변경의 효과와 회귀를 숫자로 확인
- 모델 교체·재학습의 안전
- 모델 선정 근거 확보
점검표
- 업무 질문·정답·채점 기준 세트가 있는가
- 프롬프트·모델·설정이 버전 관리되는가
- 변경마다 재평가한 기록이 있는가
- 기준 미달 시 배포를 막는 절차가 있는가
구조 — 참여 부품
- A1 데이터 자산 서비스 — 정답의 출처
- A2 모델 서빙 계층 — 평가 대상 모델의 버전 고정
- 채점기 — 사람 라벨과 LLM 심판으로 점수 산출
- 배포 게이트 — 기준 미달 변경의 배포 차단
- C4 감사 로그·지표 — 운영 지표와 평가 점수 대조
변형
- 모델 선정 블라인드 비교: 여러 모델을 동일 조건·평가 의도 은닉으로 채점해 운영 모델 선별
- 배포 전 회귀검증 게이트: 응답 로직 변경 시 기준 질의의 기대응답 대조를 통과해야 배포
- 재학습 모델 비교 게이트: 재학습 시 이전 버전 대비 성능을 비교해 기준 상회 모델만 배포
- 공인시험 기반 검증 세트: 검출 기준을 명시한 검증 세트와 공인시험
참조 구현 예
- PAX MOPAN — 기각한 시도 15건의 실패 기전을 기술 보고서로 남김
관련 부품
C6 후속 — 환류의 재검증 단계 · C7 후속 — 모델 교체(Blue-Green) 전 회귀시험 · B3 끼울 자리 — 검색 품질 개선의 전제 · A1 의존 — 정답 출처 · A2 의존 — 모델 버전 고정
참고 자료
Fowler Evals · InfoQ AI-Ops · Prompt-Model-Config Versioning · Gulli ch.19 Evaluation & Monitoring
이 부품과 이어지는 가이드라인
- 공공부문 AI 도입·활용 가이드
- 인공지능 위험 사례집
- 금융분야 AI 위험관리프레임워크
- AI 기반 신용평가모형 검증체계
- 합성데이터 생성·활용 안내서
- 인공지능 영향평가 가이드라인
- 신뢰할 수 있는 인공지능 개발 안내서
- 인공지능(AI) 표준화 전략 로드맵
- KS X ISO/IEC 42001 인공지능 경영시스템
- KS X ISO/IEC 23894 인공지능 리스크관리 지침
- KS X ISO/IEC TS 4213 기계 학습 분류 성능에 대한 평가
- KS X ISO/IEC 22989 인공지능 개념 및 용어, KS X ISO/IEC TR 24028 인공지능의 신뢰성 개요
C4 감사 로그·지표 운영 컴포넌트
처리 건마다 흔적을 적재하고 수정률·처리시간·자동처리율·가용성을 집계해, '지난달 수정률'을 숫자로 말할 수 있게 한다.
PAX 사례 16건이 이 부품을 쓴다
맥락
AI 산출물이 업무 결과에 영향을 주는 모든 B 부품. 특히 C2·C6·C7을 붙이려는 서비스, E4 P2 이상, 기관 공식으로 전이하려는 자생 도구.
맞서는 힘(긴장)
- 기록의 완전성 vs 저장·개인정보 부담
- 지표의 단순성 vs 업무 실상 반영
- 로그 적재 vs 실제로 지표를 보고 조치하는 조직 습관
해법
모든 부품의 이벤트(요청·응답·검토 결정·수정·전환·오류)를 건 단위로 적재한다. 로그 집계, 성능 지표(수정률·처리시간·자동처리율), 분산 추적(에이전트 호출 연쇄), 헬스체크(도구·모델 가용성)의 네 하위 항목으로 나눠 구현한다. 지표는 대시보드나 정기 보고로 실제로 보고, C2·C6·C7이 이 지표를 읽어 판단하게 한다. 개인정보가 들어가는 로그는 E5 등급에 맞춰 보관 범위를 정한다.
이럴 때 쓴다
- C2·C6·C7 중 하나라도 붙이려 할 때(이들이 C4를 읽는다)
- E4 P2 이상
- 유형 ② 접수·심사, ③ 현장 감시, ⑤b 데이터 에이전트(호출 추적), ⑧ 취합·변환의 기관 전이
- 자생 도구가 부서 공유·기관 공식으로 전이하려 할 때
이럴 때는 쓰지 않는다
- E1 로컬 PC 완결 개인 도구로 개인 사용에 머물 때(단, 기관 전이 시 재장착 — §5 매트릭스)
얻는 것
- 성과를 숫자로 말할 수 있음
- C2·C6·C7의 판단 근거
- 사고 시 원인 추적
점검표
- 건별 로그가 적재되는가
- 수정률·처리시간 등 지표가 정의되어 있는가
- 실증 기간 지표가 실제로 집계되었는가
- C2·C6·C7이 읽는 지표가 C4에서 나오는가
구조 — 참여 부품
- 로그 집계 — 건별 이벤트 적재
- 성능 지표 — 수정률·처리시간·자동처리율 산출
- 분산 추적 — 에이전트·도구 호출 연쇄 추적
- 헬스체크 — 도구·모델 가용성 감시(C7의 입력)
- 감사 대시보드 — 지표를 사람이 보고 조치하는 화면
변형
- 로그 집계: 건별 처리 이력 적재
- 성능 지표: 수정률·처리시간·자동처리율·이용량 집계
- 분산 추적: 에이전트 호출 연쇄를 추적해 '왜 그렇게 답했는지' 복원
- 헬스체크: 도구·모델 가용성 감시
참조 구현 예
- PAX 55f606c2835337ba — 전북특별자치도 — 운영 3개월 누적 이용 10만 건·이용자 3천 명 지표 공개
- PAX 망분리 환경용 로컬 AI 에이전트 — 감사 대시보드(§9 조립 예시)
관련 부품
C2 이용처 — 자동처리율·임계값 조정 · C6 이용처 — 수정·이의·오탐 기록이 환류 입력 · C7 이용처 — 헬스체크가 전환 신호 · S10 구분 — 재현 가능한 순서 기록 · C9 짝 — 배포 전 평가와 운영 지표 대조
참고 자료
Gulli ch.19 Evaluation & Monitoring · Microservice 관측 4종(Log Aggregation · Metrics · Tracing · Health Check)
이 부품과 이어지는 가이드라인
S12 데이터 비도달 설계 보안 패턴
개인정보·원문을 단말(브라우저·PC·기기)에서 처리해 서버나 외부로 아예 보내지 않는다. v0.6 후보 부품으로, 카드 없이 R4 한 줄 정의와 §13 레지스트리로만 등재되어 있다.
PAX 사례 36건이 이 부품을 쓴다
맥락
PAX 자생 도구처럼 브라우저 단독 HTML·데스크톱 앱·로컬 모델로 업무 PC 안에서 완결되는 도구(E1 로컬 PC 완결). PAX 557건 태깅에서 S 부품 중 최다(36건)로 관측되었다. 카탈로그상 후보이며 위협 매트릭스·조립 템플릿에는 아직 들어가 있지 않다.
맞서는 힘(긴장)
- 유출 경로 제거 vs 중앙 로그·감사 기록 부재(C4 소실)
- 로컬 처리의 단순함 vs 단말 성능·로컬 모델 품질 한계
- 개인 도구의 자율성 vs 기관 전이 시 운영 통제 재장착
해법
개인정보·원문을 다루는 처리를 브라우저 내 로컬 처리·데스크톱 앱·로컬 모델(A2.2·A5)로 단말 안에서 끝낸다. 외부 호출이 꼭 필요하면 호출 범위를 한 기능(예: 음성 인식)으로 좁히고 키·원문·결과는 호스트 밖으로 내보내지 않는다. 무통신 여부를 이용자가 직접 확인할 수 있게(인터넷 차단 후 동작, 개발자 도구로 네트워크 확인) 안내한다. 기관으로 전이할 때는 사라진 C4 로그를 다시 붙인다. ^[inferred]
이럴 때 쓴다
- 개인정보가 담긴 문서를 마스킹·취합하는 개인·부서 도구
- 외부 전송이 허용되지 않는 데이터(E5 S 이상)를 다루는 소규모 도구
- 인터넷 차단 환경에서 쓰는 문서 도구
이럴 때는 쓰지 않는다
- 여러 사용자의 데이터를 모아야 하는 기관 서비스(중앙 저장이 과업 자체)
- 감사 로그(C4·S10)가 필수인 처분 관여(P3) 과제에서 기록 없이 로컬 완결만 주장할 때
- 단말 성능으로 필요한 모델 품질을 낼 수 없을 때
얻는 것
- 서버 쪽 유출 경로 제거
- 비식별 전처리(C5)가 불필요해짐
- 1인 개발 도구도 개인정보를 다룰 수 있음
점검표
- 원문·개인정보가 단말 밖으로 전송되는 경로가 없는가
- 외부 호출이 있다면 무엇이 나가는지 문서화되어 있는가
- 이용자가 무통신을 검증할 수 있는가
- 기관 전이 시 기록 재장착 계획이 있는가
구조 — 참여 부품
- 단말 처리기 — 브라우저·데스크톱 앱에서 파싱·마스킹·취합 수행
- A2.2 주권형 온프레미스 — 로컬 Ollama 등으로 추론을 단말에서 수행
- A5 엣지 추론 런타임 — 현장 기기에서 추론
- 이용자 검증 안내 — 무통신을 이용자가 직접 확인하도록 안내
변형
- 브라우저 단독형: 단독 HTML 한 파일 또는 브라우저 내 로컬 처리로 파일이 서버에 도달하지 않음
- 로컬 모델 오프라인형: 데스크톱 앱과 로컬 모델로 완전 오프라인 동작
- 부분 외부 호출형: 키·원문·결과는 호스트에 두고 특정 기능 호출만 범정부 공통기반으로 내보냄
참조 구현 예
- PAX 2f27c87e6f7c7614 — 단독 HTML 한 파일로 업무망에서 돌고 인터넷 차단·F12로 무통신을 이용자가 검증하게 한 로컬 완결 설계(§13)
- PAX b0808306ddb06317 — 키·관리자 토큰·음성·회의록은 호스트에 두고 음성 인식 호출만 범정부 공통기반으로(§13)
- PAX 73bb12bf461ceb4c — 브라우저 내 로컬 처리로 파일이 서버에 도달하지 않음을 도구 포털 단위로 명시(§13)
- PAX 9d115930495a1e65 — Tauri 데스크톱 앱과 로컬 Ollama·Gemma-4 E2B로 완전 오프라인 동작(§13)
- PAX 918bddd1b60d8a74 — 서버 전송 없이 PC 안에서만 개인정보를 마스킹·취합(§13)
- PAX 8d17b8feee1af705 — 브라우저 로컬 처리 문서 도구, 교육청 공식 배포로 전이 완료(§13)
관련 부품
S13 대안 — 전송이 필요하면 단말 비식별 후 전송 · C5 대체 — 데이터가 도달하지 않으면 비식별 필터가 불필요 · C4 트레이드오프 — 로컬 완결 시 사라지는 기록, 전이 시 재장착 · E1 환경 조건 — 로컬 PC 완결 · A2.2 끼울 자리 — 로컬 모델
참고 자료
카탈로그 §0 v0.6 개정표(S 부품 판정 전제) · 분류기준 R4
이 부품과 이어지는 가이드라인
S13 로컬 비식별 게이트 보안 패턴
외부로 전송하기 전에 단말·현장 서버의 소형 모델로 개인정보를 탐지·마스킹해 비식별 결과만 내보낸다. v0.6 후보 부품으로, 카드 없이 R4 한 줄 정의와 §13 레지스트리로만 등재되어 있다.
PAX 사례 5건이 이 부품을 쓴다
맥락
현장 기기(스마트글라스·CCTV)·업무 PC에서 만든 데이터를 서버·외부 LLM으로 보내는 구조, 공공문서 전처리 파이프라인의 앞단, 비식별·정제 도구(유형 13, D8.8). 카탈로그상 후보이며 위협 매트릭스·조립 템플릿에는 아직 들어가 있지 않다.
맞서는 힘(긴장)
- 외부 모델·클라우드 활용 vs 원문 유출
- 소형 모델의 단말 구동성 vs 탐지 누락
- 처리 지연(실시간 영상) vs 비식별 정확도
해법
데이터가 단말·현장 서버를 떠나기 직전에 소형 PII 탐지 모델(A2.5 자체 학습 모델 등)을 돌려 얼굴·개인정보를 마스킹하고, 비식별된 결과와 통계·이벤트만 전송한다. 원본은 현장에서 처리·종결하거나 원본과 분리해 보관한다. 탐지 누락에 대비해 수동 보완 절차를 두고, 외부 연결이 실패하면 로컬 처리로 되돌린다. 오프라인 모드를 강제하면 게이트를 우회한 전송을 막을 수 있다. ^[inferred]
이럴 때 쓴다
- 현장 영상·음성을 클라우드·중앙 서버로 보내는 감시 과제
- 공공문서를 외부 LLM(E2 해외 상용 API)에 보내기 전
- 비식별·정제 도구(유형 13)
- E5 S 등급 데이터를 A2.4 없이 외부로 보내야 할 때의 보완
이럴 때는 쓰지 않는다
- 데이터를 아예 외부로 보내지 않아도 되면 S12가 더 강함
- 이미 서버 쪽 비식별(C5)만으로 충분한 내부 전송
- 탐지 누락이 허용되지 않는데 수동 보완 경로가 없을 때 — 게이트만으로는 부족
얻는 것
- 외부 모델·클라우드를 쓰면서 원문 유출 축소
- 전송 데이터량 감소
- 원본을 현장에 남겨 데이터 주권 유지
점검표
- 게이트를 거치지 않는 외부 전송 경로가 없는가
- 탐지율 목표와 실측치가 있는가
- 누락 시 수동 보완 절차가 있는가
- 원본이 외부로 나가지 않거나 분리 보관되는가
구조 — 참여 부품
- A2.5 비LLM 학습 모델 서빙 — 경량 PII·얼굴 탐지 모델
- A5 엣지 추론 런타임 — 현장 기기·서버에서 비식별 실행
- 전송 게이트 — 비식별 결과만 외부로 통과
- C1 검토 큐 — 탐지 누락의 수동 보완
변형
- 엣지 영상 비식별형: 기기 단에서 얼굴 블러 후 휘발성 전송으로만 서버에 보냄
- 현장 서버 종결형: 원본 영상을 현장 서버에서 처리·종결하고 비식별 통계·이벤트만 클라우드로
- 문서 반출 전 점검형: 업무 PC 로컬의 한국어 PII 탐지 모델로 반출 전 점검
- 로컬 우선·선택 외부형: 기본 로컬 분석, 외부 LLM 연결 전 자동 마스킹, 실패 시 로컬 폴백
참조 구현 예
- PAX d33ebcfc0adca9f8 — 4천만 매개변수 한국어 탐지 모형 내장, 오프라인 모드 강제로 원본과 분리된 비식별 결과물(§13)
- PAX 8f7e23fec614657c — 100MB급 한국어 PII 탐지 모델을 업무 PC 로컬에서 돌려 반출 전 점검(§13)
- PAX c7e0862df664bbe5 — 로컬 분석 + 외부 LLM 선택 연결 + 연결 전 자동 마스킹 + 실패 시 로컬 폴백(§13)
- PAX dcba0f654467bdc9 — 40M 파라미터 소형 자체 학습 모델, 공공문서 전처리 앞단 로컬 비식별 게이트(§13, A2.5+S13 조합)
관련 부품
C5 짝 — 서버 쪽 비식별과 단말 쪽 게이트 · S12 대안 — 전송이 불필요하면 비도달 설계 · A2.5 끼울 자리 — 경량 PII 탐지 모델(A2.5+S13 조합) · D8.8 서비스 블록 — 보호·정제 · C7 보완 — 외부 연결 실패 시 로컬 폴백
참고 자료
카탈로그 §0 v0.6 개정표(S 부품 판정 전제) · 분류기준 R4
이 부품과 이어지는 가이드라인
F1 출처 표시 상호작용 패턴
답변에 근거 문서·조문·통계표 ID를 붙여 이용자가 원문을 직접 확인할 수 있게 한다. C5 출처 검증의 이용자 면이다.
PAX 사례 87건이 이 부품을 쓴다
맥락
B3 지식 접지 상담, A8 공공데이터 MCP, 법령·통계·규정을 인용하는 모든 응답. 유형 ① 대민 상담, ⑤b 데이터 에이전트, ⑦ 대조·점검, ⑨ 인수인계(원문 위치).
맞서는 힘(긴장)
- 출처 상세도 vs 화면 복잡도
- 출처 표시 vs 실제 검증(표시만 하고 검증하지 않으면 잘못된 신뢰)
- 원문 링크의 신선도 vs 유지 비용
해법
답변의 각 주장에 근거 문서·조문 번호·통계표 ID·원문 위치를 붙이고, 원문으로 바로 이동하는 링크를 제공한다. 출처의 갱신 시각과 이용 조건을 함께 보여 오래된 자료를 현재로 오인하지 않게 한다. 표시되는 출처는 C5 출처 검증을 통과한 것이어야 한다.
이럴 때 쓴다
- B3 지식 접지 응답 전반
- 대민 서비스 D1~D7(F1·F2·F7이 최소 요건)
- 유형 ①⑤b⑦⑨처럼 F1이 필수인 유형
이럴 때는 쓰지 않는다
- 모델의 판정 근거(요인·BBox·사유 코드)를 보여 주려는 경우(F9)
- B0 결정적 도구로 원천 데이터를 그대로 보여 주는 경우(출처가 곧 화면)
얻는 것
- 이용자 신뢰 확보
- 원문 대조로 오류 발견
- 공식 판단 여부를 이용자가 스스로 확인
점검표
- 모든 답변에 출처가 붙는가
- 출처가 원본과 대조되는가
- 갱신 시각이 보이는가
- 이용자가 원문을 바로 열 수 있는가
구조 — 참여 부품
- C5 가드레일 필터 — 출처 검증
- 이용자 — 원문을 열어 대조
변형
- 문서·조문 인용: 근거 문서명과 조문 번호를 답변에 붙임
- 통계표 ID 인용: 통계 답변에 통계표 ID를 자동 인용(KOSIS MCP 방식)
- 출처·신선도 표시: 출처에 갱신 시각과 이용 조건을 함께 표시
참조 구현 예
- PAX Korean Stats MCP — KOSIS 통계를 자연어로, 출처 자동 인용
- PAX 224e2d82d9369735 — 모든 출처에 갱신 시각과 이용 조건을 함께 저장한 출처·신선도 표시
- PAX 9998aba2d1f55c24 — 항목별 법령·처분사례 원문 연계(F1)
관련 부품
C5 시스템 쪽 대응 — 출처 검증 · F7 짝 — 한계 안내와 함께 신뢰의 실체 · F9 구분 — 판정 근거 표시 · B3 끼울 자리 — 지식 접지 응답 · A3 출처 제공 — 공공 API 원문
참고 자료
aiuxpatterns Results · Show Citations
이 부품과 이어지는 가이드라인
F2 편집 가능한 출력 상호작용 패턴
생성물을 이용자가 직접 고쳐 확정하게 한다. 통제감의 실체이며, 수정 내역은 C4 지표와 C6 환류의 입력이 된다.
PAX 사례 50건이 이 부품을 쓴다
맥락
B1 코파일럿(필수 면), B7 콘텐츠 생성기, B4 인식 결과 확정. 유형 ② 접수·심사, ④ 기안 코파일럿, ⑫ 개발 코파일럿, 5a-agg(R19), 2b 시민 제출 준비(R20).
맞서는 힘(긴장)
- 편집 자유도 vs 원본 추적(무엇을 고쳤는지)
- 편집 가능한 공공 서식(HWPX 등) 출력 vs 구현 비용
해법
생성물을 이용자가 바로 고칠 수 있는 형식(편집 화면, HWPX·PPTX 등 네이티브 파일)으로 내고, 이용자가 고친 뒤 확정하게 한다. AI 원안과 수정본의 차이를 기록해 C4 수정률과 C6 환류 입력으로 쓴다. 문서 형식 출력은 A10 어댑터가 받친다.
이럴 때 쓴다
- B1 코파일럿 전반(필수 면)
- 대민 서비스 D1~D7(F1·F2·F7이 최소 요건)
- 유형 ②④⑫, 5a-agg, 2b처럼 F2가 필수인 유형
이럴 때는 쓰지 않는다
- 이용자가 결과를 수정하면 안 되는 판정 결과(판정은 C1 확정 절차로 다룸)
- 조회 결과만 보여 주는 P0 도구
얻는 것
- 이용자 통제감
- 수정 내역이 품질 지표·환류 데이터가 됨
- 공공 서식 재작업 감소
점검표
- 산출물을 이용자가 직접 고칠 수 있는가
- 원안과 수정본 차이가 기록되는가
- 공공 서식 형식으로 편집 가능한가
구조 — 참여 부품
- 편집 화면·네이티브 파일 — 이용자가 직접 고치는 면
- A10 문서 형식 어댑터 — HWPX·PPTX 등 편집 가능한 형식 출력
- C4 감사 로그·지표 — 수정 내역 기록
변형
- 화면 내 편집: 생성 결과를 화면에서 바로 수정·확정
- 네이티브 파일 출력: PPTX·HWPX·피그마 등 이어서 고칠 수 있는 형식으로 산출
참조 구현 예
- PAX cb0abc29707cc710 — PPTX 네이티브·피그마(로컬 MCP)·HTML 세 형식으로 수정 가능한 산출물 출력
관련 부품
C1 짝 — 확정 절차 · B1 끼울 자리 — 코파일럿의 필수 면 · A10 의존 — 편집 가능한 문서 형식 출력 · C6 후속 — 수정 내역이 환류 입력
참고 자료
InfoQ UX Editable Output
이 부품과 이어지는 가이드라인
F5 참고자료 첨부 상호작용 패턴
이용자가 파일을 붙여 답의 범위를 좁힌다. A10 어댑터(HWPX·PDF)가 뒤에서 받치고, C5 비식별이 첨부 직후에 걸린다.
PAX 사례 15건이 이 부품을 쓴다
맥락
B1 코파일럿, B3 상담에서 이용자 문서를 범위로 쓰는 경우. 유형 ④ 기안 코파일럿의 필수 상호작용. 기관 밖에서 작성된 첨부물은 신뢰 불가 입력이다.
맞서는 힘(긴장)
- 범위 지정의 정확성 vs 첨부 내 개인정보 유출
- 첨부 형식 다양성 vs 파싱 품질
- 첨부 편의 vs 간접 인젝션 표면
해법
파일 업로드로 답의 범위를 지정하게 하고, A10 어댑터로 HWPX·PDF·엑셀을 구조를 보존해 읽는다. 첨부 직후 C5 비식별을 거친 뒤 모델에 넘긴다. 외부에서 작성된 첨부는 신뢰 불가 입력으로 표시하고, 도구 호출이 있으면 S3·S6로 격리한다.
이럴 때 쓴다
- 기관 코퍼스에 없는 이용자 문서를 근거로 해야 할 때
- 유형 ④ 기안 코파일럿(F5 필수)
이럴 때는 쓰지 않는다
- 기관 코퍼스 접지만으로 충분한 대민 상담(B3)
- C5 비식별·A10 어댑터 없이 개인정보 문서를 외부 API로 보내게 되는 경우(먼저 C5)
얻는 것
- 답의 범위가 이용자 의도에 맞음
- 복사·붙여넣기로 인한 형식 손상 감소
점검표
- HWPX·PDF가 형식을 유지해 파싱되는가
- 첨부 직후 비식별이 걸리는가
- 외부 첨부를 신뢰 불가 입력으로 취급하는가
구조 — 참여 부품
- A10 문서 형식 어댑터 — HWPX·PDF·엑셀 파싱
- C5 가드레일 필터 — 첨부 직후 비식별
- S3 컨텍스트 방화벽 — 첨부 내용을 신뢰 구역과 분리
변형
- 단일 문서 범위 지정: 첨부한 문서만 근거로 답
- 서식 첨부: 기관 서식을 붙여 출력 형식을 지정
관련 부품
A10 의존 — 문서 형식 파싱 · C5 의존 — 첨부 직후 비식별 · S3 보안 쪽 대응 — 첨부 내용 격리 표기 · F4 구분 — 구조화 입력
참고 자료
aiuxpatterns Authoring · Reference Material
F7 한계·신뢰도 안내 상호작용 패턴
AI가 무엇을 못 하는지, 얼마나 확신하는지, 공식 판단이 아님을 이용자가 볼 수 있는 곳에 적어 과신을 막는다.
PAX 사례 63건이 이 부품을 쓴다
맥락
대민 상담·안내(유형 ①), 대조·점검(⑦), 분석·예측(5a·⑩), 비식별 도구(⑬). 대체 경로로 운영 중인 C7 상황.
맞서는 힘(긴장)
- 정직한 한계 고지 vs 서비스 신뢰도 하락 우려
- 신뢰도 수치 표시의 정확성 vs 이용자 이해
해법
화면에 사용 한계(대상 범위·미검증 항목·처리 시간), 신뢰도, '공식 판단 아님' 고지를 결과 옆에 배치한다. 저신뢰 결과는 표시를 달리하고, C7 대체 경로로 운영 중이면 품질 저하를 알린다. 고지 문구는 법률 자문·유권해석을 대체하지 않는다는 점을 분명히 적는다.
이럴 때 쓴다
- 대민 서비스 D1~D7(F1·F2·F7 최소 요건)
- 유형 ①⑦5a⑩⑬처럼 F7이 필수인 유형
- C7 대체 경로 운영 중
이럴 때는 쓰지 않는다
- 유형 ①·⑦에서 model_dependency가 없음(비LLM)이면 필수에서 면제(R7). 단 비LLM 도구도 한계 고지는 권장된다
얻는 것
- 과신·오인 방지
- 기관 책임 범위 명확화
점검표
- 이용자가 '공식 판단이 아님'을 결과 화면에서 읽을 수 있는가
- 사용 한계가 명시되어 있는가
- 저신뢰 결과가 구분 표시되는가
구조 — 참여 부품
- 고지 문구 — 사용 한계·공식 판단 아님
- 신뢰도 표시 — 결과별 확신 수준
- C7 폴백 스위치 — 대체 경로 운영 여부 제공
변형
- 공식 판단 아님 고지: '유권해석 아님'·'참고용' 고지
- 신뢰도 표시: 결과별 신뢰도·등급 표시
- 미검증 항목 열거: 검증되지 않은 조건·처리 시간을 명시
참조 구현 예
- 소방기술민원 답변생성기 — '유권해석 아님' 고지
- PAX 9998aba2d1f55c24 — 비공식 참고 도구·공식 판단 아님 고지와 원문 연계를 함께 갖춘 자가점검 UI
- PAX 759835514b4b7ca4 — README가 미검증 항목을 열거하고 '최종 판단은 항상 사람' 고지
- PAX 6c0fa4c0c3508ff0 — 처리 시간과 라이선스 동의 절차를 정직하게 고지한 온디바이스 비전 도구
- PAX aef95509b7611c96 — 비LLM 스크리닝 도구가 실제 검토를 대체하지 않음을 화면에 명시
- PAX 0a2535cadf2d621a — 법률 자문·안전 인증을 대체하지 않는다는 한계 고지
관련 부품
C7 시스템 쪽 대응 — 대체 경로 운영 중 안내 · F1 짝 — 이용자 신뢰의 실체 · F9 짝 — 판정 근거와 함께 표시(F9+F7 표준형) · C5 짝 — 근거 없을 때의 동작
참고 자료
InfoQ Contextual Guidance · aiuxpatterns Inline Help
이 부품과 이어지는 가이드라인
D8.2 요약·추출 서비스 블록
공문·회의록·공람 문서에서 무엇을 언제까지 해야 하는지를 뽑아 카드·일정으로 만드는 내부 운영 블록이다. B1, B8 오버레이, B4가 전형 부품이다.
PAX 사례 24건이 이 부품을 쓴다
맥락
기관 내부 문서를 읽고 할 일·핵심을 뽑는 업무. §7.3 유형 ④ 내부 문서·기안 코파일럿(D8.3 초안 · D8.2 요약, P1)에 속한다. PAX 24건(주 부품 B1 38%, B3 21%).
맞서는 힘(긴장)
- 요약 속도 vs 누락·오독
- 표준 시스템 무수정 vs 연동 안정성(B8 오버레이는 정식 연동 시 소멸)
- 외부에서 온 공문·첨부(간접 인젝션) vs 자동 요약
- 등급 문서 요약의 외부 유출 vs 상용 모델 성능
해법
문서는 A10 어댑터로 첨부까지 읽고, B1이 요약·할 일·기한을 정형 카드로 뽑는다. 표준 시스템을 고칠 수 없으면 B8 레거시 오버레이(브라우저 사이드패널)로 화면 위에 붙인다. 문서가 PC·기관 밖으로 나가지 않아야 하면 A2 로컬 변형(A2.2)이나 A2.4 내부망 프록시를 쓴다. 외부에서 온 공문·첨부는 S3 컨텍스트 방화벽으로 지시가 섞이지 않게 하고, 요약에는 F1 원문 위치를 붙여 담당자가 C1로 확인한다. 기한 알림까지 보내면 D5와 함께 설계한다.
이럴 때 쓴다
- 공문·회의록을 읽고 할 일·기한을 손으로 옮길 때
- 표준 시스템을 고칠 수 없지만 요약을 붙이고 싶을 때
- 첨부까지 열어 봐야 핵심을 알 수 있을 때
이럴 때는 쓰지 않는다
- 요약을 넘어 보고서·공문 첫 판을 만들면 D8.3(우선순위가 더 높음)
- 문서를 담당자에게 배분하면 D8.6
- 문서를 찾는 것이 목적이면 D8.1
얻는 것
- 문서 읽기 시간 절감
- 기한 누락 방지
- 표준 시스템 무수정 도입
점검표
- 요약마다 원문 위치가 연결되는가
- 문서가 허용된 망 밖으로 나가지 않는가
- 외부 공문 속 지시가 요약·행동을 바꾸지 못하는가
- 요약 확인 절차가 서술되어 있는가
구조 — 참여 부품
- 담당자 — 요약 카드를 확인하고 할 일을 처리
- B8 레거시 오버레이 — 표준 시스템 화면 위 사이드패널
- A10 문서 형식 어댑터 — HWPX·PDF 첨부를 읽음
- B1 직접 프롬프트 코파일럿 — 요약·할 일·기한 추출
- A2 모델 서빙 계층 — 로컬·내부망 프록시 모델 제공
- C1 검토 큐 — 요약 확인 절차
변형
- 사이드패널 오버레이형: 표준 시스템 화면 위 브라우저 사이드바(B8, 온나라 sAIde).
- 문서 리소스 추출형: 문서에서 항목·자원을 정형으로 뽑음(B4).
- 할 일 카드형: 공문 → 할 일 카드(D-day). 알림을 보내면 D5와 함께.
참조 구현 예
- 온나라 sAIde — §9 조립 예시: B8 → A2 로컬 Ollama → A10 첨부 파싱 → 공문 요약 카드
- 범정부 내부망 AI 브라우저 사이드바 어시스턴트 — 카탈로그 D8.2 카드 예
- 문서 리소스 추출기 — 카탈로그 D8.2 카드 예(공공 AX 로컬 시리즈 5)
관련 부품
B8 전형 부품 — 레거시 오버레이 · D8.3 이웃 블록 — 같은 유형 ④ · D5 후속 블록 — 기한 알림 · S3 필수 보안 — 외부 공문 방화벽
참고 자료
카탈로그 §7.3 유형 ④ · 카탈로그 §7.4 유형 ④ 위협 모델 · 카탈로그 §6 B8 카드
이 부품과 이어지는 가이드라인
A1 데이터 자산 서비스 공통 서비스
흩어진 업무 기록을 정제·라벨링해 AI 부품이 붙여 쓸 수 있는 데이터셋·라벨·데이터 사전 형태의 기준선으로 제공한다.
PAX 사례 110건이 이 부품을 쓴다
맥락
학습 모델(A2.5·B2), 지식 접지(B3)의 코퍼스, 평가 세트(C9)의 정답 출처가 필요한 과제라면 모두 이 부품을 쓴다. 서비스 유형 5a·9·10·11에서는 필수 기반이다. 비LLM 규칙 기반 대민 안내에서는 A2를 거치지 않고 결정론 조회의 대상이 된다(R21).
맞서는 힘(긴장)
- 정제 품질 vs 구축 기간·라벨링 인력 비용
- 과제 전용 가공(빠름) vs 기관 공통 기준선(재사용)
- 데이터 활용 범위 vs 데이터 등급(E5) 보호
- 기준선 고정(재현성) vs 원천 갱신 반영
해법
원천 기록을 수집→정제(중복·결측 처리)→라벨링→정의 문서화 순으로 가공하고, 결과를 정제 데이터셋·라벨·데이터 사전의 세 산출물로 고정해 제공한다. 'N건→M건 정제'처럼 정제 전후 규모와 기준을 기록하고, 변수·테이블·인터페이스 정의서로 소비 부품이 같은 정의를 쓰게 한다. 기준선은 버전으로 관리해 C9 평가 세트의 정답 출처와 C6 재학습의 입력으로 재사용한다. 데이터 경계는 부품별로 두고(DB per Service), 타 기관 데이터와의 결합은 A4로 분리한다.
이럴 때 쓴다
- 예측·추천기(B2)나 비전 모델(A2.5)을 학습·재학습할 때
- 지식 접지(B3)의 코퍼스를 구축할 때
- 평가 세트(C9)의 정답 출처가 필요할 때
- 서비스 유형 5a-agg·9·10·11처럼 A1이 필수인 조립
이럴 때는 쓰지 않는다
- 공공 API 응답을 가공 없이 조회만 할 때(A3)
- 정제·정의 없이 파일을 올려 바로 검색하는 경우(태그 대상 아님)
- 타 기관 데이터 결합이 핵심일 때는 A4를 함께 태그해 계약·키 매핑을 따로 드러낸다
얻는 것
- 모델 교체와 무관하게 남는 기관 자산
- C9·C6·B3가 같은 기준선을 재사용
- 데이터 사전이 기관 간 표준 확산의 단위가 됨
점검표
- 정제 전후 규모와 정제 기준이 기록되어 있는가
- 데이터 사전(정의·단위·출처)이 있는가
- 기준선에 버전이 있고 평가용 분할이 학습용과 분리되어 있는가
- 데이터 등급(E5)에 맞는 가명·비식별 처리가 적용되었는가
구조 — 참여 부품
- 원천 시스템·기록 — 가공 전 업무 기록을 내주는 출처
- 정제·라벨링 파이프라인 — 중복 제거·결측 처리·라벨 부여·품질관리를 수행
- 데이터 사전 — 정의·단위·출처를 문서로 고정해 소비 부품이 같은 뜻으로 쓰게 함
- C9 평가 세트·회귀시험 — 기준선을 정답 출처로 사용
- A2.5 비LLM 학습 모델 — 기준선으로 학습·재학습하는 소비 부품
변형
- 학습데이터 구축형: 영상·이미지 등을 수집해 품질관리 단계(중복 제거·재라벨링·학습/검증/평가 분리)를 거쳐 학습 기준선으로 만든다.
- RAG 코퍼스 정본화형: 법령·규정 원문을 현행 시행본 기준으로 정본화하고 조문 구조·메타데이터를 부여해 색인한다.
- 지표 표준화형: 여러 자료원의 지표를 도메인별로 표준화하고 정의·단위·분모·결측·원본 링크를 메타데이터로 관리한다.
- 자동 피처 파이프라인형: 수집→정제→파생 변수 생성→자동 검증→담당자 승인을 주기 실행하고 승인만 사람에게 남긴다.
관련 부품
C9 소비처 — 기준선이 평가 세트의 정답 출처 · A4 짝 — 자기 기관 정제(A1)와 타 기관 결합(A4) · B3 소비처 — 지식 접지의 코퍼스 · C6 선행 — 재학습 입력이 되는 기준선 · A2.5 소비처 — 자체 학습 모델의 학습 데이터
참고 자료
computer.org 데이터 증강 · Heiland 데이터 계층 · Microservice 패턴 DB per Service · GoF Builder
이 부품과 이어지는 가이드라인
C6 환류 파이프라인 운영 컴포넌트
사용 결과(수정·이의·오탐 기록)가 정해진 주기와 트리거로 재학습·기준 개정에 되돌아오게 해, 배포 후에도 성능과 기준이 개선되게 한다.
PAX 사례 3건이 이 부품을 쓴다
맥락
C4가 수정·이의·오탐을 기록하고 있는 B2 예측기, B4 인식 파이프라인, B5 감지·경보, 추천형 B1. 유형 ③ 현장 감시, ⑤a 분석, ⑩ 위험 예측, ⑪ 추천·매칭.
맞서는 힘(긴장)
- 개선 속도 vs 검증 비용(재학습마다 C9 재검증)
- 현장 피드백 반영 vs 피드백 오염·편향
- 자동 반영 vs 반영 범위 상한
해법
C4의 수정·이의·오탐 기록을 입력으로, 재학습 또는 기준 개정의 주기(예: 6개월)와 트리거(예: 일치율 임계 미만)를 수치로 정한다. 개정 전에는 C9 평가 세트로 재검증해 기준을 넘는 경우에만 배포하고, 개정 이력을 남긴다. 반영 범위에 상한을 두고 평가 기간에는 루프를 동결하는 조건도 정한다. 이용자 쪽에서는 F10 피드백이 입력이 된다.
이럴 때 쓴다
- C4에 수정·오탐 기록이 쌓이는 학습 모델 기반 부품
- 데이터 분포가 시간에 따라 바뀌는 감지·예측 업무
- 유형 ③⑤a⑩⑪처럼 C6가 필수인 유형
이럴 때는 쓰지 않는다
- B0 결정적 도구처럼 학습·개정할 모델·기준이 없을 때
- C4 기록과 C9 평가 세트가 없어 반영 결과를 검증할 수 없을 때(먼저 C4·C9)
얻는 것
- 배포 후 성능 개선
- 현장 기준 변화 반영
- Native 단계 진입 근거
점검표
- 주기·트리거가 수치로 정해져 있는가
- 환류 입력 데이터가 C4에서 나오는가
- 개정 전 재검증 절차가 있는가
- 실증 기간에 완결된 사이클이 1회 이상 기록되었는가
구조 — 참여 부품
- C4 감사 로그·지표 — 수정·이의·오탐 기록 제공
- 환류 규칙 — 주기·트리거·표본·임계값·반영 상한
- C9 평가 세트·회귀시험 — 재학습·개정 결과의 재검증
- F10 이용자 자기확인·피드백 — 이용자 쪽 피드백 입력
변형
- 주기 재학습: 정해진 주기로 수정 데이터를 모아 모델 재학습
- 전문가 판정 적재 플라이휠: 전문가 검수 결과를 Ground Truth DB로 적재해 재학습에 환류
- 프롬프트·기준 개정: 재학습 없이 피드백을 프롬프트·기준에 상한을 두고 반영
- 표본 대조 재조정: 주기적으로 표본을 전문가 판단과 대조해 일치율 미달 시 재조정
관련 부품
C4 입력 — 수정·이의·오탐 기록 · C9 재검증 단계 — C6의 재검증이 곧 C9 · F10 이용자 쪽 입력 — 자기확인·피드백 · C1 원천 — 검토 수정 내역 · A1 기록처 — 재학습 데이터셋
참고 자료
computer.org 지속 학습 · Gulli ch.9 Learning & Adaptation · Observer · State · PAX AIM06
이 부품과 이어지는 가이드라인
F9 판정 근거·기여도 표시 상호작용 패턴
SHAP 요인 문장, 의심 부위 BBox, 판정 사유 코드, 자연어 판독 이유, 예측-실제 잔차로 모델이 왜 그렇게 판정했는지 보인다. B2·B4·B5의 필수 면이다.
PAX 사례 23건이 이 부품을 쓴다
맥락
B2 예측·추천기, B4 인식 파이프라인, B5 감지·경보. 유형 ③ 현장 감시, 5a 분석, ⑩ 위험 예측, ⑪ 추천·매칭(추천 사유). v0.6에서 추가.
맞서는 힘(긴장)
- 설명의 충실성 vs 이해 가능성
- 근거 공개 vs 적대적 이용자에게 탐지 기준 노출(X16)
해법
판정마다 기여 요인(SHAP)·의심 부위(BBox)·사유 코드·자연어 근거를 결과와 함께 보인다. 담당자가 근거를 열어 확인하고 최종 판단하게 한다. 위조 탐지처럼 적대적 이용자가 있는 D3 접점에서는 이용자에게 '정상/위조의심'만 보이고 세부 근거는 관리자 화면에만 둔다(근거 은닉).
이럴 때 쓴다
- B2·B4·B5의 판정 결과를 사람이 검토할 때
- 유형 ③⑤a⑩⑪처럼 F9가 필수인 유형
이럴 때는 쓰지 않는다
- 위조 탐지 등 적대적 이용자에게 근거를 그대로 보이는 경우(X16 — 관리자 전용으로)
- 문서 출처만 보이면 되는 지식 접지 응답(F1)
얻는 것
- 담당자가 판정을 검토할 근거
- 오판 원인 파악
- 추천·선별 결과의 설명 책임
점검표
- 판정마다 근거가 보이는가
- 적대적 접점에서 근거가 관리자에게만 노출되는가
- 최종 판단 주체가 명시되는가
구조 — 참여 부품
- A2.5 비LLM 학습 모델 서빙 — 판정과 기여도 산출
- 근거 표시 화면 — 요인·BBox·사유 코드 제시
- 담당자 — 근거를 보고 최종 판단
변형
- 요인 기여도: SHAP 등 요인 문장
- 위치 표시: 의심 부위 BBox
- 사유 코드·자연어 근거: 판정 사유 코드와 판독 이유 문장
- 관리자 전용 근거(근거 은닉): 적대적 접점에서 세부 근거를 관리자에게만 노출
참조 구현 예
- PAX 3b195a5faf820769 — 정비 대상 판정의 근거를 따로 열어 확인하게 하고 오류 가능성을 화면에 명시한 F9+F7 표준형
- PAX 8c461c4901e30775 — 실험마다 의도·판정 근거·실제 프롬프트를 함께 공개
관련 부품
F1 구분 — 문서 출처 · F7 짝 — F9+F7 표준형 · B2 끼울 자리 — 예측·추천기의 필수 면 · B′9 짝 — 판정 게이트의 근거 출력 · X16 안티패턴 — 적대적 접점의 근거 노출
참고 자료
카탈로그 v0.6 개정 F9 · aiuxpatterns Results
이 부품과 이어지는 가이드라인
X5 성능표만 있는 학습 안티패턴
학습 모델의 정확도는 보고하지만 배포 후 수정률을 누가 집계해 무엇을 바꾸는지가 없어, 개선이 배포 시점에 멈추는 함정이다.
맥락
B2 예측·추천, B4 인식 파이프라인, B5 감지·경보처럼 자체 학습 모델(A2.3·A2.5)을 가진 과제. 사람이 AI 산출물을 고치는 C1이 있는데도 그 수정이 모이지 않는 과제.
맞서는 힘(긴장)
- 계약 종료 시점의 성능 증명 vs 배포 후 지속 개선
- 운영 기록 비용 vs 재학습·기준 개정의 근거
- 과제 성과 지표 vs 현장 수정률
해법
배포 후 사람이 고친 기록을 C4 감사 로그·지표로 모아 수정률·오탐·이의를 숫자로 말하게 한다. C1 검토 큐의 수정 내역을 C4·C6의 입력으로 연결하고, C6 환류 파이프라인에 재학습·기준 개정의 주기와 트리거(예: 수정률 임계)를 정한다. 재학습한 모델은 C9 평가 세트로 재검증한 뒤 교체한다. 판정 질문은 '지난 분기 지표 때문에 바뀐 규칙이 하나라도 있는가'다.
이럴 때 쓴다
- 정확도·F1 같은 성능 수치는 있으나 배포 후 수정률·오탐률 지표가 없다
- C1 검토가 있는데 수정 내역을 어디에 저장·집계하는지 서술이 없다
- 재학습의 주기·트리거·담당 주체가 없다
- '지속적으로 고도화'만 있고 구체 사이클이 없다
이럴 때는 쓰지 않는다
- 학습 모델이 없는 B0·규칙 기반 도구
- C6 환류가 주기·트리거와 함께 한 번 이상 실행된 경우
- 상용 API만 쓰고 자체 학습이 없어 재학습 대신 C9 재평가·프롬프트 개정으로 환류하는 경우(그 환류가 있으면 정상)
얻는 것
- 계약 종료 시점에 성능을 명확히 증명한다
- 운영 기록·재학습 비용이 들지 않는다
점검표
- 배포 후 수정률을 월 단위로 말할 수 있는가
- 재학습·기준 개정의 주기·트리거·담당자가 정해져 있는가
- 재학습 결과가 C9로 재검증되는가
- 지난 분기 지표 때문에 바뀐 규칙이 하나라도 있는가
구조 — 참여 부품
- C4 감사 로그·지표 — 수정률·오탐을 집계하는 빠진 부품
- C6 환류 파이프라인 — 주기·트리거로 재학습·기준 개정
- C1 검토 큐 — 사람의 수정 내역이 발생하는 곳
- C9 평가 세트·회귀시험 — 재학습 결과의 재검증
변형
- 정확도 단발 보고: 테스트 세트 정확도 한 번만 보고하고 배포 후 지표가 없음
- 수정은 있으나 버려짐: 담당자가 결과를 고치지만 수정 내역이 저장·집계되지 않음
- 재학습 주체 부재: 재학습 필요성은 쓰지만 누가 언제 하는지가 없음
관련 부품
C4 대체 — 배포 후 수정률·오탐 집계 · C6 대체 — 주기·트리거로 재학습·기준 개정 · C1 원천 — 사람 수정 내역이 발생하는 곳 · C9 짝 — 재학습 결과의 재검증 · X15 이웃 안티패턴 — 실측 없이 빌린 성과
참고 자료
PAX AIM06 '지난 분기 지표 때문에 바뀐 규칙' · InfoQ Metrics-driven AI-Ops
X15 빌린 성과표 안티패턴
실증 고유의 실측치 없이 벤더 상용 서비스의 KPI를 준용해 성과로 보고하는 함정이다. 195건 태깅에서 별도 명명이 요청되어 v0.6에 추가됐다.
맥락
A2.6 벤더 내장 블랙박스 모델이나 상용 제품을 도입한 과제, 운영 기간이 짧아 운영 데이터가 적은 과제.
맞서는 힘(긴장)
- 공신력 있어 보이는 벤더 수치 vs 우리 업무 데이터에서의 실측
- 짧은 운영 기간 vs 자체 평가 세트 구축
- 성과 보고 부담 vs 정직한 '미측정' 기록
해법
기관 업무 데이터(A1)에서 정답을 뽑아 C9 자체 평가 세트를 만들고, 도입한 벤더 모델을 그 세트로 직접 잰다. 실증 기간 동안의 처리 건수·처리시간·수정률은 C4 지표로 적재해 실측치로 보고한다. 벤더 KPI를 인용할 때는 '참고(벤더 제시)'로 출처를 밝혀 실측치와 분리 표기한다. 벤더 블랙박스라 내부 평가가 어렵더라도 입력·출력 수준의 C9 평가는 가능하다.
이럴 때 쓴다
- 성과 수치의 출처가 벤더·상용 서비스 자료이고 실증 기간 측정이 없다
- 보고된 정확도가 어떤 데이터로 잰 것인지 서술되지 않는다
- 자체 평가 세트·실증 기간 지표가 없다
- 벤더 KPI와 실측치가 구분 표기되지 않는다
이럴 때는 쓰지 않는다
- 벤더 수치를 참고로 밝히고 실증 실측치를 따로 보고한 경우
- 자체 실측은 있으나 배포 후 환류가 없는 경우(그것은 X5)
- 시연 환경만 있는 경우(그것은 X6)
얻는 것
- 짧은 실증 기간에도 인상적인 수치를 보고한다
- 평가 세트 구축 비용이 없다
점검표
- 모든 성과 수치에 출처가 붙어 있는가
- 실증 기간에 기관 데이터로 잰 실측치가 있는가
- 자체 평가 세트가 있는가
- 벤더 KPI와 실측치가 분리 표기되어 있는가
구조 — 참여 부품
- C9 평가 세트·회귀시험 — 자체 업무 데이터로 만든 평가 세트
- C4 감사 로그·지표 — 운영 기간의 실측 지표
- A2.6 벤더 내장 블랙박스 모델 — KPI를 빌려 오게 되는 흔한 출처
- A1 데이터 자산 서비스 — 평가 세트의 정답 출처
변형
- 벤더 정확도 인용: 상용 모델·제품의 공개 정확도를 자체 성과로 기재
- 타 사례 효과 준용: 다른 기관·민간 도입 사례의 절감률을 그대로 인용
- 추정치 성과화: 벤더 단가·처리량으로 계산한 예상 효과를 실측처럼 보고
관련 부품
C9 대체 — 자체 업무 데이터 평가 세트 · C4 대체 — 실증 기간 실측 지표 · A2.6 흔한 출처 — 벤더 블랙박스 모델 · A1 선행 — 평가 세트의 정답 출처 · X5 이웃 안티패턴 — 성능표만 있는 학습
참고 자료
Fowler Evals · 카탈로그 §7.1 4단계(평가 세트를 먼저 만든다)
이 부품과 이어지는 가이드라인
X16 기준을 노출하는 위조 탐지 안티패턴
진위 판정 근거를 이용자 화면에 그대로 보여 줘 위조범이 탐지 기준을 역추적하게 만드는 함정이다. F9 근거 표시가 적대적 접점에서는 취약점이 된다.
맥락
D3 자격·심사, D2 접수·제출에서 제출 서류·이미지의 진위를 판정하는 B4 인식 파이프라인·B2 분류기. 이용자 중 일부가 탐지를 회피하려는 동기를 가진 경우.
맞서는 힘(긴장)
- 설명 가능성·투명성 vs 적대적 이용자의 기준 역추적
- 이용자 자기확인 편의 vs 판정 기준 보호
- 행정 절차상 사유 고지 vs 탐지 성능 유지
해법
F9 판정 근거·기여도 표시를 역할별로 나눈다. 이용자 화면에는 '정상/위조의심'만 노출하고, 의심 부위·사유 코드·기여도 같은 세부 근거는 관리자 화면에만 보여 준다(근거 은닉, anti-oracle — 카탈로그가 S 계층 후보로 둔 반대편 부품). 관리자 화면 접근은 C8 권한 경계로 제한하고, '위조의심' 건은 C1 검토 큐에서 담당자가 세부 근거를 보고 확정한다. 이용자에게는 F7 한계·신뢰도 안내로 추가 확인 절차를 알리고, 반복 제출·판정 이력은 C4·S10에 남겨 역추적 시도를 탐지할 근거로 삼는다.
이럴 때 쓴다
- 진위·위조 판정 결과와 함께 세부 근거(의심 부위·사유 코드·점수)가 제출자 화면에 표시된다
- 제출자가 근거를 보고 수정해 반복 재제출할 수 있다
- 이용자 중 탐지 회피 동기를 가진 적대자가 있을 수 있다
- 관리자와 이용자의 판정 화면이 같다
이럴 때는 쓰지 않는다
- 내부 담당자만 쓰는 판독 도구로 제출자에게 결과가 노출되지 않는 경우
- 이용자가 적대자가 아닌 접점(예: 내부 품질 점검, 자기 서류 오류 안내)에서 F9로 근거를 보여 주는 경우 — 이때 F9는 정상 부품이다
- 이용자에게 '정상/위조의심'만 보여 주고 세부 근거는 관리자 화면에 둔 경우
얻는 것
- 투명성·설명 가능성 요구를 쉽게 충족한다
- 선의의 이용자가 오류를 스스로 고칠 수 있다
점검표
- 제출자 화면에 세부 판정 근거가 노출되지 않는가
- 세부 근거가 관리자 화면에서만 보이고 접근이 제한되는가
- 위조의심 건을 사람이 확정하는가
- 반복 재제출 이력이 기록되는가
구조 — 참여 부품
- F9 판정 근거·기여도 표시 — 적대적 접점에서 역할별로 나눠야 할 설명
- 근거 은닉(anti-oracle, S 후보) — 이용자에게는 판정만, 세부 근거는 관리자에게만
- C1 검토 큐 — 위조의심 건을 담당자가 세부 근거로 확정
- C8 권한 경계 — 관리자 화면 접근 제한
변형
- 의심 부위 표시형: 이용자 화면에 BBox·히트맵으로 위조 의심 부위를 표시
- 사유 코드 노출형: 반려 사유 코드·점수를 이용자에게 그대로 반환
- 무제한 재제출형: 근거를 보고 고쳐 무제한 재제출할 수 있어 기준 탐색이 가능
관련 부품
F9 교정 대상 — 적대적 접점에서 관리자 화면 전용으로 · C8 끼울 자리 — 관리자 화면 접근 제한 · C1 짝 — 위조의심 건의 사람 확정 · F7 이용자 쪽 대응 — 판정만 알리고 다음 절차 안내 · D3 발생 접점 — 자격·심사
참고 자료
카탈로그 §6 F9 카드(적대적 D3에서는 관리자에게만 노출)
실무 도입 카드
필요한 것
실행환경: 설치 필요 · 라이선스: MIT
첫 3단계
① 설치 파일·요구 사양 확인 → ② 개인 환경에서 기능 검증 → ③ 부서 공유 전 관리자 권한 확인
주의사항
성과 수치는 출처가 확인된 것만 신뢰하세요
전이 절차(보안검토→품의→배포)는 전이 플레이북을 참고하세요.