농식품분야 특허 AI 기술분석 서비스

과거 데이터로 학습한 모델이나 비학습 최적화 알고리즘이 수치·등급·순위·이상점수를 내고, 사람이 이를 판단 자료로 쓴다(LLM이 아님).

PAX 사례 4건이 이 부품을 쓴다

맥락

시계열·속성 데이터가 축적된 기관의 예측·이상탐지·우선순위 선별·추천 업무에 쓴다. 유형 5a 분석 대시보드, ⑩ 위험 예측·표적 선별, ⑪ 추천·매칭에서 주 부품이 된다. PAX 자생 도구에는 드물다(557건 중 주 부품 B2는 4건).

맞서는 힘(긴장)

• 예측 성능 vs 설명 가능성(현장 수용)
• 희소·불균형 데이터 vs 순위 안정성
• 자동 반영의 효율 vs 잘못된 순위가 작업 지시를 바꿀 위험
• 도메인별 재학습 필요 vs 기관 간 재사용

해법

A1 데이터 자산에서 시간 누수를 막은 학습 데이터셋을 만들고, 자체 학습 모델(A2.5)이나 공간·조합 최적화 알고리즘으로 예측값·이상 점수·추천 순위를 낸다. 결과는 기여 요인(F9)과 한계 안내(F7)와 함께 사람에게 판단 자료로 제시한다. 등급을 자동으로 매기는 경우 규칙 게이트(B′9)가 임계값·산식으로 등급을 확정하고 사람이 최종 판단한다. 운영 중 실제 결과를 C4로 적재하고 C6 재학습 주기로 모델을 갱신하며, C9 평가 세트로 재학습 모델이 이전보다 나은지 확인한 뒤 배포한다.

이럴 때 쓴다

• 과거 데이터가 충분하고 수치·등급·순위가 사람 판단의 입력이 될 때
• 점검·단속 대상 선별처럼 한정된 인력을 우선순위로 배분해야 할 때
• 설명(F9)과 재학습(C6)을 운영할 수 있을 때

이럴 때는 쓰지 않는다

• 규칙 점수화로 충분히 순위가 정해질 때(B0 결정론 점수 엔진)
• 산출물이 문장·문서일 때(B1·B3)
• 학습 데이터나 실제 결과 회수 경로가 없어 재학습을 할 수 없을 때

얻는 것

• 한정된 인력의 우선순위 배분
• 폐쇄망 이식이 쉬움(비LLM)
• 재학습으로 도메인에 맞춰 개선 가능

점검표

• 시간 누수를 막은 독립 시험 세트가 있는가
• 예측 근거(기여 요인)가 담당자에게 보이는가
• 등급 산정 규칙이 모델과 분리되어 있는가
• 재학습 주기와 배포 전 비교 기준이 정해져 있는가

구조 — 참여 부품

• A1 데이터 자산 서비스 — 정제·라벨링된 학습 데이터와 기준선
• A2.5 비LLM 학습 모델 서빙 — XGBoost·LSTM 등 자체 학습 모델 구동
• F9 판정 근거·기여도 표시 — SHAP 요인·사유 코드를 담당자에게 제시
• C6 환류 파이프라인 — 실제 결과로 주기적 재학습
• 담당자 — 순위·등급을 판단 자료로 써서 조치를 결정

변형

• 수치 예측: 수요·건수·위험도 같은 연속값 예측
• 이상 탐지: Isolation Forest 등으로 이상 점수 산출
• 순위 선별·추천: 점검 대상·매칭 후보의 순위(유형 ⑩·⑪)
• 앙상블: 여러 모델 결합(computer.org ML 생애주기 패턴)
• 비학습 최적화 알고리즘: MCLP·ILP·GNN 등 공간·조합 최적화가 수치·순위를 낸다(R15로 정의를 넓힘)

관련 부품

F9 이용자 쪽 대응 — 판정 근거·기여도 표시는 B2의 필수 면 · C6 Native 관문 — 재학습 파이프라인 · C9 선행 — 누수 없는 평가 세트 · B′9 배선 — 확률을 규칙으로 등급 확정(유형 ⑩ 템플릿) · A2.5 끼울 자리 — 자체 학습 모델 서빙

참고 자료

computer.org 앙상블·지속 학습 · GoF Strategy

이 부품과 이어지는 가이드라인

• 공공부문 데이터 분석 업무 운영 가이드 NIA, 2025.12(게시 2025.12.29).
• AI 기반 신용평가모형 검증체계 금융위원회, 2023(보도 2023.4.17).
• 고영향 인공지능 판단 가이드라인 과학기술정보통신부, 2026.1.
• KS X ISO/IEC TS 4213 기계 학습 분류 성능에 대한 평가 국가기술표준원 고시 제2025-0413호, 발행 2025.10.30. ISO/IEC TS 4213:2022와 일치(IDT).

웹북에서 전체 프로필 보기 ↗ · 패턴 성좌 디렉터리에서 보기 ↗

XGBoost·LightGBM·YOLO·U-Net처럼 기관이 직접 학습한 비LLM 예측·비전 모델을 서빙하고 재학습·버전 롤백이 붙을 자리를 제공한다.

PAX 사례 15건이 이 부품을 쓴다

맥락

B2 예측·추천기, B5 현장 감지·경보, B4 비전 판독의 추론 엔진이 된다. 서비스 유형 5a·10에서는 필수이고(R7, R10 'A2.5 또는 결정론 점수 엔진'), 유형 3에서는 A5·A2.2와 함께 셋 중 하나를 고른다. 학습 기준선(A1)이 먼저 있어야 한다.

맞서는 힘(긴장)

• 모델 성능 vs 설명 가능성(F9)
• 배포 후 데이터 드리프트 vs 재학습 비용
• 모델 교체 속도 vs 이전 안정판으로의 복귀 보장

해법

학습한 모델을 서빙 계층에 버전과 함께 올려 업무 부품이 점수·등급·탐지 결과만 받게 한다. 서빙 계층은 모델 버전과 드리프트 지표를 함께 내보내 C4에 기록하고, 재학습 파이프라인(C6)이 새 버전을 올리는 자리와 이전 안정판으로 되돌리는 자리(모델 버전 롤백, C7 변형)를 둔다. 재학습 버전은 C9 독립 시험세트에서 이전 버전을 넘을 때만 배포한다. 판정 근거는 F9로 이용자에게 보인다.

이럴 때 쓴다

• 기관이 자체 데이터로 비LLM 모델을 학습해 운영할 때
• 유형 5a-brief가 아닌 분석·위험 예측(유형 10)·현장 감시(유형 3) 조립
• 재학습과 버전 롤백이 필요한 예측·탐지 서비스

이럴 때는 쓰지 않는다

• LLM을 튜닝했으면 A2.3
• 벤더 장비·솔루션에 내장돼 기관이 모델을 못 바꾸면 A2.6
• 학습 없는 규칙 점수 엔진이면 B0(R10 대안)

얻는 것

• 비LLM 과제가 A2 계층에 정식 자리를 가짐
• 재학습·버전 롤백으로 운영 개선
• C6·C7을 끼울 자리 확보

점검표

• 모델 버전과 학습 데이터 버전이 짝지어 기록되는가
• 독립 시험세트가 학습 데이터와 분리되어 있는가
• 이전 안정판으로 되돌릴 수 있는가
• 재학습 버전 배포 기준이 수치로 있는가

구조 — 참여 부품

• A1 데이터 자산 서비스 — 학습·재학습 기준선
• A2 서빙 계층 — 모델 버전별 노출과 롤백
• C6 환류 파이프라인 — 재학습 주기·트리거
• C9 평가 세트 — 재학습 버전 배포 게이트
• F9 판정 근거·기여도 표시 — SHAP·BBox 등 근거를 이용자에게 표시

변형

• 정형 예측기: XGBoost·LightGBM 등으로 위험 순위·등급·수요를 예측한다(B2와 짝).
• 비전 탐지·분할: YOLO·U-Net 등으로 영상·이미지를 탐지·분할한다(B5·B4와 짝).
• 경량 온디바이스 모델: 소형 자체 학습 모델을 전처리 앞단에 붙인다(A2.5+S13 조합, 40M 파라미터 PII 검출 모델).

참조 구현 예

• PAX dcba0f654467bdc9 — 40M 파라미터 소형 자체 학습 PII 모델(§13 A2.5+S13 조합)

관련 부품

B2 소비처 — 예측·추천기의 추론 엔진 · C6 짝 — 재학습 파이프라인이 붙는 자리 · C7 짝 — 이전 안정판 복귀(모델 버전 롤백) · F9 이용자 쪽 대응 — 판정 근거 표시 · B5 소비처 — 현장 감지의 탐지 모델

참고 자료

GoF Strategy · Microservice 패턴 Blue-Green

웹북에서 전체 프로필 보기 ↗ · 패턴 성좌 디렉터리에서 보기 ↗

공문·회의록·공람 문서에서 무엇을 언제까지 해야 하는지를 뽑아 카드·일정으로 만드는 내부 운영 블록이다. B1, B8 오버레이, B4가 전형 부품이다.

PAX 사례 24건이 이 부품을 쓴다

맥락

기관 내부 문서를 읽고 할 일·핵심을 뽑는 업무. §7.3 유형 ④ 내부 문서·기안 코파일럿(D8.3 초안 · D8.2 요약, P1)에 속한다. PAX 24건(주 부품 B1 38%, B3 21%).

맞서는 힘(긴장)

• 요약 속도 vs 누락·오독
• 표준 시스템 무수정 vs 연동 안정성(B8 오버레이는 정식 연동 시 소멸)
• 외부에서 온 공문·첨부(간접 인젝션) vs 자동 요약
• 등급 문서 요약의 외부 유출 vs 상용 모델 성능

해법

문서는 A10 어댑터로 첨부까지 읽고, B1이 요약·할 일·기한을 정형 카드로 뽑는다. 표준 시스템을 고칠 수 없으면 B8 레거시 오버레이(브라우저 사이드패널)로 화면 위에 붙인다. 문서가 PC·기관 밖으로 나가지 않아야 하면 A2 로컬 변형(A2.2)이나 A2.4 내부망 프록시를 쓴다. 외부에서 온 공문·첨부는 S3 컨텍스트 방화벽으로 지시가 섞이지 않게 하고, 요약에는 F1 원문 위치를 붙여 담당자가 C1로 확인한다. 기한 알림까지 보내면 D5와 함께 설계한다.

이럴 때 쓴다

• 공문·회의록을 읽고 할 일·기한을 손으로 옮길 때
• 표준 시스템을 고칠 수 없지만 요약을 붙이고 싶을 때
• 첨부까지 열어 봐야 핵심을 알 수 있을 때

이럴 때는 쓰지 않는다

• 요약을 넘어 보고서·공문 첫 판을 만들면 D8.3(우선순위가 더 높음)
• 문서를 담당자에게 배분하면 D8.6
• 문서를 찾는 것이 목적이면 D8.1

얻는 것

• 문서 읽기 시간 절감
• 기한 누락 방지
• 표준 시스템 무수정 도입

점검표

• 요약마다 원문 위치가 연결되는가
• 문서가 허용된 망 밖으로 나가지 않는가
• 외부 공문 속 지시가 요약·행동을 바꾸지 못하는가
• 요약 확인 절차가 서술되어 있는가

구조 — 참여 부품

• 담당자 — 요약 카드를 확인하고 할 일을 처리
• B8 레거시 오버레이 — 표준 시스템 화면 위 사이드패널
• A10 문서 형식 어댑터 — HWPX·PDF 첨부를 읽음
• B1 직접 프롬프트 코파일럿 — 요약·할 일·기한 추출
• A2 모델 서빙 계층 — 로컬·내부망 프록시 모델 제공
• C1 검토 큐 — 요약 확인 절차

변형

• 사이드패널 오버레이형: 표준 시스템 화면 위 브라우저 사이드바(B8, 온나라 sAIde).
• 문서 리소스 추출형: 문서에서 항목·자원을 정형으로 뽑음(B4).
• 할 일 카드형: 공문 → 할 일 카드(D-day). 알림을 보내면 D5와 함께.

참조 구현 예

• 온나라 sAIde — §9 조립 예시: B8 → A2 로컬 Ollama → A10 첨부 파싱 → 공문 요약 카드
• 범정부 내부망 AI 브라우저 사이드바 어시스턴트 — 카탈로그 D8.2 카드 예
• 문서 리소스 추출기 — 카탈로그 D8.2 카드 예(공공 AX 로컬 시리즈 5)

관련 부품

B8 전형 부품 — 레거시 오버레이 · D8.3 이웃 블록 — 같은 유형 ④ · D5 후속 블록 — 기한 알림 · S3 필수 보안 — 외부 공문 방화벽

참고 자료

카탈로그 §7.3 유형 ④ · 카탈로그 §7.4 유형 ④ 위협 모델 · 카탈로그 §6 B8 카드

이 부품과 이어지는 가이드라인

• 공공부문 AI 도입·활용 사례집 NIA, 2025.12(게시 2025.12.29).

웹북에서 전체 프로필 보기 ↗ · 패턴 성좌 디렉터리에서 보기 ↗

흩어진 업무 기록을 정제·라벨링해 AI 부품이 붙여 쓸 수 있는 데이터셋·라벨·데이터 사전 형태의 기준선으로 제공한다.

PAX 사례 110건이 이 부품을 쓴다

맥락

학습 모델(A2.5·B2), 지식 접지(B3)의 코퍼스, 평가 세트(C9)의 정답 출처가 필요한 과제라면 모두 이 부품을 쓴다. 서비스 유형 5a·9·10·11에서는 필수 기반이다. 비LLM 규칙 기반 대민 안내에서는 A2를 거치지 않고 결정론 조회의 대상이 된다(R21).

맞서는 힘(긴장)

• 정제 품질 vs 구축 기간·라벨링 인력 비용
• 과제 전용 가공(빠름) vs 기관 공통 기준선(재사용)
• 데이터 활용 범위 vs 데이터 등급(E5) 보호
• 기준선 고정(재현성) vs 원천 갱신 반영

해법

원천 기록을 수집→정제(중복·결측 처리)→라벨링→정의 문서화 순으로 가공하고, 결과를 정제 데이터셋·라벨·데이터 사전의 세 산출물로 고정해 제공한다. 'N건→M건 정제'처럼 정제 전후 규모와 기준을 기록하고, 변수·테이블·인터페이스 정의서로 소비 부품이 같은 정의를 쓰게 한다. 기준선은 버전으로 관리해 C9 평가 세트의 정답 출처와 C6 재학습의 입력으로 재사용한다. 데이터 경계는 부품별로 두고(DB per Service), 타 기관 데이터와의 결합은 A4로 분리한다.

이럴 때 쓴다

• 예측·추천기(B2)나 비전 모델(A2.5)을 학습·재학습할 때
• 지식 접지(B3)의 코퍼스를 구축할 때
• 평가 세트(C9)의 정답 출처가 필요할 때
• 서비스 유형 5a-agg·9·10·11처럼 A1이 필수인 조립

이럴 때는 쓰지 않는다

• 공공 API 응답을 가공 없이 조회만 할 때(A3)
• 정제·정의 없이 파일을 올려 바로 검색하는 경우(태그 대상 아님)
• 타 기관 데이터 결합이 핵심일 때는 A4를 함께 태그해 계약·키 매핑을 따로 드러낸다

얻는 것

• 모델 교체와 무관하게 남는 기관 자산
• C9·C6·B3가 같은 기준선을 재사용
• 데이터 사전이 기관 간 표준 확산의 단위가 됨

점검표

• 정제 전후 규모와 정제 기준이 기록되어 있는가
• 데이터 사전(정의·단위·출처)이 있는가
• 기준선에 버전이 있고 평가용 분할이 학습용과 분리되어 있는가
• 데이터 등급(E5)에 맞는 가명·비식별 처리가 적용되었는가

구조 — 참여 부품

• 원천 시스템·기록 — 가공 전 업무 기록을 내주는 출처
• 정제·라벨링 파이프라인 — 중복 제거·결측 처리·라벨 부여·품질관리를 수행
• 데이터 사전 — 정의·단위·출처를 문서로 고정해 소비 부품이 같은 뜻으로 쓰게 함
• C9 평가 세트·회귀시험 — 기준선을 정답 출처로 사용
• A2.5 비LLM 학습 모델 — 기준선으로 학습·재학습하는 소비 부품

변형

• 학습데이터 구축형: 영상·이미지 등을 수집해 품질관리 단계(중복 제거·재라벨링·학습/검증/평가 분리)를 거쳐 학습 기준선으로 만든다.
• RAG 코퍼스 정본화형: 법령·규정 원문을 현행 시행본 기준으로 정본화하고 조문 구조·메타데이터를 부여해 색인한다.
• 지표 표준화형: 여러 자료원의 지표를 도메인별로 표준화하고 정의·단위·분모·결측·원본 링크를 메타데이터로 관리한다.
• 자동 피처 파이프라인형: 수집→정제→파생 변수 생성→자동 검증→담당자 승인을 주기 실행하고 승인만 사람에게 남긴다.

관련 부품

C9 소비처 — 기준선이 평가 세트의 정답 출처 · A4 짝 — 자기 기관 정제(A1)와 타 기관 결합(A4) · B3 소비처 — 지식 접지의 코퍼스 · C6 선행 — 재학습 입력이 되는 기준선 · A2.5 소비처 — 자체 학습 모델의 학습 데이터

참고 자료

computer.org 데이터 증강 · Heiland 데이터 계층 · Microservice 패턴 DB per Service · GoF Builder

이 부품과 이어지는 가이드라인

• 공공부문 데이터 분석 업무 운영 가이드 NIA, 2025.12(게시 2025.12.29).
• 공공데이터의 인공지능 친화적 관리 가이드라인 행정안전부·NIA, 2026. v1.1 개정 공지(2026.8.4).
• 공개된 개인정보 처리 안내서 개인정보보호위원회, 2024.7(게시 2024.7.19).
• 합성데이터 생성·활용 안내서 개인정보보호위원회, 2024.12(자료실 게시 2025.1.3).
• 가명정보 처리 가이드라인 개인정보보호위원회, 2026.3 개정(게시 2026.3.31).
• 생성형 인공지능의 저작물 학습에 대한 저작권법상 공정이용 안내서 문화체육관광부·한국저작권위원회, 2026.2.26 발간. 4종 모음 게시물에 수록.
• 제조AI 2030 전략 산업통상부, 2026.6(2026.6.29 공개). 현행.
• KS X ISO/IEC 23053 기계 학습(ML)을 사용하는 인공지능(AI) 시스템 프레임워크 국가기술표준원 고시 제2025-0413호, 발행 2025.10.30. ISO/IEC 23053:2022와 일치(IDT).

웹북에서 전체 프로필 보기 ↗ · 패턴 성좌 디렉터리에서 보기 ↗

배포 전에 업무 맥락의 질문·정답·채점 기준을 세트로 만들어, 프롬프트·모델·설정의 모든 변경을 같은 자로 재고 회귀를 잡는다.

PAX 사례 15건이 이 부품을 쓴다

맥락

모델·프롬프트·검색 설정이 바뀌는 모든 AI 부품. 특히 B3 지식 접지(검색 품질은 평가 없이 개선 불가), E2 상용 API(예고 없는 모델 업데이트), 유형 ①④⑤a⑦⑩⑫.

맞서는 힘(긴장)

• 평가 세트 구축 비용 vs 변경의 안전
• 사람 라벨의 정확성 vs LLM 심판의 규모
• 세트 고정(비교 가능성) vs 업무 변화 반영(세트 갱신)

해법

RAG를 붙이거나 모델을 고르기 전에 업무 질문·정답·채점 기준(사람 라벨 + LLM 심판)을 세트로 만든다. 프롬프트·모델·설정 조합을 릴리스처럼 버전 관리하고, 모든 변경마다 같은 세트로 재평가해 점수표와 회귀 실패 목록을 남긴다. 기준을 넘지 못하면 배포하지 않는 게이트를 둔다. 학습 데이터와 평가 세트는 누수 없이 분리한다.

이럴 때 쓴다

• RAG·튜닝을 붙이기 전(§7.1 4단계, §7.2 진행 경로 2단계)
• E2 상용 API로 모델 업데이트가 예고 없이 올 때(필수)
• 폐쇄망 로컬 모델의 교체 시점
• C6 환류·C7 모델 교체를 하려 할 때(선행 조건)

이럴 때는 쓰지 않는다

• B0 결정적 도구처럼 비결정적 출력이 없을 때
• 유형 5a 중 순수 시각화(R10: 면제)

얻는 것

• 변경의 효과와 회귀를 숫자로 확인
• 모델 교체·재학습의 안전
• 모델 선정 근거 확보

점검표

• 업무 질문·정답·채점 기준 세트가 있는가
• 프롬프트·모델·설정이 버전 관리되는가
• 변경마다 재평가한 기록이 있는가
• 기준 미달 시 배포를 막는 절차가 있는가

구조 — 참여 부품

• A1 데이터 자산 서비스 — 정답의 출처
• A2 모델 서빙 계층 — 평가 대상 모델의 버전 고정
• 채점기 — 사람 라벨과 LLM 심판으로 점수 산출
• 배포 게이트 — 기준 미달 변경의 배포 차단
• C4 감사 로그·지표 — 운영 지표와 평가 점수 대조

변형

• 모델 선정 블라인드 비교: 여러 모델을 동일 조건·평가 의도 은닉으로 채점해 운영 모델 선별
• 배포 전 회귀검증 게이트: 응답 로직 변경 시 기준 질의의 기대응답 대조를 통과해야 배포
• 재학습 모델 비교 게이트: 재학습 시 이전 버전 대비 성능을 비교해 기준 상회 모델만 배포
• 공인시험 기반 검증 세트: 검출 기준을 명시한 검증 세트와 공인시험

참조 구현 예

• PAX MOPAN — 기각한 시도 15건의 실패 기전을 기술 보고서로 남김

관련 부품

C6 후속 — 환류의 재검증 단계 · C7 후속 — 모델 교체(Blue-Green) 전 회귀시험 · B3 끼울 자리 — 검색 품질 개선의 전제 · A1 의존 — 정답 출처 · A2 의존 — 모델 버전 고정

참고 자료

Fowler Evals · InfoQ AI-Ops · Prompt-Model-Config Versioning · Gulli ch.19 Evaluation & Monitoring

이 부품과 이어지는 가이드라인

• 공공부문 AI 도입·활용 가이드 행정안전부·NIA, 2026.6. 현행 핵심.
• 인공지능 위험 사례집 국가정보원, 2025.11(게시 2025.11.20).
• 금융분야 AI 위험관리프레임워크 금융감독원, 2026.6.
• AI 기반 신용평가모형 검증체계 금융위원회, 2023(보도 2023.4.17).
• 합성데이터 생성·활용 안내서 개인정보보호위원회, 2024.12(자료실 게시 2025.1.3).
• 인공지능 영향평가 가이드라인 과학기술정보통신부, 2026.1.
• 신뢰할 수 있는 인공지능 개발 안내서 과학기술정보통신부·TTA, 일반 2023·2024년판, 분야별 2023~2024.
• 인공지능(AI) 표준화 전략 로드맵 산업통상자원부 국가기술표준원, 2024.8(2024.8.28 제2차 AI산업정책위원회에서 발표).
• KS X ISO/IEC 42001 인공지능 경영시스템 국가기술표준원 고시 제2025-0413호, 발행 2025.10.30(한국표준협회). ISO/IEC 42001:2023과 일치(IDT).
• KS X ISO/IEC 23894 인공지능 리스크관리 지침 국가기술표준원 고시 제2025-0413호, 발행 2025.10.30. ISO/IEC 23894:2023과 일치(IDT).
• KS X ISO/IEC TS 4213 기계 학습 분류 성능에 대한 평가 국가기술표준원 고시 제2025-0413호, 발행 2025.10.30. ISO/IEC TS 4213:2022와 일치(IDT).
• KS X ISO/IEC 22989 인공지능 개념 및 용어, KS X ISO/IEC TR 24028 인공지능의 신뢰성 개요 국가기술표준원 고시 제2023-0612호, 두 표준 모두 발행 2023.12.14. 각각 ISO/IEC 22989:2022, ISO/IEC TR 24028:2020과 일치(IDT).

웹북에서 전체 프로필 보기 ↗ · 패턴 성좌 디렉터리에서 보기 ↗

사용 결과(수정·이의·오탐 기록)가 정해진 주기와 트리거로 재학습·기준 개정에 되돌아오게 해, 배포 후에도 성능과 기준이 개선되게 한다.

PAX 사례 3건이 이 부품을 쓴다

맥락

C4가 수정·이의·오탐을 기록하고 있는 B2 예측기, B4 인식 파이프라인, B5 감지·경보, 추천형 B1. 유형 ③ 현장 감시, ⑤a 분석, ⑩ 위험 예측, ⑪ 추천·매칭.

맞서는 힘(긴장)

• 개선 속도 vs 검증 비용(재학습마다 C9 재검증)
• 현장 피드백 반영 vs 피드백 오염·편향
• 자동 반영 vs 반영 범위 상한

해법

C4의 수정·이의·오탐 기록을 입력으로, 재학습 또는 기준 개정의 주기(예: 6개월)와 트리거(예: 일치율 임계 미만)를 수치로 정한다. 개정 전에는 C9 평가 세트로 재검증해 기준을 넘는 경우에만 배포하고, 개정 이력을 남긴다. 반영 범위에 상한을 두고 평가 기간에는 루프를 동결하는 조건도 정한다. 이용자 쪽에서는 F10 피드백이 입력이 된다.

이럴 때 쓴다

• C4에 수정·오탐 기록이 쌓이는 학습 모델 기반 부품
• 데이터 분포가 시간에 따라 바뀌는 감지·예측 업무
• 유형 ③⑤a⑩⑪처럼 C6가 필수인 유형

이럴 때는 쓰지 않는다

• B0 결정적 도구처럼 학습·개정할 모델·기준이 없을 때
• C4 기록과 C9 평가 세트가 없어 반영 결과를 검증할 수 없을 때(먼저 C4·C9)

얻는 것

• 배포 후 성능 개선
• 현장 기준 변화 반영
• Native 단계 진입 근거

점검표

• 주기·트리거가 수치로 정해져 있는가
• 환류 입력 데이터가 C4에서 나오는가
• 개정 전 재검증 절차가 있는가
• 실증 기간에 완결된 사이클이 1회 이상 기록되었는가

구조 — 참여 부품

• C4 감사 로그·지표 — 수정·이의·오탐 기록 제공
• 환류 규칙 — 주기·트리거·표본·임계값·반영 상한
• C9 평가 세트·회귀시험 — 재학습·개정 결과의 재검증
• F10 이용자 자기확인·피드백 — 이용자 쪽 피드백 입력

변형

• 주기 재학습: 정해진 주기로 수정 데이터를 모아 모델 재학습
• 전문가 판정 적재 플라이휠: 전문가 검수 결과를 Ground Truth DB로 적재해 재학습에 환류
• 프롬프트·기준 개정: 재학습 없이 피드백을 프롬프트·기준에 상한을 두고 반영
• 표본 대조 재조정: 주기적으로 표본을 전문가 판단과 대조해 일치율 미달 시 재조정

관련 부품

C4 입력 — 수정·이의·오탐 기록 · C9 재검증 단계 — C6의 재검증이 곧 C9 · F10 이용자 쪽 입력 — 자기확인·피드백 · C1 원천 — 검토 수정 내역 · A1 기록처 — 재학습 데이터셋

참고 자료

computer.org 지속 학습 · Gulli ch.9 Learning & Adaptation · Observer · State · PAX AIM06

이 부품과 이어지는 가이드라인

• 제조AI 2030 전략 산업통상부, 2026.6(2026.6.29 공개). 현행.

웹북에서 전체 프로필 보기 ↗ · 패턴 성좌 디렉터리에서 보기 ↗

SHAP 요인 문장, 의심 부위 BBox, 판정 사유 코드, 자연어 판독 이유, 예측-실제 잔차로 모델이 왜 그렇게 판정했는지 보인다. B2·B4·B5의 필수 면이다.

PAX 사례 23건이 이 부품을 쓴다

맥락

B2 예측·추천기, B4 인식 파이프라인, B5 감지·경보. 유형 ③ 현장 감시, 5a 분석, ⑩ 위험 예측, ⑪ 추천·매칭(추천 사유). v0.6에서 추가.

맞서는 힘(긴장)

• 설명의 충실성 vs 이해 가능성
• 근거 공개 vs 적대적 이용자에게 탐지 기준 노출(X16)

해법

판정마다 기여 요인(SHAP)·의심 부위(BBox)·사유 코드·자연어 근거를 결과와 함께 보인다. 담당자가 근거를 열어 확인하고 최종 판단하게 한다. 위조 탐지처럼 적대적 이용자가 있는 D3 접점에서는 이용자에게 '정상/위조의심'만 보이고 세부 근거는 관리자 화면에만 둔다(근거 은닉).

이럴 때 쓴다

• B2·B4·B5의 판정 결과를 사람이 검토할 때
• 유형 ③⑤a⑩⑪처럼 F9가 필수인 유형

이럴 때는 쓰지 않는다

• 위조 탐지 등 적대적 이용자에게 근거를 그대로 보이는 경우(X16 — 관리자 전용으로)
• 문서 출처만 보이면 되는 지식 접지 응답(F1)

얻는 것

• 담당자가 판정을 검토할 근거
• 오판 원인 파악
• 추천·선별 결과의 설명 책임

점검표

• 판정마다 근거가 보이는가
• 적대적 접점에서 근거가 관리자에게만 노출되는가
• 최종 판단 주체가 명시되는가

구조 — 참여 부품

• A2.5 비LLM 학습 모델 서빙 — 판정과 기여도 산출
• 근거 표시 화면 — 요인·BBox·사유 코드 제시
• 담당자 — 근거를 보고 최종 판단

변형

• 요인 기여도: SHAP 등 요인 문장
• 위치 표시: 의심 부위 BBox
• 사유 코드·자연어 근거: 판정 사유 코드와 판독 이유 문장
• 관리자 전용 근거(근거 은닉): 적대적 접점에서 세부 근거를 관리자에게만 노출

참조 구현 예

• PAX 3b195a5faf820769 — 정비 대상 판정의 근거를 따로 열어 확인하게 하고 오류 가능성을 화면에 명시한 F9+F7 표준형
• PAX 8c461c4901e30775 — 실험마다 의도·판정 근거·실제 프롬프트를 함께 공개

관련 부품

F1 구분 — 문서 출처 · F7 짝 — F9+F7 표준형 · B2 끼울 자리 — 예측·추천기의 필수 면 · B′9 짝 — 판정 게이트의 근거 출력 · X16 안티패턴 — 적대적 접점의 근거 노출

참고 자료

카탈로그 v0.6 개정 F9 · aiuxpatterns Results

이 부품과 이어지는 가이드라인

• 공공부문 데이터 분석 업무 운영 가이드 NIA, 2025.12(게시 2025.12.29).
• 금융분야 인공지능 가이드라인 금융위원회, 2026.6.22 시행(보도 2026.6.18).
• AI 기반 신용평가모형 검증체계 금융위원회, 2023(보도 2023.4.17).
• 자동화된 결정에 대한 정보주체 권리 안내서 개인정보보호위원회, 2024.9. 공식 게시물 미확인(2024.9 보도로 확인).
• 고영향 인공지능 사업자 책무 가이드라인 과학기술정보통신부, 2026.1.
• 인공지능 개발과 활용에 관한 인권 가이드라인 국가인권위원회, 2022(2022.4.11 전원위원회 의결). 공식 게시물 미확인(2022.4.17 보도로 확인).
• KS X 8001 인공지능 윤리에 대한 이해관계자 공통 영향 요소 및 유스케이스 수집 템플릿 국가기술표준원 고시 제2023-0128호, 발행 2023.6.13. 국내 고유 표준.

웹북에서 전체 프로필 보기 ↗ · 패턴 성좌 디렉터리에서 보기 ↗

AI가 무엇을 못 하는지, 얼마나 확신하는지, 공식 판단이 아님을 이용자가 볼 수 있는 곳에 적어 과신을 막는다.

PAX 사례 63건이 이 부품을 쓴다

맥락

대민 상담·안내(유형 ①), 대조·점검(⑦), 분석·예측(5a·⑩), 비식별 도구(⑬). 대체 경로로 운영 중인 C7 상황.

맞서는 힘(긴장)

• 정직한 한계 고지 vs 서비스 신뢰도 하락 우려
• 신뢰도 수치 표시의 정확성 vs 이용자 이해

해법

화면에 사용 한계(대상 범위·미검증 항목·처리 시간), 신뢰도, '공식 판단 아님' 고지를 결과 옆에 배치한다. 저신뢰 결과는 표시를 달리하고, C7 대체 경로로 운영 중이면 품질 저하를 알린다. 고지 문구는 법률 자문·유권해석을 대체하지 않는다는 점을 분명히 적는다.

이럴 때 쓴다

• 대민 서비스 D1~D7(F1·F2·F7 최소 요건)
• 유형 ①⑦5a⑩⑬처럼 F7이 필수인 유형
• C7 대체 경로 운영 중

이럴 때는 쓰지 않는다

• 유형 ①·⑦에서 model_dependency가 없음(비LLM)이면 필수에서 면제(R7). 단 비LLM 도구도 한계 고지는 권장된다

얻는 것

• 과신·오인 방지
• 기관 책임 범위 명확화

점검표

• 이용자가 '공식 판단이 아님'을 결과 화면에서 읽을 수 있는가
• 사용 한계가 명시되어 있는가
• 저신뢰 결과가 구분 표시되는가

구조 — 참여 부품

• 고지 문구 — 사용 한계·공식 판단 아님
• 신뢰도 표시 — 결과별 확신 수준
• C7 폴백 스위치 — 대체 경로 운영 여부 제공

변형

• 공식 판단 아님 고지: '유권해석 아님'·'참고용' 고지
• 신뢰도 표시: 결과별 신뢰도·등급 표시
• 미검증 항목 열거: 검증되지 않은 조건·처리 시간을 명시

참조 구현 예

• 소방기술민원 답변생성기 — '유권해석 아님' 고지
• PAX 9998aba2d1f55c24 — 비공식 참고 도구·공식 판단 아님 고지와 원문 연계를 함께 갖춘 자가점검 UI
• PAX 759835514b4b7ca4 — README가 미검증 항목을 열거하고 '최종 판단은 항상 사람' 고지
• PAX 6c0fa4c0c3508ff0 — 처리 시간과 라이선스 동의 절차를 정직하게 고지한 온디바이스 비전 도구
• PAX aef95509b7611c96 — 비LLM 스크리닝 도구가 실제 검토를 대체하지 않음을 화면에 명시
• PAX 0a2535cadf2d621a — 법률 자문·안전 인증을 대체하지 않는다는 한계 고지

관련 부품

C7 시스템 쪽 대응 — 대체 경로 운영 중 안내 · F1 짝 — 이용자 신뢰의 실체 · F9 짝 — 판정 근거와 함께 표시(F9+F7 표준형) · C5 짝 — 근거 없을 때의 동작

참고 자료

InfoQ Contextual Guidance · aiuxpatterns Inline Help

이 부품과 이어지는 가이드라인

• 공공기관 신뢰가능 AI 구현 실용가이드 NIA, 2019(게시 2019.12.30).
• 인공지능 투명성 확보 가이드라인 과학기술정보통신부, 2026.1.
• 신뢰할 수 있는 인공지능 개발 안내서 과학기술정보통신부·TTA, 일반 2023·2024년판, 분야별 2023~2024.
• KS X ISO/IEC TS 4213 기계 학습 분류 성능에 대한 평가 국가기술표준원 고시 제2025-0413호, 발행 2025.10.30. ISO/IEC TS 4213:2022와 일치(IDT).
• KS X ISO/IEC 22989 인공지능 개념 및 용어, KS X ISO/IEC TR 24028 인공지능의 신뢰성 개요 국가기술표준원 고시 제2023-0612호, 두 표준 모두 발행 2023.12.14. 각각 ISO/IEC 22989:2022, ISO/IEC TR 24028:2020과 일치(IDT).

웹북에서 전체 프로필 보기 ↗ · 패턴 성좌 디렉터리에서 보기 ↗

학습 모델의 정확도는 보고하지만 배포 후 수정률을 누가 집계해 무엇을 바꾸는지가 없어, 개선이 배포 시점에 멈추는 함정이다.

맥락

B2 예측·추천, B4 인식 파이프라인, B5 감지·경보처럼 자체 학습 모델(A2.3·A2.5)을 가진 과제. 사람이 AI 산출물을 고치는 C1이 있는데도 그 수정이 모이지 않는 과제.

맞서는 힘(긴장)

• 계약 종료 시점의 성능 증명 vs 배포 후 지속 개선
• 운영 기록 비용 vs 재학습·기준 개정의 근거
• 과제 성과 지표 vs 현장 수정률

해법

배포 후 사람이 고친 기록을 C4 감사 로그·지표로 모아 수정률·오탐·이의를 숫자로 말하게 한다. C1 검토 큐의 수정 내역을 C4·C6의 입력으로 연결하고, C6 환류 파이프라인에 재학습·기준 개정의 주기와 트리거(예: 수정률 임계)를 정한다. 재학습한 모델은 C9 평가 세트로 재검증한 뒤 교체한다. 판정 질문은 '지난 분기 지표 때문에 바뀐 규칙이 하나라도 있는가'다.

이럴 때 쓴다

• 정확도·F1 같은 성능 수치는 있으나 배포 후 수정률·오탐률 지표가 없다
• C1 검토가 있는데 수정 내역을 어디에 저장·집계하는지 서술이 없다
• 재학습의 주기·트리거·담당 주체가 없다
• '지속적으로 고도화'만 있고 구체 사이클이 없다

이럴 때는 쓰지 않는다

• 학습 모델이 없는 B0·규칙 기반 도구
• C6 환류가 주기·트리거와 함께 한 번 이상 실행된 경우
• 상용 API만 쓰고 자체 학습이 없어 재학습 대신 C9 재평가·프롬프트 개정으로 환류하는 경우(그 환류가 있으면 정상)

얻는 것

• 계약 종료 시점에 성능을 명확히 증명한다
• 운영 기록·재학습 비용이 들지 않는다

점검표

• 배포 후 수정률을 월 단위로 말할 수 있는가
• 재학습·기준 개정의 주기·트리거·담당자가 정해져 있는가
• 재학습 결과가 C9로 재검증되는가
• 지난 분기 지표 때문에 바뀐 규칙이 하나라도 있는가

구조 — 참여 부품

• C4 감사 로그·지표 — 수정률·오탐을 집계하는 빠진 부품
• C6 환류 파이프라인 — 주기·트리거로 재학습·기준 개정
• C1 검토 큐 — 사람의 수정 내역이 발생하는 곳
• C9 평가 세트·회귀시험 — 재학습 결과의 재검증

변형

• 정확도 단발 보고: 테스트 세트 정확도 한 번만 보고하고 배포 후 지표가 없음
• 수정은 있으나 버려짐: 담당자가 결과를 고치지만 수정 내역이 저장·집계되지 않음
• 재학습 주체 부재: 재학습 필요성은 쓰지만 누가 언제 하는지가 없음

관련 부품

C4 대체 — 배포 후 수정률·오탐 집계 · C6 대체 — 주기·트리거로 재학습·기준 개정 · C1 원천 — 사람 수정 내역이 발생하는 곳 · C9 짝 — 재학습 결과의 재검증 · X15 이웃 안티패턴 — 실측 없이 빌린 성과

참고 자료

PAX AIM06 '지난 분기 지표 때문에 바뀐 규칙' · InfoQ Metrics-driven AI-Ops

웹북에서 전체 프로필 보기 ↗ · 패턴 성좌 디렉터리에서 보기 ↗

실증 고유의 실측치 없이 벤더 상용 서비스의 KPI를 준용해 성과로 보고하는 함정이다. 195건 태깅에서 별도 명명이 요청되어 v0.6에 추가됐다.

맥락

A2.6 벤더 내장 블랙박스 모델이나 상용 제품을 도입한 과제, 운영 기간이 짧아 운영 데이터가 적은 과제.

맞서는 힘(긴장)

• 공신력 있어 보이는 벤더 수치 vs 우리 업무 데이터에서의 실측
• 짧은 운영 기간 vs 자체 평가 세트 구축
• 성과 보고 부담 vs 정직한 '미측정' 기록

해법

기관 업무 데이터(A1)에서 정답을 뽑아 C9 자체 평가 세트를 만들고, 도입한 벤더 모델을 그 세트로 직접 잰다. 실증 기간 동안의 처리 건수·처리시간·수정률은 C4 지표로 적재해 실측치로 보고한다. 벤더 KPI를 인용할 때는 '참고(벤더 제시)'로 출처를 밝혀 실측치와 분리 표기한다. 벤더 블랙박스라 내부 평가가 어렵더라도 입력·출력 수준의 C9 평가는 가능하다.

이럴 때 쓴다

• 성과 수치의 출처가 벤더·상용 서비스 자료이고 실증 기간 측정이 없다
• 보고된 정확도가 어떤 데이터로 잰 것인지 서술되지 않는다
• 자체 평가 세트·실증 기간 지표가 없다
• 벤더 KPI와 실측치가 구분 표기되지 않는다

이럴 때는 쓰지 않는다

• 벤더 수치를 참고로 밝히고 실증 실측치를 따로 보고한 경우
• 자체 실측은 있으나 배포 후 환류가 없는 경우(그것은 X5)
• 시연 환경만 있는 경우(그것은 X6)

얻는 것

• 짧은 실증 기간에도 인상적인 수치를 보고한다
• 평가 세트 구축 비용이 없다

점검표

• 모든 성과 수치에 출처가 붙어 있는가
• 실증 기간에 기관 데이터로 잰 실측치가 있는가
• 자체 평가 세트가 있는가
• 벤더 KPI와 실측치가 분리 표기되어 있는가

구조 — 참여 부품

• C9 평가 세트·회귀시험 — 자체 업무 데이터로 만든 평가 세트
• C4 감사 로그·지표 — 운영 기간의 실측 지표
• A2.6 벤더 내장 블랙박스 모델 — KPI를 빌려 오게 되는 흔한 출처
• A1 데이터 자산 서비스 — 평가 세트의 정답 출처

변형

• 벤더 정확도 인용: 상용 모델·제품의 공개 정확도를 자체 성과로 기재
• 타 사례 효과 준용: 다른 기관·민간 도입 사례의 절감률을 그대로 인용
• 추정치 성과화: 벤더 단가·처리량으로 계산한 예상 효과를 실측처럼 보고

관련 부품

C9 대체 — 자체 업무 데이터 평가 세트 · C4 대체 — 실증 기간 실측 지표 · A2.6 흔한 출처 — 벤더 블랙박스 모델 · A1 선행 — 평가 세트의 정답 출처 · X5 이웃 안티패턴 — 성능표만 있는 학습

참고 자료

Fowler Evals · 카탈로그 §7.1 4단계(평가 세트를 먼저 만든다)

이 부품과 이어지는 가이드라인

• 공공부문 초거대 AI 도입·활용 가이드라인 2.0 2025.4. 배포처 미확인.

웹북에서 전체 프로필 보기 ↗ · 패턴 성좌 디렉터리에서 보기 ↗

진위 판정 근거를 이용자 화면에 그대로 보여 줘 위조범이 탐지 기준을 역추적하게 만드는 함정이다. F9 근거 표시가 적대적 접점에서는 취약점이 된다.

맥락

D3 자격·심사, D2 접수·제출에서 제출 서류·이미지의 진위를 판정하는 B4 인식 파이프라인·B2 분류기. 이용자 중 일부가 탐지를 회피하려는 동기를 가진 경우.

맞서는 힘(긴장)

• 설명 가능성·투명성 vs 적대적 이용자의 기준 역추적
• 이용자 자기확인 편의 vs 판정 기준 보호
• 행정 절차상 사유 고지 vs 탐지 성능 유지

해법

F9 판정 근거·기여도 표시를 역할별로 나눈다. 이용자 화면에는 '정상/위조의심'만 노출하고, 의심 부위·사유 코드·기여도 같은 세부 근거는 관리자 화면에만 보여 준다(근거 은닉, anti-oracle — 카탈로그가 S 계층 후보로 둔 반대편 부품). 관리자 화면 접근은 C8 권한 경계로 제한하고, '위조의심' 건은 C1 검토 큐에서 담당자가 세부 근거를 보고 확정한다. 이용자에게는 F7 한계·신뢰도 안내로 추가 확인 절차를 알리고, 반복 제출·판정 이력은 C4·S10에 남겨 역추적 시도를 탐지할 근거로 삼는다.

이럴 때 쓴다

• 진위·위조 판정 결과와 함께 세부 근거(의심 부위·사유 코드·점수)가 제출자 화면에 표시된다
• 제출자가 근거를 보고 수정해 반복 재제출할 수 있다
• 이용자 중 탐지 회피 동기를 가진 적대자가 있을 수 있다
• 관리자와 이용자의 판정 화면이 같다

이럴 때는 쓰지 않는다

• 내부 담당자만 쓰는 판독 도구로 제출자에게 결과가 노출되지 않는 경우
• 이용자가 적대자가 아닌 접점(예: 내부 품질 점검, 자기 서류 오류 안내)에서 F9로 근거를 보여 주는 경우 — 이때 F9는 정상 부품이다
• 이용자에게 '정상/위조의심'만 보여 주고 세부 근거는 관리자 화면에 둔 경우

얻는 것

• 투명성·설명 가능성 요구를 쉽게 충족한다
• 선의의 이용자가 오류를 스스로 고칠 수 있다

점검표

• 제출자 화면에 세부 판정 근거가 노출되지 않는가
• 세부 근거가 관리자 화면에서만 보이고 접근이 제한되는가
• 위조의심 건을 사람이 확정하는가
• 반복 재제출 이력이 기록되는가

구조 — 참여 부품

• F9 판정 근거·기여도 표시 — 적대적 접점에서 역할별로 나눠야 할 설명
• 근거 은닉(anti-oracle, S 후보) — 이용자에게는 판정만, 세부 근거는 관리자에게만
• C1 검토 큐 — 위조의심 건을 담당자가 세부 근거로 확정
• C8 권한 경계 — 관리자 화면 접근 제한

변형

• 의심 부위 표시형: 이용자 화면에 BBox·히트맵으로 위조 의심 부위를 표시
• 사유 코드 노출형: 반려 사유 코드·점수를 이용자에게 그대로 반환
• 무제한 재제출형: 근거를 보고 고쳐 무제한 재제출할 수 있어 기준 탐색이 가능

관련 부품

F9 교정 대상 — 적대적 접점에서 관리자 화면 전용으로 · C8 끼울 자리 — 관리자 화면 접근 제한 · C1 짝 — 위조의심 건의 사람 확정 · F7 이용자 쪽 대응 — 판정만 알리고 다음 절차 안내 · D3 발생 접점 — 자격·심사

참고 자료

카탈로그 §6 F9 카드(적대적 D3에서는 관리자에게만 노출)

웹북에서 전체 프로필 보기 ↗ · 패턴 성좌 디렉터리에서 보기 ↗