rea — 에이전트로 앱 동작부터 네이티브 바이너리까지 역공학하는 오픈소스

사람이 하던 문서·판단 작업 옆에 AI가 초안·요약·검토안을 놓고, 사람이 고쳐서 확정한다.

PAX 사례 111건이 이 부품을 쓴다

맥락

문서·기안·검토의견처럼 산출물 형식이 정해져 있고 최종 확정자가 사람인 업무에 쓴다. BYO 코딩 에이전트와 A9 스킬을 쓰는 스킬 코파일럿이 PAX 자생 도구에 많다.

맞서는 힘(긴장)

• 초안 속도 vs 전건 검토에 드는 사람 시간
• 상용 모델 품질 vs 행정망·민감정보 제약(E1·E5)
• 양식 일관성(A9 규범) vs 사안별 유연성

해법

업무 서식과 참고 자료를 입력으로 받아 모델(A2 또는 BYO 구독)이 초안·근거·신뢰도를 내고, 사람이 편집 가능한 형태(F2)로 받아 고쳐서 확정한다. 보고서 구조·문체·검증 절차는 A9 규범 스킬로 코드 밖에 두고, 공공 문서 형식은 A10 어댑터로 입출력한다. 확정 전 검토는 C1 검토 큐로 운영하고 수정 내역을 C4·C6의 입력으로 남긴다. First로 가려면 저위험 건을 C2로 자동 확정하는 분기를 더한다.

이럴 때 쓴다

• 산출물 형식이 정해진 문서를 반복 작성할 때
• 최종 판단과 책임이 사람에게 남아야 할 때(P1 산출물 생성)
• 유형 ④ 내부 문서·기안, 유형 ⑫ 개발 코파일럿의 기본 조립일 때

이럴 때는 쓰지 않는다

• 답이 기관 규정·선례 속에 있어 접지와 출처가 핵심일 때(B3)
• 추출 결과가 사람 확정 없이 다음 판정 단계로 흐를 때(B4)
• 런타임에 모델이 필요 없는 정형 취합일 때(B0)

얻는 것

• 문서 작성 시간 단축
• 책임 소재가 사람에게 명확히 남음
• 도입이 쉬워 Enabled의 전형 경로

점검표

• 담당자가 최종 확정한다는 절차가 운영되는가
• 서식·문체 규범이 A9 스킬로 분리되어 있는가
• 초안을 이용자가 직접 고칠 수 있는가(F2)
• 수정 내역이 기록되어 품질 개선에 쓰이는가

구조 — 참여 부품

• A2 모델 서빙 계층 — 초안 생성 모델 호출(행정망이면 내부망 프록시)
• A9 업무 규범 스킬 — 서식·문체·검증 절차를 프롬프트 템플릿으로 고정
• A10 문서 형식 어댑터 — HWPX·엑셀 입출력
• C1 검토 큐 — 담당자가 초안을 확인·수정·확정
• 담당자 — 최종 확정자이자 책임자

변형

• 시스템 내장형: 기관 업무 시스템 안에 초안 기능을 넣은 형태
• 스킬 코파일럿: BYO 코딩 에이전트 + A9 스킬로 배포되는 형태(PAX Enabled 사례에서 가장 흔한 형태)

참조 구현 예

• PAX gov-report-skill — 기획보고서 7대 항목 스킬 코파일럿(카드 참조 구현)

관련 부품

C1 짝 — 사람 확정 절차 · F2 이용자 쪽 대응 — 편집 가능 출력은 B1의 필수 면 · A9 끼울 자리 — 서식·규범 스킬 · B′5 기본 배선 — 유형 ④·⑫ 조립 템플릿의 생성자-비평가 · C2 다음 단계 — 저위험 자동 확정으로 First · B3 승급 경로 — §7.2 진행 경로 1 → 4

참고 자료

Fowler Direct Prompting · InfoQ Editable Output · GoF Decorator

이 부품과 이어지는 가이드라인

• 챗GPT 활용방법 및 주의사항 안내 행정안전부, 2023.5. 공식 게시물 미확인(당시 보도로만 확인).
• 생성형 AI 서비스 이용자를 위한 개인정보 보호 가이드 개인정보보호위원회, 2026.5(게시 2026.5.19).

웹북에서 전체 프로필 보기 ↗ · 패턴 성좌 디렉터리에서 보기 ↗

생각 → 도구 호출 → 관찰 → 생각을 반복하며 답을 찾는 배선이다. 추론 흔적이 남아 근거 추적의 원료가 된다.

PAX 사례 16건이 이 부품을 쓴다

맥락

대민 상담(B3, 유형 ①)의 검색 루프, 데이터 조회·분석 에이전트(B6 로컬 호스트, 유형 5b), MCP 도구 연결(A8)에 쓴다. §7.2 진행 경로의 7단계이고, 단일 에이전트는 여기서 출발한다.

맞서는 힘(긴장)

• 탐색적 유연성 vs 긴 정형 과제에서의 실행 무질서
• 도구 출력 활용 vs 도구 출력 속 지시가 명령이 되는 위험(X13)
• 추론 흔적의 투명성 vs 호출 수·비용

해법

모델이 현재 목표에 대해 생각을 적고, 도구 하나를 골라 호출하고, 결과를 관찰한 뒤 다음 행동을 정한다. 추론 흔적과 호출 순서는 C4 추적 로그로 남기고 답에는 근거(F1)를 붙인다. 도구는 A8 레지스트리에 등록된 것만 쓰게 하고 도구별 권한을 C8로 제한한다. 신뢰 불가 데이터를 읽은 뒤 새 행동을 부를 수 있으면 S5 계획 고정이나 S6 격리로 막고, 최대 호출 횟수를 둔다.

이럴 때 쓴다

• 질의가 탐색적이라 순서를 미리 정할 수 없을 때
• 답의 근거와 도구 호출 순서를 보여 줘야 할 때(§7.5)
• 단일 에이전트로 시작하는 첫 에이전트 배선일 때

이럴 때는 쓰지 않는다

• 긴 정형 과제로 단계 누락이 문제일 때(B′8)
• 순서가 고정된 파이프라인일 때(B′1)
• 신뢰 불가 입력을 읽고 P2 이상 행동을 하는데 S5·S6을 둘 수 없을 때

얻는 것

• 근거와 호출 순서의 투명성
• 탐색적 질의에 적합
• C4 추적의 원료

점검표

• 도구 호출 순서와 추론 흔적을 지금 볼 수 있는가
• 최대 호출 횟수가 있는가
• 도구 출력이 새 행동을 부르지 못하게 막는 구조가 있는가

구조 — 참여 부품

• 추론 모델 — 생각을 적고 다음 도구를 선택
• A8 MCP 서버·호스트 — 호출 가능한 도구와 레지스트리
• C4 감사 로그·지표 — 추론 흔적·호출 순서 기록
• C8 권한 경계·킬스위치 — 도구별 읽기/쓰기 제한

관련 부품

A8 끼울 자리 — 호출할 도구 · C4 기록처 — 추론 흔적·호출 추적 · B′8 대안 — 긴 정형 과제 · B′4 승급 — 하위 작업이 분리되면 계층화 · S5 보안 짝 — 도구 출력이 행동을 바꾸지 못하게

참고 자료

Towards AI #2·#4 · Gulli ch.5 Tool Use · Springer ReAct

웹북에서 전체 프로필 보기 ↗ · 패턴 성좌 디렉터리에서 보기 ↗

보고서 구조·문체·서식·검증 절차 같은 업무 규범을 모델 중립 스킬(지침 + 검증기 + 출력 서식)로 패키징해 어떤 모델·에이전트에서든 재사용한다.

PAX 사례 54건이 이 부품을 쓴다

맥락

기안·보고서·콘텐츠처럼 서식과 문체가 정해진 산출물을 만드는 B1·B7, BYO 코딩 에이전트 환경(E2 모델 중립), 개발 코파일럿에서 쓴다. 유형 4·6·12에서는 필수 기반이고, §7.2 진행 경로에서는 3단계에 놓인다.

맞서는 힘(긴장)

• 규범 고정(일관성) vs 담당자 재량
• 모델 중립(이식성) vs 특정 모델 최적화
• 규범 공개·재사용 vs 프롬프트·규범 유출
• 가중치에 넣기(튜닝) vs 문서로 주입하기

해법

규정집·매뉴얼·서식 예시에서 업무 규범을 뽑아 지침(구조·문체·금지 사항), 검증기(형식·인용·수치 검사), 출력 서식(HWPX·DOCX 등)으로 묶은 스킬 패키지로 만든다. 모델 호출 코드와 분리된 파일로 두어 어떤 코딩 에이전트·모델에서도 같은 절차가 돌게 한다(External Configuration). 산출·검증된 수치와 출처만 주입하고 미제공 수치·순위 생성을 금지하는 식으로 생성 범위를 규범으로 좁힌다. 스킬은 버전으로 관리해 규범 유출·변경을 추적하고, C9로 스킬 변경 전후 품질을 잰다.

이럴 때 쓴다

• 산출물 서식·문체·구조가 정해져 있을 때
• 출력 품질이 들쭉날쭉할 때(§7.5)
• BYO 환경에서 모델과 무관하게 같은 절차를 돌려야 할 때
• 갱신이 잦은 규범을 튜닝 없이 반영해야 할 때

이럴 때는 쓰지 않는다

• 규범이 문서로 정리되지 않았고 정리할 담당도 없을 때
• 지식 검색이 필요한 문제(B3 접지가 먼저)
• 스킬 내용 자체가 민감해 배포할 수 없는데 버전 관리·접근 통제를 둘 수 없을 때

얻는 것

• 출력 일관성
• 모델 교체 가능(BYO에서는 교체 가능성이 곧 C7)
• 타 기관 재사용
• 튜닝 없이 규범 갱신

점검표

• 규범이 모델 호출 코드와 분리된 파일로 있는가
• 검증기가 출력 형식·인용·수치를 실제로 검사하는가
• 스킬에 버전이 있는가
• 다른 모델로 바꿔도 같은 서식이 나오는지 확인했는가

구조 — 참여 부품

• 규범 원천(규정집·매뉴얼·서식) — 스킬로 옮길 업무 규범의 출처
• 스킬 패키지 — 지침·검증기·출력 서식을 모델 밖 파일로 묶음
• 코딩 에이전트·모델(BYO) — 스킬을 불러 규범대로 산출
• A10 문서 형식 어댑터 — 출력 서식을 HWPX·DOCX로 내보냄
• C9 평가 세트 — 스킬 변경 전후 품질 비교

변형

• 보고서·문서 규범 스킬: gov-report-skill(기획보고서 7대 항목), 원페이퍼 스킬(A4 한 쪽·DOCX 검증).
• 스타일·콘텐츠 스킬: Public Cardnews(6개 스타일), 제작 가이드·검수 체크리스트를 묶은 제작 스킬 패키지.
• 검증 스킬: paper-verify(인용 검증)처럼 검증 절차 자체를 패키징한다.
• 규정집→스킬 변환: book-to-skill은 PDF 규정집을 에이전트 스킬로 자동 변환한다(A9+A10 조합).
• 지식 가이드 In-Context 주입: 파인튜닝 대신 추출·판정 기준을 문서형 가이드로 증류해 주입한다.

참조 구현 예

• PAX gov-report-skill — 기획보고서 7대 항목 스킬(§6 A9 카드)
• PAX paper-verify — 인용 검증 스킬(§6 A9 카드)

관련 부품

A10 짝 — 스킬 출력 서식을 공공 문서 형식으로 · B1 소비처 — 스킬 코파일럿 · C9 짝 — 스킬 변경 회귀시험 · A2.0 짝 — BYO 환경의 모델 중립 · A2.3 대안 — 가중치에 넣는 방식

참고 자료

GoF Template Method · Microservice 패턴 External Configuration · InfoQ Few-shot·Role·CoT · aiuxpatterns Prompt Templates

웹북에서 전체 프로필 보기 ↗ · 패턴 성좌 디렉터리에서 보기 ↗

동작 키워드로 판정되지 않는 내부 운영 도구(범용 플랫폼·에이전트 개발 환경·교육)를 담는 블록이다. 다음 판에서 하위 블록을 추가할 후보군이다.

PAX 사례 45건이 이 부품을 쓴다

맥락

국민 접점이 없고 D8.1~D8.10의 어느 동작 키워드에도 걸리지 않는 내부 도구. PAX 45건. 범용 플랫폼, 에이전트 개발 환경, 교육·학습 도구, AI 런타임 없는 행정정보시스템(R24) 등. 업무 영역별 PAX 건수(557건 태깅): 공통·범용 26, 문서·기안 4, 기획·정책 4, 시설·안전 3, 인사·복무 3, 감사·법무 2, 데이터·통계 2, 회계·정산 1.

맞서는 힘(긴장)

• 분류 완결성 vs 억지 분류로 인한 블록 의미 희석
• 범용 도구의 넓은 재사용성 vs 업무 산출물 불명확(X8·X1 위험)
• 후보군 보존 vs 카탈로그 세분화 과잉

해법

먼저 동작 키워드 우선순위를 끝까지 적용해 D8.1~D8.10 중 하나로 판정되는지 확인한다. 어느 것에도 걸리지 않을 때만 D8.0에 두고, 카탈로그 피드백(missing_patterns)에 반복 구조를 기록한다. 범용 도구는 그 자체보다 그것이 어느 업무 산출물로 이어지는지가 중요하므로, 대표 사용 시나리오를 하나 골라 해당 하위 블록의 조립 템플릿으로 설계를 점검한다. AI 런타임이 없는 행정정보시스템은 유형 0 기타·X1 표기로 따로 표시한다(R24).

이럴 때 쓴다

• 동작 키워드 우선순위를 끝까지 적용해도 D8.1~D8.10 어디에도 걸리지 않을 때
• 범용 플랫폼·개발 환경·교육처럼 특정 업무 동작이 없을 때

이럴 때는 쓰지 않는다

• 하나라도 동작 키워드가 걸리면 그 하위 블록
• 국민 접점이 있으면 D1~D7
• 범용 도구라도 대표 PoC가 특정 업무 산출물을 내면 그 산출물의 블록(R1)

얻는 것

• 억지 분류를 피해 하위 블록 의미 보존
• 새 하위 블록 후보군 확보

점검표

• 우선순위를 끝까지 적용했는가
• 대표 업무 산출물이 무엇인지 적혀 있는가
• 반복 구조가 피드백으로 기록되었는가

구조 — 참여 부품

• 공직자(개발자·학습자) — 범용 도구를 써서 자기 업무 도구를 만들거나 배움
• B6 도구 호출 에이전트 — 범용 에이전트·멀티에이전트 프레임워크
• B0 결정적 도구 — AI 런타임 없는 범용 플랫폼·행정시스템
• A7 자체 제작 환경 — 기관 인력이 직접 제작하는 환경

변형

• 범용 에이전트·멀티에이전트 프레임워크: 특정 업무에 묶이지 않는 에이전트 개발 환경(DevEval Agents).
• 교육·학습 도구: AI 활용 교육, 챔피언 인증 학습관리 등.
• AI 무관 행정정보시스템: AI 런타임이 없는 순수 행정시스템. 유형 0 기타, X1 명시(R24).

참조 구현 예

• DevEval Agents — 카탈로그 D8.0 카드 예: ODA 사업평가 멀티 에이전트 프레임워크
• 정부 지원사업 전수조사 에이전트 스킬 ir-search — 카탈로그 D8.0 카드 예

관련 부품

D8.1 가장 흔한 재판정처 — 탐색·조회 · D8.3 재판정처 — 개발 코파일럿 · X11 범용 멀티에이전트 환경의 함정 · X1 AI 런타임 없는 행정시스템 표기(R24)

참고 자료

카탈로그 §6 D8 교차표 · PAX 업무 10분류

웹북에서 전체 프로필 보기 ↗ · 패턴 성좌 디렉터리에서 보기 ↗

오픈웨이트 모델을 기관 서버·폐쇄망·로컬 PC 안에서 Ollama·vLLM 등으로 구동해 데이터를 기관 밖으로 내보내지 않고 추론한다.

PAX 사례 54건이 이 부품을 쓴다

맥락

E1은 폐쇄망·행정망·로컬 PC, E2는 해외 오픈웨이트(로컬) 또는 국산 오픈웨이트, E5는 S 이상이다. 폐쇄망 B3·B6·B8, 유형 3(현장 폐쇄망 서버 추론), 유형 12 개발 코파일럿은 이 변형을 기본으로 쓴다.

맞서는 힘(긴장)

• 데이터 주권 vs 상용 최신 모델 대비 성능
• GPU·서버 고정비 vs 종량 과금
• 모델 운영·갱신 역량 vs 외부 의존 제거
• 저사양 장비 구동 vs 모델 크기

해법

오픈웨이트 모델을 기관 안에 설치하고 서빙 계층(Ollama·vLLM·LM Studio 등)으로 업무 부품에 노출한다. 임베딩 모델도 로컬로 두어 B3 검색까지 망 안에서 끝낸다(§5 E1 폐쇄망 행 '로컬 임베딩'). 모델 선정은 C9 평가 세트로 상용·온프레미스 후보를 같은 조건에서 비교해 정한다. 폐쇄망에서 C7 경로는 수동 전환·다른 로컬 모델로 제한되므로 둘 이상의 로컬 모델이나 수동 절차를 미리 둔다. 모델·패키지 반입은 S11 인제스천 검증을 거친다.

이럴 때 쓴다

• E1이 폐쇄망·행정망이거나 문서가 PC 밖으로 나가면 안 될 때
• E5가 S 이상인데 내부망 프록시(A2.4)를 쓸 수 없을 때
• 현장 폐쇄망 서버에서 추론해야 하는 유형 3
• C7의 대체 경로로 로컬 모델을 둘 때

이럴 때는 쓰지 않는다

• 추론 인프라·운영 인력을 확보할 수 없을 때
• 현장 기기 자체에서 돌아야 하면 A5(엣지 런타임)
• 모델을 재학습했으면 A2.3

얻는 것

• 데이터가 기관 밖으로 나가지 않음
• 호출 비용이 고정비로 바뀜
• 폐쇄망에서도 LLM 사용 가능
• C7의 대체 경로 후보

점검표

• 추론·임베딩 어디에서도 데이터가 망 밖으로 나가지 않는가
• 모델 선정 근거(평가 세트 비교)가 남아 있는가
• 반입한 모델·패키지의 무결성 검사 기록이 있는가
• 대체 로컬 모델 또는 수동 전환 절차가 있는가

구조 — 참여 부품

• A2 서빙 계층 — 로컬 모델을 업무 부품에 노출
• 오픈웨이트 모델·로컬 임베딩 — 기관 안에서 추론·색인
• GPU 서버 또는 워크스테이션 — 추론 인프라
• S11 인제스천·공급망 검증 — 폐쇄망 반입 모델·패키지 검사

변형

• 기관 서버형: vLLM 등으로 기관 GPU 서버에서 다수 이용자에게 서빙한다.
• 로컬 PC·워크스테이션형: Ollama·LM Studio로 개인 PC나 단일 워크스테이션에서 돌린다(온나라 sAIde).
• 범정부 공통기반 내부망 설치형: 국산 독자모델·오픈웨이트를 공통기반 내부망에 직접 설치해 여러 부처에 제공한다(PAX 행정안전부 사례).

참조 구현 예

• PAX 58420e002644542c — 행정안전부, 엑사원·Gemma4를 범정부 공통기반 내부망에 설치해 약 8천 명에 롤아웃(§13 A2.2)
• PAX 01963ce2b093182c — 양산시, 저사양 온프레미스 로컬 LLM으로 보고서 작성 전 과정을 폐쇄망 안에서 처리(§13 A2.2)
• PAX 온나라 sAIde — 온나라 사이드패널 + 로컬 Ollama 요약(§9)

관련 부품

C7 대체 경로 — 상용 API 장애 시 전환 대상 · A8 짝 — 폐쇄망 로컬 MCP 호스트 · S11 선행 — 폐쇄망 반입 검증 · A5 대안 — 현장 기기 추론 · C9 선행 — 모델 선정 근거

참고 자료

Heiland '업무 로직과 ML 모델 분리' · GoF Strategy

이 부품과 이어지는 가이드라인

• 공공부문 초거대 AI 도입·활용 가이드라인 1.0 2024.4. 최초판. 배포처 미확인.
• 생성형 AI 개발·활용을 위한 개인정보 처리 안내서 개인정보보호위원회, 2025.8(게시 2025.8.6).

웹북에서 전체 프로필 보기 ↗ · 패턴 성좌 디렉터리에서 보기 ↗

AI 산출물이 다음 단계로 넘어가기 전에 사람이 맞고 틀림을 확인·수정·확정하는 대기열을 두어, 오류가 업무 결과로 흘러가지 않게 한다.

PAX 사례 46건이 이 부품을 쓴다

맥락

AI 산출물이 공문·처분·대민 안내·기록으로 이어지는 모든 B 부품(B1 코파일럿, B4 인식 파이프라인, B2 예측기, B7 콘텐츠 생성기 등). 이용자 본인이 최종 확정자인 자기서비스형 도구도 포함한다(R16).

맞서는 힘(긴장)

• 정확성·책임성 vs 처리 속도(전건 검토는 자동화 이득을 깎는다)
• 검토자의 숙련 vs 자동화 편향(AI 결과를 그대로 승인하는 경향)
• 전건 검토의 안전 vs 위험도별 분기(C2)로 가야 하는 효율 압력

해법

AI 산출물에 신뢰도·근거를 붙여 검토 대기열에 올리고, 검토자가 승인·수정·반려 중 하나를 고르게 한다. 수정·반려 내역은 C4 감사 로그에 남겨 수정률을 집계하고 C6 환류의 입력으로 쓴다. 검토 화면은 원문 위치·근거를 함께 보여 줘 확인 비용을 줄인다. 전건 검토로 시작하되, 수정률 실측이 쌓이면 C2 위험도 라우터로 저위험 건을 자동 종결하는 단계로 옮긴다.

이럴 때 쓴다

• AI 산출물이 공문·처분·대민 안내로 그대로 이어질 때
• E4가 P1 이상이고 되돌리는 데 사람 시간이 많이 드는 조치가 있을 때
• 서비스 유형 ② 접수·심사, ④ 기안 코파일럿, ⑥ 콘텐츠 제작, ⑦ 대조·점검, ⑩ 위험 예측, ⑪ 추천·매칭, ⑫ 개발 코파일럿처럼 C1이 필수인 유형

이럴 때는 쓰지 않는다

• B0 결정적 도구처럼 런타임 AI 산출물이 없을 때
• 쉽게 되돌릴 수 있고 저위험인 조치를 이미 C2로 자동 종결하도록 실측 근거를 갖춘 구간(전건 검토를 영원히 남기지 않는다)

얻는 것

• 오류가 업무 결과로 나가기 전에 차단
• 책임 소재가 명확해짐
• 수정 내역이 C4 지표와 C6 환류의 원천 데이터가 됨

점검표

• AI 산출물이 확정 전 상태로 머무는 지점이 명시되어 있는가
• 검토자와 승인·수정·반려 선택지가 정해져 있는가
• 검토 결정과 수정 내역이 로그로 남는가
• 실증 기간의 검토·수정 건수가 기록되어 있는가
• 전건 검토에서 분기로 옮길 조건이 정해져 있는가

구조 — 참여 부품

• 검토 대기열 — AI 산출물을 확정 전 상태로 보관하고 검토자에게 배정
• 검토자(담당자 또는 이용자 본인) — 승인·수정·반려를 결정하는 최종 책임자
• F2 편집 가능한 출력 — 검토자가 산출물을 직접 고치는 화면
• C4 감사 로그·지표 — 검토 결정과 수정 내역을 적재해 수정률로 집계

변형

• 전건 검토형: 모든 AI 산출물을 담당자가 확인·확정
• 예외 검수형: 정상 건은 일괄 승인하고 저신뢰 항목만 개별 검수하는 검수 UI
• 파이프라인 내장 관문형: 멀티에이전트·다단계 파이프라인의 각 관문에 승인·보완·재작성 선택지를 둠
• 자기서비스형: 이용자 본인이 최종 확정자인 HITL. 실제 운영 중이면 C1 present(R16)
• 심의 게이트: 팩트체크·법무·윤리처럼 제3자 전문가가 수행하는 승인 게이트

참조 구현 예

• PAX 9dc1a7081bc869b1 — 광진구 — 담당자·팀장 최종 판단 책임 등 4대 관리 원칙 명문화

관련 부품

C2 다음 단계 — 전건 검토에서 위험도 분기로 승급 · C1.2 변형 — 제3자 전문가 심의 게이트 · F2 이용자 쪽 대응 — 검토자가 직접 고치는 화면 · F6 이용자 쪽 대응 — 에이전트 행동 실행 전 확인 · C4 기록처 — 검토 결정·수정 내역 · C6 후속 — 수정 내역이 환류의 입력

참고 자료

Google ADK HITL · Gulli ch.13 Human-in-the-Loop · Towards AI 동기·비동기 HITL · Chain of Responsibility

이 부품과 이어지는 가이드라인

• 공공기관 신뢰가능 AI 구현 실용가이드 NIA, 2019(게시 2019.12.30).
• 금융분야 인공지능 가이드라인 금융위원회, 2026.6.22 시행(보도 2026.6.18).
• 금융분야 AI 위험관리프레임워크 금융감독원, 2026.6.
• 자동화된 결정에 대한 정보주체 권리 안내서 개인정보보호위원회, 2024.9. 공식 게시물 미확인(2024.9 보도로 확인).
• 고영향 인공지능 사업자 책무 가이드라인 과학기술정보통신부, 2026.1.
• 신뢰할 수 있는 인공지능 개발 안내서 과학기술정보통신부·TTA, 일반 2023·2024년판, 분야별 2023~2024.
• 인공지능 개발과 활용에 관한 인권 가이드라인 국가인권위원회, 2022(2022.4.11 전원위원회 의결). 공식 게시물 미확인(2022.4.17 보도로 확인).
• 생성형 인공지능 결과물에 의한 저작권 분쟁 예방 안내서 문화체육관광부·한국저작권위원회. 4종 모음 게시물에 수록.
• KS X ISO/IEC 22989 인공지능 개념 및 용어, KS X ISO/IEC TR 24028 인공지능의 신뢰성 개요 국가기술표준원 고시 제2023-0612호, 두 표준 모두 발행 2023.12.14. 각각 ISO/IEC 22989:2022, ISO/IEC TR 24028:2020과 일치(IDT).

웹북에서 전체 프로필 보기 ↗ · 패턴 성좌 디렉터리에서 보기 ↗

배포 전에 업무 맥락의 질문·정답·채점 기준을 세트로 만들어, 프롬프트·모델·설정의 모든 변경을 같은 자로 재고 회귀를 잡는다.

PAX 사례 15건이 이 부품을 쓴다

맥락

모델·프롬프트·검색 설정이 바뀌는 모든 AI 부품. 특히 B3 지식 접지(검색 품질은 평가 없이 개선 불가), E2 상용 API(예고 없는 모델 업데이트), 유형 ①④⑤a⑦⑩⑫.

맞서는 힘(긴장)

• 평가 세트 구축 비용 vs 변경의 안전
• 사람 라벨의 정확성 vs LLM 심판의 규모
• 세트 고정(비교 가능성) vs 업무 변화 반영(세트 갱신)

해법

RAG를 붙이거나 모델을 고르기 전에 업무 질문·정답·채점 기준(사람 라벨 + LLM 심판)을 세트로 만든다. 프롬프트·모델·설정 조합을 릴리스처럼 버전 관리하고, 모든 변경마다 같은 세트로 재평가해 점수표와 회귀 실패 목록을 남긴다. 기준을 넘지 못하면 배포하지 않는 게이트를 둔다. 학습 데이터와 평가 세트는 누수 없이 분리한다.

이럴 때 쓴다

• RAG·튜닝을 붙이기 전(§7.1 4단계, §7.2 진행 경로 2단계)
• E2 상용 API로 모델 업데이트가 예고 없이 올 때(필수)
• 폐쇄망 로컬 모델의 교체 시점
• C6 환류·C7 모델 교체를 하려 할 때(선행 조건)

이럴 때는 쓰지 않는다

• B0 결정적 도구처럼 비결정적 출력이 없을 때
• 유형 5a 중 순수 시각화(R10: 면제)

얻는 것

• 변경의 효과와 회귀를 숫자로 확인
• 모델 교체·재학습의 안전
• 모델 선정 근거 확보

점검표

• 업무 질문·정답·채점 기준 세트가 있는가
• 프롬프트·모델·설정이 버전 관리되는가
• 변경마다 재평가한 기록이 있는가
• 기준 미달 시 배포를 막는 절차가 있는가

구조 — 참여 부품

• A1 데이터 자산 서비스 — 정답의 출처
• A2 모델 서빙 계층 — 평가 대상 모델의 버전 고정
• 채점기 — 사람 라벨과 LLM 심판으로 점수 산출
• 배포 게이트 — 기준 미달 변경의 배포 차단
• C4 감사 로그·지표 — 운영 지표와 평가 점수 대조

변형

• 모델 선정 블라인드 비교: 여러 모델을 동일 조건·평가 의도 은닉으로 채점해 운영 모델 선별
• 배포 전 회귀검증 게이트: 응답 로직 변경 시 기준 질의의 기대응답 대조를 통과해야 배포
• 재학습 모델 비교 게이트: 재학습 시 이전 버전 대비 성능을 비교해 기준 상회 모델만 배포
• 공인시험 기반 검증 세트: 검출 기준을 명시한 검증 세트와 공인시험

참조 구현 예

• PAX MOPAN — 기각한 시도 15건의 실패 기전을 기술 보고서로 남김

관련 부품

C6 후속 — 환류의 재검증 단계 · C7 후속 — 모델 교체(Blue-Green) 전 회귀시험 · B3 끼울 자리 — 검색 품질 개선의 전제 · A1 의존 — 정답 출처 · A2 의존 — 모델 버전 고정

참고 자료

Fowler Evals · InfoQ AI-Ops · Prompt-Model-Config Versioning · Gulli ch.19 Evaluation & Monitoring

이 부품과 이어지는 가이드라인

• 공공부문 AI 도입·활용 가이드 행정안전부·NIA, 2026.6. 현행 핵심.
• 인공지능 위험 사례집 국가정보원, 2025.11(게시 2025.11.20).
• 금융분야 AI 위험관리프레임워크 금융감독원, 2026.6.
• AI 기반 신용평가모형 검증체계 금융위원회, 2023(보도 2023.4.17).
• 합성데이터 생성·활용 안내서 개인정보보호위원회, 2024.12(자료실 게시 2025.1.3).
• 인공지능 영향평가 가이드라인 과학기술정보통신부, 2026.1.
• 신뢰할 수 있는 인공지능 개발 안내서 과학기술정보통신부·TTA, 일반 2023·2024년판, 분야별 2023~2024.
• 인공지능(AI) 표준화 전략 로드맵 산업통상자원부 국가기술표준원, 2024.8(2024.8.28 제2차 AI산업정책위원회에서 발표).
• KS X ISO/IEC 42001 인공지능 경영시스템 국가기술표준원 고시 제2025-0413호, 발행 2025.10.30(한국표준협회). ISO/IEC 42001:2023과 일치(IDT).
• KS X ISO/IEC 23894 인공지능 리스크관리 지침 국가기술표준원 고시 제2025-0413호, 발행 2025.10.30. ISO/IEC 23894:2023과 일치(IDT).
• KS X ISO/IEC TS 4213 기계 학습 분류 성능에 대한 평가 국가기술표준원 고시 제2025-0413호, 발행 2025.10.30. ISO/IEC TS 4213:2022와 일치(IDT).
• KS X ISO/IEC 22989 인공지능 개념 및 용어, KS X ISO/IEC TR 24028 인공지능의 신뢰성 개요 국가기술표준원 고시 제2023-0612호, 두 표준 모두 발행 2023.12.14. 각각 ISO/IEC 22989:2022, ISO/IEC TR 24028:2020과 일치(IDT).

웹북에서 전체 프로필 보기 ↗ · 패턴 성좌 디렉터리에서 보기 ↗

에이전트가 만든 코드·명령을 일회용 격리 환경(컨테이너·microVM·제한 런타임)에서 실행하고 끝나면 파기해, 호스트·행정망은 결과값만 받게 한다.

PAX 사례 1건이 이 부품을 쓴다

맥락

개발 코파일럿(유형 ⑫), 코드 후 실행(S5), 도구 루프(B′7), AI 코딩 도구로 기관 인력이 직접 만든 스크립트(A7), 제출 파일의 OCR·파싱 실행, 매크로가 있을 수 있는 부서별 제출 파일 취합(유형 ⑧). 카탈로그 등재 상태는 후보(PAX 557건 중 1건).

맞서는 힘(긴장)

• 격리 강도 vs 실행 환경 구축·유지 비용
• 일회용 파기의 안전성 vs 상태 유지가 필요한 작업
• 행정망 반입 제약 vs 컨테이너·microVM 런타임 도입

해법

코드·명령을 실행할 때마다 컨테이너·microVM·제한 런타임 중 하나로 일회용 격리 환경을 띄우고, 네트워크·파일 접근을 최소로 연다. 실행이 끝나면 결과값과 로그만 호스트로 넘기고 환경을 파기한다. 실행 전 정적 검사(AI 생성 코드 보안 린터)를 붙이면 샌드박스의 절반을 앞단에서 채운다. 격리 강도에 비례해 보호 수준이 정해지므로 행정망 자격 증명은 샌드박스 안에 두지 않는다.

이럴 때 쓴다

• 개발 코파일럿(유형 ⑫)의 필수 부품(R7)
• 취합·변환 자동화(유형 ⑧)의 필수(S11과 함께)
• S5 코드 후 실행을 쓸 때
• 신뢰 불가 입력 + P2 이상에서 B6 오케스트레이터(§5 매트릭스)
• 제출 서류 OCR 실행(유형 ② 권장)·엣지 모델 격리(유형 ③ 권장)·코드 점검(유형 ⑦ 권장)

이럴 때는 쓰지 않는다

• 코드·명령 실행이 없는 조회·생성 도구
• 실행 대상이 기관이 검수·고정한 결정적 코드뿐일 때
• 상태를 장시간 유지해야 하는 작업에 일회용 파기를 그대로 적용할 때 — 상태 저장 경로를 따로 설계

얻는 것

• 원격 코드 실행 피해를 격리 환경 안으로 제한
• 권한 상승·횡적 이동 축소
• AI 코딩 산출물을 행정망에서 안전하게 시험

점검표

• AI 생성 코드가 호스트에서 직접 실행되는 경로가 없는가
• 실행 후 환경이 파기되는가
• 샌드박스 안에 행정망 자격 증명이 없는가
• 네트워크·파일 접근이 기본 차단인가

구조 — 참여 부품

• 정적 검사기 — 실행 전 AI 생성 코드의 위험 패턴 점검
• 격리 런타임 — 컨테이너·microVM·제한 런타임에서 일회 실행
• S5 계획 후 실행·코드 후 실행 — 실행할 코드를 사전에 고정
• S10 결정적 재생 — 실행 흔적 기록

변형

• 컨테이너형: 실행마다 컨테이너를 띄우고 파기(Service per Container)
• microVM·서버리스형: 경량 가상머신·서버리스 함수로 강한 격리
• 제한 런타임형: GraalVM 같은 언어 런타임 샌드박스로 생성 코드·도구 실행 격리
• 정적 검사 결합형: AI 생성 코드 보안 린터(vibecode-checker 유형)를 실행 전에 둠

참조 구현 예

• PAX edf9a8632ff74a99 — GraalVM 샌드박스 기반 방어 심층 구조로 생성 코드·도구 실행 격리(§13)
• PAX vibecode-checker — AI 생성 코드 보안 린터. 카드가 이 부품의 정적 검사 절반으로 지목했다

관련 부품

S5 짝 — 코드 후 실행의 실행 자리 · S11 짝 — 유형 ⑧ 필수 조합 S11 + S9 · A7 끼울 자리 — AI 코딩 도구가 만든 스크립트 · B′7 끼울 자리 — 도구 루프의 실행 · S10 기록처 — 실행 흔적

참고 자료

Vinodhkumar M AI 보안 패턴: Ephemeral Sandbox · Beurer-Kellner 외(2025) 부록: 샌드박스 실행 · Service per Container · Serverless

웹북에서 전체 프로필 보기 ↗ · 패턴 성좌 디렉터리에서 보기 ↗

생성물을 이용자가 직접 고쳐 확정하게 한다. 통제감의 실체이며, 수정 내역은 C4 지표와 C6 환류의 입력이 된다.

PAX 사례 50건이 이 부품을 쓴다

맥락

B1 코파일럿(필수 면), B7 콘텐츠 생성기, B4 인식 결과 확정. 유형 ② 접수·심사, ④ 기안 코파일럿, ⑫ 개발 코파일럿, 5a-agg(R19), 2b 시민 제출 준비(R20).

맞서는 힘(긴장)

• 편집 자유도 vs 원본 추적(무엇을 고쳤는지)
• 편집 가능한 공공 서식(HWPX 등) 출력 vs 구현 비용

해법

생성물을 이용자가 바로 고칠 수 있는 형식(편집 화면, HWPX·PPTX 등 네이티브 파일)으로 내고, 이용자가 고친 뒤 확정하게 한다. AI 원안과 수정본의 차이를 기록해 C4 수정률과 C6 환류 입력으로 쓴다. 문서 형식 출력은 A10 어댑터가 받친다.

이럴 때 쓴다

• B1 코파일럿 전반(필수 면)
• 대민 서비스 D1~D7(F1·F2·F7이 최소 요건)
• 유형 ②④⑫, 5a-agg, 2b처럼 F2가 필수인 유형

이럴 때는 쓰지 않는다

• 이용자가 결과를 수정하면 안 되는 판정 결과(판정은 C1 확정 절차로 다룸)
• 조회 결과만 보여 주는 P0 도구

얻는 것

• 이용자 통제감
• 수정 내역이 품질 지표·환류 데이터가 됨
• 공공 서식 재작업 감소

점검표

• 산출물을 이용자가 직접 고칠 수 있는가
• 원안과 수정본 차이가 기록되는가
• 공공 서식 형식으로 편집 가능한가

구조 — 참여 부품

• 편집 화면·네이티브 파일 — 이용자가 직접 고치는 면
• A10 문서 형식 어댑터 — HWPX·PPTX 등 편집 가능한 형식 출력
• C4 감사 로그·지표 — 수정 내역 기록

변형

• 화면 내 편집: 생성 결과를 화면에서 바로 수정·확정
• 네이티브 파일 출력: PPTX·HWPX·피그마 등 이어서 고칠 수 있는 형식으로 산출

참조 구현 예

• PAX cb0abc29707cc710 — PPTX 네이티브·피그마(로컬 MCP)·HTML 세 형식으로 수정 가능한 산출물 출력

관련 부품

C1 짝 — 확정 절차 · B1 끼울 자리 — 코파일럿의 필수 면 · A10 의존 — 편집 가능한 문서 형식 출력 · C6 후속 — 수정 내역이 환류 입력

참고 자료

InfoQ UX Editable Output

이 부품과 이어지는 가이드라인

• 생성형 인공지능 활용 저작물의 저작권 등록 안내서 문화체육관광부·한국저작권위원회. 4종 모음 게시물에 수록.

웹북에서 전체 프로필 보기 ↗ · 패턴 성좌 디렉터리에서 보기 ↗

기존 화면에 요약·챗봇 버튼만 붙이고 업무 순서와 사람·AI의 역할 분담은 그대로 두어, AI가 있어도 업무 산출물이 바뀌지 않는 함정이다.

맥락

기존 행정정보시스템·업무 포털에 AI 기능을 추가하는 과제, 특히 성과 지표가 'AI 기능 탑재 여부'나 호출 수로 잡힌 과제. R24에 따라 AI 런타임이 전혀 없는 순수 행정정보시스템도 이 태그(AI 무관)로 표기한다.

맞서는 힘(긴장)

• 빠른 도입 실적 vs 업무 흐름 재설계 비용
• 기존 시스템 무변경(안정성) vs 산출물 단위의 역할 분담
• 'AI 탑재' 홍보 효과 vs 실제 처리시간·수정률 개선

해법

먼저 가치 흐름 규칙(R1)으로 사람 또는 국민이 최종으로 받는 핵심 산출물을 정하고, 그 산출물을 AI가 어떤 모양으로 분담할지 B 업무 컴포넌트를 하나 고른다(초안→사람 확정이면 B1, 근거 접지 답변이면 B3, 서류 추출이면 B4). 사람이 확정하는 지점은 C1 검토 큐로, 이용자가 고쳐 확정하는 면은 F2 편집 가능한 출력으로 명시한다. 흐름이 바뀌었는지는 C4 감사 로그·지표의 처리시간·수정률로 잰다. AI 런타임이 전혀 없는 행정정보시스템이라면 AI로 포장하지 말고 R24대로 B0·service_type 0·platform 공란·X1(AI 무관)으로 정직하게 분류한다.

이럴 때 쓴다

• AI 기능이 추가됐다는 서술은 있으나 처리 단계 수·결재선·담당자 역할이 바뀌었다는 서술이 없다
• 성과 지표가 AI 호출 수·이용 만족도뿐이고 처리시간·수정률 같은 산출물 지표가 없다
• 챗봇이 기관 업무 데이터·시스템과 연결되지 않은 범용 대화에 머문다
• AI 런타임이 전혀 없는 행정정보시스템이 AX 과제로 분류되어 있다(R24)

이럴 때는 쓰지 않는다

• B1 코파일럿처럼 AI가 초안을 만들고 사람이 확정하는 역할 분담이 실제로 서술된 경우
• B8 레거시 오버레이처럼 표준 시스템 위에 얹었지만 업무 산출물을 AI가 만들어 내는 경우
• B0 결정적 도구가 반복 취합 업무를 실제로 줄이고 AI로 포장하지 않은 경우(Ready 부품으로 정직하게 분류된 경우)

얻는 것

• 기존 시스템을 건드리지 않아 도입이 빠르고 장애 위험이 낮다
• 'AI 탑재' 실적을 즉시 보고할 수 있다

점검표

• AI 도입 전후 처리 단계·담당자 역할의 차이를 한 장으로 보여 줄 수 있는가
• AI가 만드는 산출물과 사람이 확정하는 지점이 명시되어 있는가
• 처리시간·수정률 같은 산출물 지표가 도입 전 기준선과 함께 있는가
• AI 런타임이 없는데 AI 과제로 보고하고 있지 않은가

구조 — 참여 부품

• 덧붙인 AI 기능 — 요약·대화 버튼. 업무 산출물 생산에 역할이 없음
• B1 코파일럿 — 교정 후 초안→사람 확정으로 산출물 역할을 나누는 대체 부품
• C1 검토 큐 — 교정 후 사람이 확정하는 지점을 명시
• C4 감사 로그·지표 — 흐름이 실제로 바뀌었는지 처리시간·수정률로 측정

변형

• 요약 버튼형: 기존 화면에 '요약' 버튼만 추가하고 결재·처리 단계는 그대로
• 범용 챗봇 부착형: 업무 데이터와 연결되지 않은 범용 대화창을 포털에 부착
• AI 무관 행정시스템(R24): AI 런타임이 전혀 없는 순수 행정정보시스템(예: 교육·인증 학습관리시스템). B0·service_type 0·platform 공란과 함께 X1(AI 무관)로 표기

관련 부품

B1 대체 — 초안→사람 확정으로 산출물 역할을 나누는 교정 목표 · C1 교정에 끼울 자리 — 사람이 확정하는 지점 · B0 정직한 분류 — AI 런타임이 없으면 B0 Ready 부품으로(R24) · C4 기록처 — 흐름 변화의 증거(처리시간·수정률) · X8 이웃 안티패턴 — 개수·탑재를 성과로 세는 같은 뿌리

참고 자료

PAX 기준서 '기능 탑재가 아니라 실제 업무 산출물이 관건' · PAX 원칙 '도구를 호출해도 기존 흐름이 그대로면 Enabled'

웹북에서 전체 프로필 보기 ↗ · 패턴 성좌 디렉터리에서 보기 ↗

상용 API 하나에 전 기능이 묶여 있어, 그 API가 멈추거나 바뀌면 무슨 일이 생기는지 아무도 답하지 못하는 함정이다.

맥락

E2가 해외 상용 API이고 B 부품이 그 API를 게이트웨이 없이 직접 호출하는 과제. 특히 대민 자동응답·상시 감지처럼 중단 비용이 큰 서비스.

맞서는 힘(긴장)

• 최고 성능 단일 모델 vs 대체 경로 유지 비용
• 빠른 시범 구축 vs 게이트웨이·폴백 설계
• 모델 업데이트의 성능 향상 vs 예고 없는 동작 변화

해법

모델 호출을 A2 모델 서빙 계층 뒤로 숨겨 B 부품이 특정 벤더 API를 직접 부르지 않게 한다. 그 위에 C7 폴백 스위치로 재시도 → 기존 API → 대체 MCP → 대체 모델(A2.2 주권형 로컬 등) → 규칙 기반 축소 → 수동 전환의 경로를 정하고 전환 이력을 C4에 남긴다. 모델 교체가 실제로 안전한지는 C9 평가 세트로 재어 버전을 고정한다. 모델 중립(BYO) 배포라면 A9 스킬 형태로 배포해 모델 교체 가능성 자체를 폴백으로 삼는다.

이럴 때 쓴다

• E2가 해외 상용 API인데 C7 폴백이 없다(분류기준 검증 경고 조건)
• 'API가 멈추면 어떻게 되는가'에 대한 서술이 없다
• 모델 버전 고정·교체 시험 기록이 없다
• A2 게이트웨이 없이 B 부품이 벤더 API를 직접 호출한다

이럴 때는 쓰지 않는다

• B0 결정적 도구처럼 런타임 AI가 없는 경우
• 로컬 완결 도구로 외부 의존이 없는 경우
• 모델 중립(BYO) 배포로 A9 스킬 형태라 이용자가 모델을 바꿀 수 있는 경우
• 상용 API를 쓰되 A2 게이트웨이와 C7 대체 경로가 구현된 경우

얻는 것

• 가장 성능 좋은 모델을 가장 빨리 쓴다
• 게이트웨이·대체 모델 유지 비용이 없다

점검표

• 모든 모델 호출이 A2 한 곳을 지나는가
• 대체 경로가 하나 이상 구현되어 있는가
• 대체 모델의 품질이 C9로 측정되어 있는가
• 모델 버전이 고정되어 있고 교체가 릴리스처럼 관리되는가

구조 — 참여 부품

• A2 모델 서빙 계층 — 벤더 API를 숨기는 끼울 자리
• C7 폴백 스위치 — 장애 시 대체 경로로 전환
• C9 평가 세트·회귀시험 — 대체 모델의 품질을 같은 자로 확인
• 단일 상용 API — 모든 기능이 묶인 의존 대상

변형

• 직접 호출형: 게이트웨이 없이 코드 곳곳에서 벤더 SDK를 직접 호출
• 벤더 내장형: 벤더 제품 안에 모델이 박혀 교체 자체가 불가능(A2.6 블랙박스와 결합)
• 버전 미고정형: 모델 버전을 고정하지 않아 업데이트가 예고 없이 동작을 바꿈

관련 부품

C7 대체 — 장애 시 이어 가는 폴백 경로 · A2 끼울 자리 — 벤더 API를 숨기는 모델 서빙 계층 · A2.2 대체 모델 후보 — 주권형 로컬 · C9 선행 — 대체 모델 품질 확인과 버전 고정 · A9 BYO 배포에서의 대응 — 스킬 형태면 모델 교체 가능

참고 자료

Gulli ch.12 Exception Handling · Microservice Circuit Breaker · PAX Native 관문 4

이 부품과 이어지는 가이드라인

• 인공지능과 머신러닝 공급망 위험 및 완화방안 국가정보원, 2026.3(게시 2026.3.5).

웹북에서 전체 프로필 보기 ↗ · 패턴 성좌 디렉터리에서 보기 ↗

평가 세트 없이 검색을 붙여 '좋아진 것 같다'로 배포하고, 검색으로 풀릴 문제를 파인튜닝으로 푸는, 진행 경로를 건너뛰는 함정이다.

맥락

B3 지식 접지·B1 코파일럿에 RAG를 붙이거나 A2.3 튜닝형 모델을 만드는 과제, 특히 규정·매뉴얼 기반 질의응답.

맞서는 힘(긴장)

• 눈에 보이는 기술 성과 vs 지루한 평가 세트 구축
• 빠른 배포 vs 변경마다 재는 자
• 자체 모델 보유 인상 vs 검색으로 충분한 문제

해법

§7.2 진행 경로를 순서대로 밟는다. B1 직접 프롬프트에서 시작해 두 번째 단계에서 C9 평가 세트(업무 질문·정답·채점 기준)를 먼저 만들고, 이후 A9 규범 스킬·F4, B3 지식 접지(A1 데이터 자산), B3 검색 품질(Hybrid·Rewriting·Reranker), C5 가드레일·F1 순으로 붙이며 매 단계를 C9로 잰다. A2.3 튜닝은 진행 경로의 마지막 단계로, 검색·규범 스킬로 풀리지 않는다는 것이 C9 점수로 확인됐을 때만 한다. 모델·프롬프트·설정 조합은 릴리스처럼 버전 관리한다.

이럴 때 쓴다

• RAG·튜닝을 도입했는데 업무 질문·정답·채점 기준 세트가 없다
• '답변 품질 향상'을 수치 없이 서술하거나 단발 정확도만 보고한다
• 자주 바뀌는 규정·매뉴얼 질의를 파인튜닝으로 풀었다
• 검색 품질(재현율·리랭킹)을 재지 않고 튜닝으로 넘어갔다

이럴 때는 쓰지 않는다

• C9 세트로 RAG 전후를 비교한 뒤 배포한 경우
• 검색·스킬로 풀리지 않음을 C9 점수로 확인한 뒤 튜닝한 경우
• B2·B4처럼 비LLM 학습 모델로 원래 학습이 해법인 경우(RAG가 대안이 아님)

얻는 것

• RAG·튜닝이라는 눈에 보이는 기술 성과를 빨리 낸다
• 평가 세트 구축에 현업 시간을 쓰지 않는다

점검표

• 업무 질문·정답·채점 기준 세트가 있는가
• RAG 전후 점수 비교가 있는가
• 튜닝을 선택한 근거가 C9 점수로 설명되는가
• 모델·프롬프트·설정 조합이 버전 관리되는가

구조 — 참여 부품

• C9 평가 세트·회귀시험 — 빠진 부품. 모든 변경을 같은 자로 잼
• B3 지식 접지 — 튜닝 전에 먼저 시도할 검색 기반 접지
• A2.3 튜닝형 모델 — 진행 경로의 마지막 단계
• A1 데이터 자산 서비스 — 정답 출처와 검색 코퍼스

변형

• 평가 없는 RAG: 검색을 붙이고 몇 개 질문을 눈으로 보고 배포
• RAG 없는 튜닝: 문서 검색으로 풀릴 최신 규정 질의를 파인튜닝으로 해결하려 함
• 평가 없는 튜닝: 튜닝 전후를 같은 세트로 비교하지 않음

관련 부품

C9 대체 — RAG·튜닝보다 먼저 만들 평가 세트 · B3 선행 — 튜닝 전에 시도할 지식 접지 · A2.3 순서 — 진행 경로의 마지막 단계 · A9 대안 — 튜닝 대신 규범 스킬로 푸는 경로 · X11 이웃 안티패턴 — 같은 진행 경로 위반

참고 자료

Fowler GenAI 진행 경로(Direct Prompting → Evals → RAG → Hybrid Retriever·Query Rewriting·Reranker → Guardrails → Fine Tuning) · InfoQ Prompt-Model-Config Versioning

이 부품과 이어지는 가이드라인

• 공공부문 AI 도입·활용 가이드 행정안전부·NIA, 2026.6. 현행 핵심.

웹북에서 전체 프로필 보기 ↗ · 패턴 성좌 디렉터리에서 보기 ↗