경기도의회 회의 실시간 자막 서비스 — 기관 도메인으로 정식 출시

서류·음성·영상·도면 같은 비정형 입력을 인식 → 구조화 → 판정으로 연쇄 처리해 사람이 옮겨 적던 단계를 없앤다.

PAX 사례 34건이 이 부품을 쓴다

맥락

접수·심사(유형 ②), 서류 진위확인, 민원 통화 정리, 실시간 자막, 원격탐사·도면 판독처럼 비정형 입력이 업무의 출발점인 경우에 쓴다. 민감 서류가 많아 행정망·로컬 모델 조건이 자주 붙는다.

맞서는 힘(긴장)

• 자동 연결의 효율 vs 오인식이 판정으로 번지는 위험
• 인식 정확도 vs 로컬 모델 제약(E1·E5)
• 단계 분리의 추적 용이성 vs 단계 간 지연

해법

인식(OCR·STT·비전·VLM)은 정형 필드만 내게 하고, 기준정보와의 대조·요건 판정은 규칙 단계가 맡는다(B′1 + B′9). 저신뢰·불일치 건은 보류해 C1 검토 큐로 보내고, 오인식은 C3 상태 머신으로 되돌린다. 공공 문서 형식은 A10으로 받으며 OCR·STT 엔진은 A2 공통 후보를 쓴다. 제출 서류처럼 신뢰 불가 입력을 읽고 시스템 쓰기가 있으면 문서별 격리(S6)로 서류 속 지시가 판정을 바꾸지 못하게 한다.

이럴 때 쓴다

• 비정형 입력을 사람이 옮겨 적는 단계가 업무의 병목일 때
• 추출값이 규칙 판정·다음 처리로 이어질 수 있을 때
• 유형 ② 접수·심사 자동화의 기본 조립일 때

이럴 때는 쓰지 않는다

• 추출 결과가 초안으로 멈추고 사람이 확정할 때(B1)
• 추출 뒤 질의응답이 핵심 산출물일 때(B3)
• 상시 관측 스트림 감시가 핵심일 때(B5)

얻는 것

• 옮겨 적기 단계 제거
• 판정 기준이 규칙으로 남아 설명 가능
• OCR·STT 엔진을 범정부 공통으로 공유 가능

점검표

• 인식과 판정이 서로 다른 단계로 분리되어 있는가
• 저신뢰 건이 보류되어 사람에게 가는가
• 오인식 건을 되돌리는 경로가 있는가(C3)
• 필드별 정확도를 잰 시험 세트가 있는가

구조 — 참여 부품

• A10 문서 형식 어댑터 — PDF·HWPX·이미지 입력
• A2 모델 서빙 계층 — OCR·STT·VLM 엔진
• 규칙 대조기 — 기준정보와 대조하고 요건을 판정
• C1 검토 큐 — 저신뢰·불일치 건 확인
• C3 상태 머신·롤백 — 오인식 되돌림·재처리

변형

• OCR·서류: 제출 서류 필드 추출·요건 검토
• STT·음성: 통화·회의 음성의 텍스트화와 키워드 추출
• 비전 판독·정량화: 결함·손상 판독과 정량화(R5)
• VLM 문서이해(단일 모델): VLM 하나로 문서 이해·추출(R5)
• 배치 원격탐사·시계열 차분: 항공·위성 영상의 회차 간 변화 판독(R5)
• 통역(STT→MT→TTS): 음성 인식·번역·합성 연쇄(R5)
• CAD·BIM 도면 파싱: 도면에서 구조 정보 추출(R5)

참조 구현 예

• PAX 경기도의회 실시간 자막 — 개인 개발 → 기관 도메인 정식 개통(카드 참조 구현)

관련 부품

B′1 기본 배선 — 순차 파이프라인 · B′9 배선 — 인식은 추출만, 판정은 규칙 · C3 First 관문 — 오인식 되돌림 · S6 보안 짝 — 제출 서류별 격리 처리 · F9 이용자 쪽 대응 — 판정 근거 표시(위조 탐지는 관리자에게만)

참고 자료

Heiland Workflow Pipeline·AI Pipeline·Multi-layer · GoF Chain of Responsibility

이 부품과 이어지는 가이드라인

• 2026 인공지능 윤리기준 실천 자율점검표 과학기술정보통신부·KISDI, 2026.2.

웹북에서 전체 프로필 보기 ↗ · 패턴 성좌 디렉터리에서 보기 ↗

장비·상용 솔루션에 내장돼 기관이 모델·버전·학습 데이터를 보거나 바꿀 수 없는 모델의 자리다. 교체·재학습 대신 계약과 자체 실측으로 통제한다.

PAX 사례 4건이 이 부품을 쓴다

맥락

벤더 장비·제품을 들여왔지만 모델을 교체·재학습할 권한은 없는 과제에 쓴다. 유형 5a-brief는 A2.1·A2.2와 함께 A2.6을 허용한다(R19).

맞서는 힘(긴장)

• 검증된 제품의 빠른 도입 vs 모델 내부를 볼 수 없음
• 벤더 성능 보증 vs 기관 현장 조건에서의 실측
• 유지보수 계약 의존 vs 기관 자체 개선(C6) 불가

해법

모델이 블랙박스임을 조립도에 명시하고, 교체·재학습 대신 바깥에서 통제한다. 벤더 KPI를 준용하지 않고 C9 자체 평가 세트와 C4 실증 기간 지표로 현장 성능을 잰다(X15의 교정). 모델 버전이 바뀔 때 통지받고 회귀를 확인할 수 있도록 계약·운영 절차를 두며, 장애나 성능 저하에 대비해 C7 규칙 축소·수동 전환 경로를 둔다. 판정 근거를 제품이 주지 않으면 F7로 한계를 안내한다.

이럴 때 쓴다

• 기관이 모델을 교체·재학습할 권한 없이 벤더 제품의 AI 기능을 쓸 때
• 모델 정보가 제품 사양에만 있고 기관 코드가 모델을 부르지 않을 때

이럴 때는 쓰지 않는다

• 기관 코드가 상용 API를 직접 부르면 A2.1
• 기관이 학습·재학습하면 A2.5
• 모델명 자체가 불명이고 벤더 제품도 아니면 A2.0

얻는 것

• 검증된 제품을 빠르게 도입
• 모델 운영 부담이 벤더에 있음

점검표

• 보고된 성능이 실증 기간 자체 실측인가, 벤더 KPI인가
• 모델 버전 변경을 기관이 알 수 있는가
• 제품 장애 시 대체 경로가 있는가

구조 — 참여 부품

• 벤더 장비·제품 — 내장 모델로 추론, 기관은 설정만 가능
• C9 평가 세트 — 벤더 KPI 대신 기관 현장 성능을 실측
• C4 감사 로그·지표 — 운영(시범 운영 포함) 기간 지표 적재
• C7 폴백 스위치 — 제품 장애·성능 저하 시 규칙 축소·수동 전환

변형

• 장비 내장형: 카메라·분석 장비 펌웨어에 모델이 묶여 온다.
• 상용 제품 내장형: 분석·업무 소프트웨어가 내부 모델을 감추고 결과만 내준다.

관련 부품

C9 짝 — 벤더 KPI 대신 자체 실측 · C7 끼울 자리 — 제품 장애 시 대체 경로 · A2.5 대안 — 기관이 직접 학습 · X15 주의 — 빌린 성과표

참고 자료

Heiland 배포 범주

이 부품과 이어지는 가이드라인

• 인공지능과 머신러닝 공급망 위험 및 완화방안 국가정보원, 2026.3(게시 2026.3.5).

웹북에서 전체 프로필 보기 ↗ · 패턴 성좌 디렉터리에서 보기 ↗

국민이 어떤 서비스를 받을 수 있고 어디로 가야 하는지 알려 주는 대민 접점 블록이다. B3 지식 접지나 B0 탐색기가 이 자리에 들어간다.

PAX 사례 99건이 이 부품을 쓴다

맥락

국민·기업이 직접 쓰는 대민 접점. §7.3 유형 ① 대민 상담·안내(D1·D7, P0~P1)의 입구다. 규칙 기반 공공데이터 조회로 안내하는 비LLM 도구도 이 블록에 속한다(R21).

맞서는 힘(긴장)

• 안내 범위의 폭 vs 답의 정확성
• 자유 질의의 편의 vs 규정 밖 답을 끌어내려는 입력(S4가 막는 위협)
• 상시 운영 요구 vs 상용 API 장애(C7)
• 쉬운 말 vs 법령·공고 원문 충실성

해법

블록은 렌즈이고, 해법은 이 자리에 끼우는 부품 조합이다. 주 부품은 공개(O) 문서에 접지한 B3 대민 자동응답형이나 조건으로 대상 서비스를 좁히는 B0 탐색기다. 답은 F1 출처와 F7 "공식 판단 아님" 고지와 함께 내고, 입력은 F4 구조화 입력으로 받아 조건 누락을 줄인다. 민원인 입력은 신뢰 불가 입력이므로 S4 행동 선택기와 S7 컨텍스트 최소화로 규정 밖 답을 막고, 상시 서비스이므로 C7 폴백을 둔다. 판단이 필요한 질문은 B′2 라우터로 D4 분류·이관이나 담당자에게 넘기고 F11로 이관을 알린다.

이럴 때 쓴다

• 국민이 받을 수 있는 서비스나 담당 창구를 몰라 헤매는 문제가 있을 때
• 같은 안내 질문이 반복되고 답이 공개 규정·공고에 있을 때
• 뒤따르는 신청(D2)의 입구를 정리해 잘못된 접수를 줄이고 싶을 때

이럴 때는 쓰지 않는다

• 개인별 요건 충족 판정이 필요하면 D3 자격·심사
• 개인 상황에 맞춘 정보·처방·법령 해석을 주면 D7 상담·처방
• 이용자가 기관 내부 담당자면 D8.1 탐색·조회

얻는 것

• 창구를 찾아 헤매는 시간 감소
• 반복 안내 업무 경감
• 후속 신청(D2)의 입구 정리

점검표

• 안내마다 근거 출처가 보이는가
• "공식 판단 아님" 고지가 화면에 있는가
• 규정 밖 질문을 사람에게 넘기는 경로가 있는가
• 평가 세트로 안내 정확도를 재는가
• 모델 장애 시에도 안내가 멈추지 않는가

구조 — 참여 부품

• 국민·기업 — 자기 상황을 말하고 받을 서비스와 창구를 찾는 주체
• B3 지식 접지 상담 — 공개 문서에 접지해 안내 답변을 생성
• B0 결정적 도구(탐색기) — 조건 선택으로 해당 서비스 목록을 좁힘
• F1 출처 표시 — 안내의 근거 문서·데이터를 보여 줌
• F7 한계·신뢰도 안내 — 공식 판단이 아님과 안내 범위를 고지
• 담당자 — 라우터가 넘긴 판단 필요 질문을 처리

변형

• 조건 탐색형: B0 탐색기. 나이·가구·지역 같은 조건을 넣으면 받을 수 있는 서비스 목록을 준다(생애주기 혜택 내비게이터).
• 접지 질의응답형: B3 대민 자동응답형. 자유 질의에 공개 규정·공고로 답하고 예외만 이관한다.
• 비LLM 공공데이터 안내형: 모델 없이 A1 결정론 조회로 안내한다. 유형 1의 A2 요건을 A1로 대체한다(R21).

참조 구현 예

• 생애주기 혜택 내비게이터 — 카탈로그 D1 카드의 B3·B0 탐색기 예

관련 부품

D4 다음 단계 — 판단이 필요한 질문의 이관처 · D7 이웃 블록 — 개인 맞춤 정보·처방 · D2 후속 블록 — 안내 뒤 신청 · S4 필수 보안 — 대민 챗봇의 기본형 · C7 상시 서비스 필수 통제

참고 자료

Davis Levine, Service Design Patterns: An alpha list of patterns (2017) · 카탈로그 §7.3 유형 ① 대민 상담·안내 · 카탈로그 §7.4 유형 ① 위협 모델

이 부품과 이어지는 가이드라인

• AI 정부 서비스 사례집 행정안전부(NIA 공동), 2026.3(게시 2026.3.24).

웹북에서 전체 프로필 보기 ↗ · 패턴 성좌 디렉터리에서 보기 ↗

검색 결과·첨부·API 응답을 읽은 모델이 그 안의 문장을 새 명령으로 받아 도구를 부르는 구조를, 탐지 필터 하나로 지키려는 함정이다.

맥락

E4가 P2 이상(시스템 쓰기·처분 보조)이면서 민원 입력·제출 서류·웹 문서·타 기관 API 응답 같은 신뢰 불가 입력을 읽는 에이전트. 특히 B6·5b 데이터 에이전트.

맞서는 힘(긴장)

• 범용 에이전트의 유연성 vs 신뢰 불가 입력 뒤의 행동 제약
• 단일 LLM 구조의 단순함 vs 격리·계획 고정의 설계 비용
• 탐지 필터의 손쉬움 vs 증명 가능한 보증

해법

과제의 AI가 읽는 입력 중 기관 밖에서 작성된 것을 untrusted_inputs로 나열하고, §4.2 신뢰 불가 입력 규칙대로 S4 행동 선택기(미리 정한 행동 중 선택만, 결과가 LLM으로 돌아가지 않음), S5 계획 후 실행(외부 데이터를 읽기 전에 도구 호출 계획을 고정), S6 격리 LLM(도구 있는 LLM은 외부 데이터를 읽지 않고, 읽는 LLM은 도구가 없음) 중 하나를 갖춘다. S3 컨텍스트 방화벽과 S8 독립 검증기는 보조로 붙이되 S8만으로는 규칙을 충족하지 못한다. C8 승인 게이트도 신뢰 불가 입력 규칙의 대체 통제로 인정되지 않는다(R6). 그 전 단계에서는 E4를 P0~P1 읽기·산출물 범위에 묶어 두는 것이 곧 보안이다.

이럴 때 쓴다

• E4가 P2 이상이고 untrusted_inputs가 비어 있지 않은데 S4·S5·S6이 모두 없다(신뢰 불가 입력 규칙 위반)
• 외부 문서를 읽는 LLM이 같은 컨텍스트에서 쓰기 도구를 호출할 수 있다
• 인젝션 대책이 탐지 필터·프롬프트 경고문뿐이다
• 읽은 텍스트 중 어떤 것이 어떤 도구를 부를 수 있는지 답하지 못한다

이럴 때는 쓰지 않는다

• E4가 P0~P1로 읽기·산출물 생성에만 묶여 도구 호출·시스템 쓰기가 없는 경우(S4·S5·S6 판정 전제 불충족, R6)
• S4·S5·S6 중 하나가 구조적으로 갖춰진 경우(보안 목적 서술이 없어도 구조가 일치하면 충족)
• AI가 읽는 입력이 모두 기관 내부에서 작성된 경우

얻는 것

• 단일 LLM 범용 에이전트로 구조가 단순하다
• 새 입력·새 도구를 자유롭게 붙인다

점검표

• untrusted_inputs가 나열되어 있는가
• 신뢰 불가 입력을 읽은 LLM이 쓰기 도구를 직접 부를 수 없는가
• S4·S5·S6 중 하나가 구조로 구현되어 있는가
• S8 탐지를 유일한 방어로 두지 않았는가

구조 — 참여 부품

• S4 행동 선택기 — LLM이 정해진 행동 중 선택만 하게 제약
• S5 계획 후 실행·코드 후 실행 — 외부 데이터를 읽기 전에 도구 계획 고정
• S6 격리 LLM·맵리듀스 — 읽는 LLM과 도구 있는 LLM을 분리
• S8 독립 검증기·이중 심판 — 보조 탐지. 단독으로는 보증이 아님

변형

• 문서 속 지시: 첨부·제출 서류 안의 문장대로 에이전트가 도구를 호출
• API 응답 오염: 타 기관 API·웹 검색 결과에 섞인 지시가 후속 행동을 바꿈
• 탐지 단독 방어: 인젝션 탐지 필터(S8) 하나만 두고 구조적 제약이 없음

관련 부품

S6 대체 — 읽는 LLM과 도구 있는 LLM 격리 · S5 대체 — 외부 데이터 읽기 전 계획 고정 · S4 대체 — 정해진 행동 중 선택만 · S3 보조 — 신뢰 구역 분리 표기 · S8 보조 — 탐지(단독으로는 보증 아님) · S10 기록처 — 사고 재현

참고 자료

Beurer-Kellner 외(2025) 지도 원칙 '신뢰 불가 입력을 읽은 뒤에는 그 입력이 결과적 행동을 촉발할 수 없도록 제약' · Beurer-Kellner #1 Action-Selector, #2·#5 Plan-Then-Execute, #3·#4 Dual LLM

이 부품과 이어지는 가이드라인

• 인공지능 위험 사례집 국가정보원, 2025.11(게시 2025.11.20).

웹북에서 전체 프로필 보기 ↗ · 패턴 성좌 디렉터리에서 보기 ↗

진위 판정 근거를 이용자 화면에 그대로 보여 줘 위조범이 탐지 기준을 역추적하게 만드는 함정이다. F9 근거 표시가 적대적 접점에서는 취약점이 된다.

맥락

D3 자격·심사, D2 접수·제출에서 제출 서류·이미지의 진위를 판정하는 B4 인식 파이프라인·B2 분류기. 이용자 중 일부가 탐지를 회피하려는 동기를 가진 경우.

맞서는 힘(긴장)

• 설명 가능성·투명성 vs 적대적 이용자의 기준 역추적
• 이용자 자기확인 편의 vs 판정 기준 보호
• 행정 절차상 사유 고지 vs 탐지 성능 유지

해법

F9 판정 근거·기여도 표시를 역할별로 나눈다. 이용자 화면에는 '정상/위조의심'만 노출하고, 의심 부위·사유 코드·기여도 같은 세부 근거는 관리자 화면에만 보여 준다(근거 은닉, anti-oracle — 카탈로그가 S 계층 후보로 둔 반대편 부품). 관리자 화면 접근은 C8 권한 경계로 제한하고, '위조의심' 건은 C1 검토 큐에서 담당자가 세부 근거를 보고 확정한다. 이용자에게는 F7 한계·신뢰도 안내로 추가 확인 절차를 알리고, 반복 제출·판정 이력은 C4·S10에 남겨 역추적 시도를 탐지할 근거로 삼는다.

이럴 때 쓴다

• 진위·위조 판정 결과와 함께 세부 근거(의심 부위·사유 코드·점수)가 제출자 화면에 표시된다
• 제출자가 근거를 보고 수정해 반복 재제출할 수 있다
• 이용자 중 탐지 회피 동기를 가진 적대자가 있을 수 있다
• 관리자와 이용자의 판정 화면이 같다

이럴 때는 쓰지 않는다

• 내부 담당자만 쓰는 판독 도구로 제출자에게 결과가 노출되지 않는 경우
• 이용자가 적대자가 아닌 접점(예: 내부 품질 점검, 자기 서류 오류 안내)에서 F9로 근거를 보여 주는 경우 — 이때 F9는 정상 부품이다
• 이용자에게 '정상/위조의심'만 보여 주고 세부 근거는 관리자 화면에 둔 경우

얻는 것

• 투명성·설명 가능성 요구를 쉽게 충족한다
• 선의의 이용자가 오류를 스스로 고칠 수 있다

점검표

• 제출자 화면에 세부 판정 근거가 노출되지 않는가
• 세부 근거가 관리자 화면에서만 보이고 접근이 제한되는가
• 위조의심 건을 사람이 확정하는가
• 반복 재제출 이력이 기록되는가

구조 — 참여 부품

• F9 판정 근거·기여도 표시 — 적대적 접점에서 역할별로 나눠야 할 설명
• 근거 은닉(anti-oracle, S 후보) — 이용자에게는 판정만, 세부 근거는 관리자에게만
• C1 검토 큐 — 위조의심 건을 담당자가 세부 근거로 확정
• C8 권한 경계 — 관리자 화면 접근 제한

변형

• 의심 부위 표시형: 이용자 화면에 BBox·히트맵으로 위조 의심 부위를 표시
• 사유 코드 노출형: 반려 사유 코드·점수를 이용자에게 그대로 반환
• 무제한 재제출형: 근거를 보고 고쳐 무제한 재제출할 수 있어 기준 탐색이 가능

관련 부품

F9 교정 대상 — 적대적 접점에서 관리자 화면 전용으로 · C8 끼울 자리 — 관리자 화면 접근 제한 · C1 짝 — 위조의심 건의 사람 확정 · F7 이용자 쪽 대응 — 판정만 알리고 다음 절차 안내 · D3 발생 접점 — 자격·심사

참고 자료

카탈로그 §6 F9 카드(적대적 D3에서는 관리자에게만 노출)

웹북에서 전체 프로필 보기 ↗ · 패턴 성좌 디렉터리에서 보기 ↗