Appearance

설계 심화 4/4 — 도메인마다 무엇을 깊이 고민해야 하나: 금융·의료·법률·공공·제조·커머스·교육·사내 운영 ​

앞의 세 편은 기술 축이었다. 데이터 파이프라인, 워크플로우, 화면. 이번 글은 축을 돌려서 도메인에서 본다. 같은 하이브리드 검색과 같은 승인 게이트가 금융에서는 "재현 가능한가"를, 의료에서는 "이게 의료기기인가"를, 커머스에서는 "이 안내에 회사가 책임지나"를 묻는다. 기술은 같은데 질문이 다르다. 그리고 내 경험상 설계 문서의 점수를 가르는 건 기술 선택보다 그 도메인의 질문을 제대로 꺼냈느냐다.

이 글을 쓰면서 도메인마다 다섯 가지를 물었다.

  1. 규제가 실제로 무엇을 요구하나(이름이 아니라 조항 수준에서)
  2. 근거 데이터의 성격이 무엇인가(버전, 권한, 식별 정보)
  3. 틀리면 누가 얼마나 다치나
  4. 사람이 어디에 서 있나(보조, 승인, 책임)
  5. 무엇을 재야 성공인가

날짜와 수치는 2026-10-10 기준이고, 벤더 자체 수치나 2차 출처만 본 것은 그렇게 적었다.

먼저 모든 도메인 위에 깔린 것들 ​

규제 일정부터 정리한다. 2026년에 꽤 많이 움직였다.

항목상태
한국 AI 기본법2026-01-22 시행. 고영향 AI 사업자 의무: 위험관리방안, 설명방안, 이용자 보호, 사람의 관리·감독, 문서 작성·보관(§34). 과기정통부가 최소 1년 계도기간을 밝혔지만 행정 방침이지 법령상 유예는 아님
개인정보보호법 §37조의22024-03-15 시행. 완전히 자동화된 결정에 대한 거부권과 설명요구권
개인정보위 생성형 AI 안내서2025-08-06. 목적 설정→전략→학습·개발→적용·관리 4단계별 기준
EU AI ActGPAI 의무는 2025-08-02 시행 그대로. Digital Omnibus(Regulation 2026/1744, 2026-07-27 발효)로 Annex III 독립형 고위험(신용평가·채용·교육)은 2027-12-02, 제품 내장형(의료기기·기계)은 2028-08-02로 연기
ISO/IEC 420012023-12 발행 AI 경영시스템. AWS(2024-11), Anthropic(2025-01) 등 인증. 전 세계 인증 건수는 공식 집계 없음
NIST AI 600-12024-07 생성형 AI 프로파일, 12개 고유 리스크

EU 연기를 "완화"로 읽으면 안 된다는 게 법무법인들의 공통 해석이다. 기술 표준이 안 나와서 밀린 것이지 기대 수준이 내려간 게 아니다. 그리고 한국은 이미 의무가 발생했다. 시험 답안이든 설계 문서든 "AI 기본법 고영향 여부 판단"이 첫 줄에 와야 하는 이유다.

§37조의2는 생각보다 자주 걸린다. 추천은 결정이 아니지만 거절, 한도, 가격 차등은 결정이다. 그리고 "완전히 자동화된"의 해석에서, 사람 이름만 얹는 형식적 개입은 회피로 보일 수 있다는 해설(지평)이 있다. 연재 3편에서 EU AI Act 14조의 자동화 편향 얘기를 했는데, 한국법에서도 같은 걱정이 조문에 들어 있다.

금융: 재현 가능한 판단 ​

금융은 한국에서 규제가 가장 구체적으로 움직인 도메인이다. 2021-07 금융분야 AI 가이드라인이 2026-06-22 전면 개정 시행됐다. 7대 원칙(거버넌스, 합법성, 보조수단성, 신뢰성, 금융안정성, 신의성실, 보안성)에 AI 위험관리 프레임워크와 금융보안원 AI 보안 안내서가 같이 나왔고, 비금융사라도 금융거래에 영향을 주면 적용된다. 핀테크 SaaS 벤더도 대상이라는 뜻이다.

망분리는 2024-08 로드맵으로 열렸다. 1단계가 샌드박스로 생성형 AI와 가명정보 처리 허용, 2단계가 개인신용정보 직접 처리. 혁신금융서비스로 지정된 생성형 AI 서비스가 2024-11 첫 10건에서 2026-04 기준 누적 169건, 45개 출시까지 왔다. 2026-07 정례회의에서는 신규 31건 중 24건이 임직원·고객 대상 생성형 AI 활용이었다.

여기서 설계에 직접 걸리는 디테일이 하나 있다. 샌드박스 지정 서비스는 모델 버전을 바꾸는 것도 절차 대상이었다. 2026-04에 저위험 변경은 서면 확인으로 간소화됐지만, 어쨌든 모델 교체가 규제 이벤트라는 걸 아키텍처가 전제해야 한다. 모델 호출을 추상화하고 버전을 메타데이터로 남기는 건 이 도메인에서 선택이 아니다.

글로벌 쪽에서는 두 가지를 알아 두면 된다. 미국 CFPB Circular 2023-03은 복잡한 알고리즘이나 AI로 심사했더라도 거절 사유를 구체적이고 정확하게 통지해야 한다고 못 박았다. 샘플 체크리스트 사유를 돌려쓰면 안 된다. 그리고 SR 11-7(연준 모델 리스크 관리)은 "결정에 쓰이면 모델"이라 LLM에도 적용되는데, 비결정성과 서드파티 파운데이션 모델, 고정 스펙 부재가 기존 모델 리스크 관리의 가정을 깬다는 지적이 많다.

그래서 이 도메인의 비싼 실패는 두 가지다. 숫자 환각(금리, 한도, 수수료)과 결정 비일관성. 같은 조건에 다른 답이 나오면 설명 의무를 지킬 수 없다. 대응은 LLM에게 숫자를 쓰게 하지 않는 것(서버 값으로 렌더, 연재 8편), 판단은 규칙 검증과 일치도 투표로 확정하는 것, 그리고 판단 근거를 재현 가능하게 기록하는 것. 삼성화재가 OCR+생성형 AI 의료심사로 암 심사의 인력 검토 비중을 약 55% 줄였다는 보도(2차 출처)가 있는데, 저 55%는 자동 확정이 아니라 "사람이 볼 필요가 없는 건"의 비율이다. 보조수단성 원칙이 실제로 그렇게 생겼다.

콜센터 요약(신한라이프 통화 즉시 요약, AIA 실시간 규정 추천)은 상대적으로 쉬운 축이다. 결정이 아니라 보조이고, 틀려도 사람이 고친다. 처음 들어가는 서비스를 고르라면 나는 늘 이쪽부터 권한다.

의료: 초안도 의료기기일 수 있다 ​

한국은 디지털의료제품법이 2025-01-24 시행됐고 같은 날 식약처가 "생성형 인공지능 의료기기 허가·심사 가이드라인"을 냈다(세계 최초를 표방). 변경관리계획을 미리 제출하면 그 안의 변경은 보고로 처리된다는 게 핵심인데, 이건 금융의 모델 교체 문제와 같은 얘기다. 변경을 미리 범위로 정의해 두면 매번 심사를 안 받는다. AI SW 의료기기 허가는 2023년 62건, 2024년 108건, 2025년 157건으로 늘었다(2차 출처).

내가 가장 눈여겨본 건 흉부 X-ray 소견서 초안을 생성하는 생성형 AI가 혁신의료기기로 지정됐다는 사실이다. "초안이니까 의료기기가 아니다"라는 가정이 깨진다. 보조(assistive)와 진단(diagnostic)의 경계가 "최종 서명을 누가 하느냐"가 아니라 "출력이 임상 판단에 들어가느냐"로 그어진다. 미국 FDA도 2025-01 초안 가이던스에서 AI 탑재 기기의 생애주기 관리를 다루고, 2026-06 기준 승인 목록 약 1,614건(2차 집계, 연간 수치는 출처마다 다름)에 대해 LLM 등 파운데이션 모델 탑재 기기를 태깅하는 방법을 찾고 있다고 명시했다. 파운데이션 모델 버전 추적이 제출 서류가 될 날이 멀지 않았다.

실무에서 가장 많이 들어간 건 ambient documentation(진료 대화 자동 기록)이다. 그런데 결과가 흥미롭다.

  • UCLA의 NEJM AI 무작위 대조 시험(238명 의사, 14개 과): Nabla는 문서화 시간 9.5% 감소(유의), DAX Copilot은 감소폭이 작고 비유의. 번아웃과 업무 부하는 둘 다 소폭 개선.
  • Yale 주도 JAMA Network Open(6개 시스템 263명, Abridge, 30일): 번아웃 51.9%→38.8%, 시간 외 문서화 0.9시간 감소.
  • NYU Langone의 GPT-4 환자 메시지 초안: 정확성·완전성·톤에서 통계적 차이 없음. UCSD 시험: 응답 시간은 안 줄고 인지 부담은 감소.

"시간 절감"으로 ROI를 설득하면 실패한다. 측정 가능한 건 번아웃과 인지 부담이다. 효과 지표를 잘못 잡으면 좋은 시스템도 사업이 안 된다.

데이터 쪽은 1편의 PII 원칙이 가장 세게 적용되는 곳이다. PHI는 임베딩 전에 비식별화한다. 비대면진료는 의료법 개정안이 2025-12 통과돼 2026-12 시행 예정인데 대면 원칙·재진 중심이라, AI가 진료 범위를 넓히는 설계는 법이 허용하는 범위를 먼저 봐야 한다.

법률: 있는가가 아니라 그 날짜에 유효했는가 ​

1편에서 Stanford HAI의 misgrounded(법리는 맞는데 인용이 안 받쳐 줌) 개념과 Lexis+ 17%, Westlaw 34% 환각률을 썼다. 그 뒤로 숫자가 더 쌓였다. Damien Charlotin의 AI 환각 판례 DB는 2026-10-09 기준 약 2,180건이다. 미국 1,492, 캐나다 229, 호주 112, 영국 76. 2026년 여름엔 하루 4~8건씩 늘었다. 주목할 건 본인소송(pro se) 1,255건이 변호사 864건보다 많다는 점. B2C 법률 챗봇의 책임 범위가 B2B보다 넓다는 뜻이다.

한국도 사례가 생겼다. 2025-09 지방 형사재판부에서 변호사 의견서가 인용한 판결 5건이 법원 전산망에 없었고, 변호사가 AI 사용을 인정하고 철회했다. 대법원 법원행정처는 2026-03 TF 결과로 허위 판례로 비용·지연이 생기면 당사자가 소송비용을 부담하고, 미검증 제출 변호사는 변협 징계를 의뢰하며, 인용 법령·판례 자동 검증 기능을 만들겠다고 했다.

설계에서 깊이 봐야 할 건 두 겹이다. 첫째, 인용 검증은 "존재하는가"가 아니라 **"그 날짜에 유효했는가"**다. 법령은 개정되고 판례는 변경된다. 유효일(effective date) 메타데이터가 있는 버전드 법령 DB 없이는 검증이 안 된다. 1편 메타데이터 스키마의 source_updated_at이 여기서는 법적 의미를 갖는다. 둘째, 한국 특유의 비정형 규제가 있다. 변협 "변호사 광고에 관한 규칙" §5(2024-10)가 변협 미인증 AI 법률 프로그램 광고를 금지한다. 법무법인 대륜이 2025-01 인증 기준 미공개를 들어 헌법소원을 냈다. "AI 변호사"라는 마케팅 자체가 리스크다. 로톡 사건(2022 불기소, 2023 징계 취소, 세부 일자는 미확인)이 보여 주듯 이 도메인은 기술보다 직역 갈등이 먼저 온다.

공공: 공통 기반을 먼저 쓰라는 방향 ​

공공은 AI 기본법의 고영향 의무가 가장 직접 걸리는 곳이다. 거기에 두 가지가 더 얹힌다.

행안부는 2023-05 챗GPT 주의사항 안내서(비공개·개인정보 입력 금지, 답변 검증)에서 시작해 2025-11 공공부문 AI 윤리원칙(안)(6대 원칙, 90여 개 점검 항목), **2026-06-10 「공공부문 AI 도입·활용 가이드」**까지 왔다. 이 가이드는 2026-08-28 시행된 「인공지능 및 데이터 기반 행정 활성화에 관한 법률」 개정에 대응하는데, 핵심이 범정부 AI 공통기반 우선 이용이다. 대구센터에 생성형 모델 30여 종, 행정 공통 RAG DB 10종, 학습 데이터 13만 건 이상. 기관별로 벡터DB를 따로 세우는 설계는 2026-08 이후 조달에서 불리해질 가능성이 크다. 공공 제안서에 "자체 RAG 구축"을 쓰기 전에 공통 기반에 뭐가 있는지 확인하는 게 먼저다.

국정원은 2025-12-10 「AI 보안 가이드북」(2023-06 생성형 AI 가이드라인의 개정판)을 냈다. 15개 위협, 30개 대책, 57개 체크리스트. 생성형·에이전틱·피지컬 AI를 포함한다. 공공 납품이면 이 체크리스트가 보안성 검토의 사실상 기준이 된다.

설명 의무는 겹친다. §37조의2 설명요구권, AI 기본법 §34 설명방안, 그리고 행정 처분 자체의 이유 제시 의무. 행정 결정에 AI가 끼면 세 층의 설명을 한 번에 만족해야 하는데, 실무적으로는 연재 3편의 감사 로그에 "어느 근거 문서의 어느 조항"까지 남기는 것으로 귀결된다.

제조·피지컬: 제안에서 실행으로 넘어갈 때 ​

제조는 규제보다 안전 아키텍처가 먼저다. Siemens Industrial Copilot은 2024-10 기준 100개 이상 고객이었고, 2026-04 Hannover Messe에서 TIA Portal에 직결되는 Engineering Agent를 GA했다(2~5배 속도, 품질 +80%는 벤더 수치). Siemens 스스로 "제안에서 실행으로" 넘어간다고 표현하는데, 이 한 줄이 설계 1순위를 정한다. OT에 쓰기 권한을 가진 에이전트.

2025-12부터 2026-05 사이 CISA·NSA 등이 세 건의 공동 지침을 냈고 마지막이 2026-05-01 Five Eyes "Careful Adoption of Agentic AI Services"(5개 리스크군, 23개 리스크, 100개 이상 모범 사례)다. 공통 결론은 에이전트를 예측 불가능하다고 전제하고 최소 접근, 봉쇄와 되돌림(reversibility) 우선. IEC 62443의 zone/conduit 모델에서 에이전트는 Purdue L3~3.5(운영 관리)에만 두고, L1~2(제어)는 감사되는 게이트웨이를 거친다. (CSA 연구 노트 경유로 확인한 2차 출처)

2편의 lethal trifecta를 OT에 대입하면 "외부 통신"이 "제어 명령"으로 바뀐다. 끊어야 할 고리가 명확하다. 그리고 SOP·매뉴얼 RAG는 다국어와 도면 때문에 텍스트 청킹만으로 부족한데, 이건 내 경험칙이고 수치 근거는 못 찾았다. 1편의 ColPali 같은 시각 검색이 "보조 인덱스"로 가장 먼저 쓸모를 보일 곳이 여기라고 생각한다.

커머스·고객지원: 안내만으로도 책임진다 ​

이 도메인의 교과서 판례는 Moffatt v. Air Canada(캐나다 BC 민사분쟁심판소, 2024-02-14)다. 챗봇이 사별 할인을 잘못 안내했고, 항공사는 "챗봇은 별개의 법인격"이라고 주장했다가 기각됐다. 웹사이트 정보 전체에 회사가 책임진다. 배상액은 812 캐나다달러로 작았지만 선례가 됐다. 돈이 움직이지 않아도, 안내만으로도 책임이 생긴다.

Klarna는 반전 사례다. 2024-02에 AI 어시스턴트가 첫 달 230만 대화를 처리하고 700명 상당의 일을 하며 해결 시간을 11분에서 2분으로 줄였다고 발표했다가, 2025-05 CEO가 "비용이 지배적 평가 요소가 되면 품질이 떨어진다"며 사람 상담원을 다시 뽑았다. "원하면 항상 사람"으로 돌아갔다. Intercom Fin이 공개하는 평균 해결률 76%(12,000개 이상 고객, 벤더 수치)도 "해결"의 정의가 각주에 없다. 해결률 KPI만 쫓으면 Klarna 경로를 간다.

설계로 옮기면 세 가지다. 환불·결제처럼 돈이 움직이는 액션은 도구 호출을 분리하고 승인 게이트를 둔다(2편 고객지원 케이스). 상품 카탈로그와 정책 문서의 freshness SLO가 곧 법적 책임이다. 인덱스가 어제 가격을 알고 있으면 Air Canada가 된다. 그리고 개인화는 §37조의2 범위를 본다. 추천은 결정이 아니지만 가격·혜택 차등은 걸릴 수 있다.

교육·HR: 벤더가 감사했다는 말은 방어가 안 된다 ​

채용은 규제가 세 겹이다. 한국 AI 기본법 고영향(채용 심사), §37조의2, 그리고 EU AI Act Annex III 고용(2027-12). 교육도 EU에서 고위험(입학·평가·수준 배정·시험 부정 감시)이다.

실제 집행이 어떤지 보여 주는 자료가 있다. 뉴욕시 Local Law 144(2023-07 시행, 자동 채용 결정 도구의 연 1회 편향 감사·공개·후보자 고지)에 대한 뉴욕주 감사관 보고(2025-12-02). 시 소비자보호국이 32개 감사를 검토해 1건만 지적했는데 감사관은 17건 이상에서 문제를 찾았고, 2년간 민원은 2건, 311 테스트 12건 중 3건만 제대로 라우팅됐다. 법이 있어도 집행은 느슨하다는 얘기인데, 그걸 안심으로 읽으면 안 된다. 민사가 따로 온다.

Mobley v. Workday가 그 민사다. 2025-05 연령차별 집단소송이 예비 승인됐고, 2025-07 HiredScore 기능을 쓰는 고객까지 범위가 넓어졌으며, 2026년 디스커버리가 진행 중이다. 피고가 고용주가 아니라 벤더다. "벤더가 편향 감사를 했다"가 고용주의 방어가 안 되고, 벤더 입장에서는 자기 고객의 채용 결과에 대해 소송을 당한다.

교육은 방향이 반대다. 미 교육부 2025-07 지침은 연방 자금 AI를 "educator-led, 교사 대체가 아닌 보조"로 못 박았다. Khanmigo가 소크라테스식으로 답을 안 주는 설계를 택한 건 유명하다. 다른 모든 도메인이 "더 잘 도와주는" 설계를 고민할 때 교육은 덜 도와주는 설계를 고민한다. 이건 가드레일이 아니라 제품 정의의 문제라서, 프롬프트 한 줄로 안 되고 평가셋 자체가 "답을 줬는가"를 실패로 채점해야 한다. FERPA에 생성형 AI 전용 지침은 없고 일반 조항이 적용된다.

사내 지식·IT 운영: 읽을 수 있던 것이 찾을 수 있게 된다 ​

1편에서 사내 문서 Q&A의 중심은 품질이 아니라 권한이라고 썼다. 근거가 되는 숫자가 Microsoft Copilot 도입기에 나왔다. Concentric의 데이터 리스크 보고서에 따르면 업무상 핵심 데이터의 16%가 과공유 상태이고 조직당 평균 80만 파일이 위험하며 83%는 내부 과공유다. 조직당 약 300만 민감 레코드에 Copilot이 접근 가능하다는 조사도 있다(2차 출처). Microsoft는 2024-11 Oversharing Blueprint를 내고 SharePoint Advanced Management을 Copilot 라이선스에 포함시켰다.

여기서 깊이 봐야 할 건 권한 상속 실패의 성격이다. 문제는 권한이 잘못된 게 아니라, 원래 읽을 수는 있었지만 아무도 찾지 못하던 문서가 검색으로 "찾을 수 있게" 되는 것이다. RAG는 기존 권한 모델의 느슨함을 드러낸다. 그래서 사내 RAG 프로젝트의 절반은 사실 권한 정리 프로젝트다.

운영 에이전트 쪽은 벤더가 먼저 선을 그었다. Datadog Bits AI SRE는 2025-12 GA, 2026-06에는 롤백·재시작·플래그 변경을 자동 실행할 수 있게 됐지만 RBAC·정책 엔진·감사 로그·온콜 승인을 필수로 두고, 금융 같은 곳에는 "제안과 문서화만 하는 assistance mode"를 권고한다. PagerDuty는 2026-03 SRE Agent를 에스컬레이션 정책의 "가상 응답자"로 넣었다. 만드는 쪽조차 읽기 전용 기본 + 쓰기는 사람 승인으로 출하한다. 우리가 그보다 공격적으로 갈 이유는 없다.

가장 비싼 실패는 도메인마다 다르다

금융은 비일관성, 의료는 "의료기기인 줄 몰랐다", 법률은 유효하지 않은 인용, 공공은 설명 불능, 제조는 되돌릴 수 없는 제어, 커머스는 잘못된 안내, 채용은 벤더 소송, 사내는 권한 누수. 설계 문서는 이 중 자기 것 하나를 첫 페이지에 써야 한다.

한눈에 ​

도메인가장 무서운 실패사람의 위치핵심 지표먼저 읽을 것
금융결정 비일관성, 숫자 환각최종 결정 주체(보조수단성)사람 검토 비중, 번복률금융 AI 가이드라인 2026 개정, §37조의2
의료초안이 의료기기였음임상 판단 서명번아웃, 인지 부담디지털의료제품법, 식약처 생성형 AI 가이드라인
법률그 날짜에 무효인 인용제출 전 검증인용 검증 통과율대법원 2026-03 조치, 변협 광고규칙 §5
공공설명 불능, 공통기반 미이용처분권자설명 가능 비율AI 기본법 §34, 행안부 2026-06 가이드, 국정원 가이드북
제조되돌릴 수 없는 제어 명령실행 승인되돌림 가능 비율Five Eyes 2026-05, IEC 62443
커머스·CS잘못된 안내돈 액션 승인, 사람 전환해결률의 정의, freshnessAir Canada 판례, §37조의2
교육·HR벤더가 피고 / 답을 줘 버림교사 주도, 채용 결정권편향 감사 실효성LL144 감사관 보고, Workday 소송
사내·운영권한 누수, 자동 실행쓰기 승인과공유 파일 수Oversharing Blueprint, Datadog assistance mode

서술형 답안 뼈대: 도메인 질문 다섯 개 ​

1~3편의 기술 뼈대 앞에 이 다섯 줄을 붙이면 된다.

  1. 규제: AI 기본법 고영향 해당 여부, §37조의2 "결정" 해당 여부, 도메인 전용 가이드라인(금융 7원칙, 식약처, 국정원 체크리스트) 중 조항 수준으로 무엇이 걸리는가
  2. 근거 데이터의 성격: 유효일이 법적 의미를 갖는가(법률·금융 약관), 식별 정보를 임베딩 전에 지워야 하는가(의료·HR), 권한이 품질보다 앞서는가(사내·공공)
  3. 실패 비용: 위 표의 실패 하나. 누가 다치고 어떤 책임(민사·행정·규제)이 따라오는가
  4. 사람의 위치: 보조인가 승인인가 책임인가. 형식적 개입이 되지 않도록 어떤 UI와 지표(번복률, 검토 시간)를 두는가
  5. 측정: 시간 절감이 아니라 그 도메인에서 실제로 움직이는 지표(번아웃, 해결률의 정의, 되돌림 가능 비율)

이 다섯 줄이 있으면 뒤의 기술 선택이 전부 "왜"를 갖게 된다. 없으면 기술 나열이 된다.

아직 고민 중인 부분 ​

AI 기본법의 고영향 영역 열 가지를 법문에서 직접 다 확인하지 못했다(채용·대출 심사는 확인). 설계 문서에 쓸 때는 조문을 열어 봐야 한다. 그리고 "보조수단성"이라는 원칙이 실제 감독 현장에서 어디까지를 형식적 개입으로 볼지는 아직 사례가 없다. 삼성화재의 55%가 괜찮다면 80%는 어떤가. 모르겠다. 마지막으로 공공의 공통 RAG DB가 기관 고유 문서를 어디까지 받아 줄지, 그래서 자체 구축이 정말 불필요해지는지는 2026-08 이후 조달 사례를 봐야 안다.

네 편이 끝났다. 기술 세 편과 도메인 한 편. 둘을 겹쳐 놓으면 "이 도메인의 가장 무서운 실패를 이 기술로 막는다"는 한 문장이 나오고, 그게 설계 문서의 첫 문장이어야 한다고 생각한다.

연재 목차: 1편 · 2편 · 3편 · 4편(현재)

참고자료 ​