Appearance

AI 연재 보강 3 — 챗봇이 한 말은 회사의 약속인가: 고객 보상 챗봇의 책임과 가드레일 ​

"보상"을 불편이나 오류에 대한 환불·배상·쿠폰 같은 고객 보상(CS)으로 읽을 때의 이야기다. 이 해석에서는 기술보다 먼저 책임 문제가 나온다. 챗봇이 "환불해 드릴게요"라고 말했는데 정책은 환불 불가라면, 누구 말이 맞는가.

Moffatt v. Air Canada ​

가장 많이 인용되는 사건이다. 먼저 한계부터 적는다. 판정 원문(CanLII와 BCCRT 사이트)은 접속이 안 되어 열지 못했고, CBS와 로펌 해설 같은 2차 자료로 확인했다. 그래서 세부 법리는 길게 쓰지 않는다.

사실관계는 이렇다. 2022년 11월 한 승객이 할머니의 장례 때문에 에어캐나다 항공편을 예약했다. 웹사이트 챗봇은 일반 운임으로 먼저 구매한 뒤 90일 안에 조의 운임 환급을 신청하면 된다고 안내했다. 그런데 실제 정책은 탑승 전에 신청해야 하고 소급 적용이 안 됐다(챗봇이 링크한 페이지에도 그렇게 적혀 있었다고 한다). 환급은 거절됐다.

에어캐나다는 챗봇이 별개의 법적 주체로서 자기 행위에 책임이 있다고 주장했는데, 판정부는 이를 받아들이지 않았다. 여러 매체가 인용한 문장은 이렇다. 웹사이트의 모든 정보에 책임이 있다는 건 에어캐나다에 명백해야 하고, 정보가 정적 페이지에서 나왔든 챗봇에서 나왔든 차이가 없다. 판정부는 챗봇의 정확성에 합리적 주의를 다하지 않았다며 부실표시(negligent misrepresentation)로 보았고, 금액은 합계 약 812 캐나다달러 수준이었다(2024-02-14 판정으로 알려져 있으나 이 날짜도 2차 확인이다).

이 사건을 해석할 때 주의할 점이 있다. 법원 판결이 아니라 B.C. Civil Resolution Tribunal이라는 소액 분쟁 기구의 결정이다. 구속력 있는 선례로 쓰이기는 제한적이다. 그럼에도 "챗봇의 발언도 회사가 책임진다"는 원칙을 가장 선명하게 보여 줘서 자주 인용된다고 이해하고 있다.

정책을 지어내는 챗봇: Cursor 사례 ​

금전 분쟁은 아니지만 같은 계열의 위험이다. Fortune 보도(2025-04)에 따르면 코딩 도구 Cursor의 지원 챗봇이 기기를 바꾸면 로그아웃되는 현상을 두고 존재하지 않는 새 로그인 정책 때문이라고 안내했다. 사용자 반발과 구독 취소가 이어졌고 공동창업자가 Reddit에서 지원 봇의 잘못된 응답이라고 인정하며 사과했다. 봇이 사람처럼 보였다는 점도 비판받았다고 한다.

정책을 모르는 게 아니라 정책을 만들어 내는 게 문제의 핵심이다. 보상 맥락에서 이건 곧 "존재하지 않는 보상 약속"이 된다.

가드레일: 설명은 하되 약속은 못 하게 ​

아래는 위 사건들과 이 연재의 앞선 글에서 도출한 설계 원칙이다. 표준 가이드를 인용한 게 아니라 내 정리라는 점을 밝혀 둔다. 일부는 블로그 수준 자료에서 본 아이디어다.

1. 정책 근거를 강제한다. 보상·환불 안내는 승인된 정책 문서에서 검색한 내용만 인용하게 하고(5편의 RAG), 근거가 없으면 "확인할 수 없다"고 답하게 한다. 응답에 정책 조항 ID나 링크를 붙이면 챗봇 발언과 약관이 충돌할 때 감지하기 쉽다. Air Canada 사례에서 챗봇이 링크한 페이지가 실제 정책과 달랐다는 점을 생각하면, 응답과 근거 링크의 일치 여부를 자동으로 검사하는 게 의미가 있다고 본다.

2. 설명과 약속을 분리한다. 봇은 정책을 설명할 수는 있지만 금전적 약속을 할 수는 없게 한다. 출력에서 "환불해 드립니다" 같은 확정 표현을 걸러내는 방식도 가능하다. 이 필터가 얼마나 잘 동작하는지는 평가셋(2편)으로 재야 한다.

3. 금액 판정은 결정론적 코드가. LLM은 금액을 계산하거나 확정하지 않는다. 한도와 자격은 규칙 엔진이 판정하고, 일정 금액을 넘으면 사람이 승인한다. 6편의 도구 권한 원칙, 3편의 사람 검토와 같다. 앞 보강 글에서 본 Allianz Nemo가 지급 결정을 사람에게 남겨 둔 것도 같은 발상이다.

4. 사람으로 넘기는 길. 고객이 언제든 사람을 요청할 수 있어야 하고, 같은 주제에서 봇이 반복해서 막히면 자동으로 넘긴다. "두 번 실패 후 이관" 같은 기준을 내건 글을 보긴 했지만 근거가 약한 블로그 수치라서 임계값은 서비스별로 정해야 한다.

5. AI임을 알리고 기록한다. 인공지능기본법 제31조 제1항은 고영향·생성형 AI 기반 서비스임을 이용자에게 사전에 고지하도록 한다(국가법령정보센터 원문 확인). 대화 로그와 근거 정책 버전은 분쟁이 생겼을 때 "그때 봇이 뭐라고 했는가"를 재현하는 증거가 된다. 3편에서 말한 감사 로그다.

정책 문서에도 버전이 있어야 한다

분쟁이 나면 "당시의 정책이 무엇이었는가"가 쟁점이 된다. 정책 문서를 RAG 인덱스에 넣는다면 문서 버전과 시행일을 같이 저장해 두자. 인덱스가 갱신된 뒤에는 과거 응답의 근거를 복원할 수 없다.

열려 있는 질문 ​

  • 챗봇 발언이 어디까지 회사의 약속으로 인정되는가는 나라와 사건마다 다를 수 있다. 한국에서의 판단 사례는 이번에 찾지 못했다
  • 사용자가 "상담원이 약속했어"라고 설득하는 경우, 즉 대화로 정책을 우회하려는 시도를 얼마나 막을 수 있는가는 보강 4에서 어뷰징과 같이 다룬다

보강 글 목차: 1 · 2 · 3(현재) · 4 리워드·포인트 지급 설계

참고자료 ​

멸종 위기 개발자

© 2026 Shoney. All rights reserved.