5분
에이전트 평가 1/4 — 평가셋 50개로 82% vs 78%, 이긴 건가
프롬프트를 고쳤더니 통과율이 78%에서 82%로 올랐다. 평가셋 크기와 신뢰구간을 슬라이더로 바꿔 보며, 이 4%p가 진짜 개선인지 노이즈인지 가려 본다.
에이전트 평가, 만져 보며
에이전트를 만들다 보면 숫자가 계속 나온다. 통과율 82%, 판정자 일치율 90%, 검증기 재현율 95%. 그런데 이 숫자를 보고 "그래서 배포해도 되나?"에 답하려면, 숫자가 어떻게 움직이는지 감이 있어야 한다. 공식을 외우는 것보다 슬라이더를 한 번 끝까지 밀어 보는 게 빠를 때가 많다.
그래서 각 편마다 직접 만질 수 있는 위젯을 하나씩 넣었다. 대상 독자는 에이전트를 실제로 만들고 있거나 만들려는 개발자다.
- 오차 막대 — 평가셋 50개로 82% vs 78%가 나왔다. 정말 이긴 건가
- LLM 판정자 — 사람과 90% 일치한다는 판정자를 믿어도 되나
- 검증기 문턱값 — 정밀도·재현율이 아니라 비용으로 문턱값 정하기
- 검증과 재시도 — 단계마다 검증을 붙이면 끝까지 성공률은 얼마나 오르고, 비용은 얼마나 드나
먼저 Pass@k와 Pass^k, 슬라이더로 직접 만져 보기를 읽고 오면 4편이 더 잘 읽힌다. 평가셋을 어떻게 만들고 트레이싱을 어떻게 붙이는지는 AI 연재 2/9에서 다뤘으니, 여기서는 나온 숫자를 읽는 쪽에 집중한다.
6분
에이전트 평가 2/4 — 사람과 90% 일치하는 LLM 판정자, 믿어도 될까
일치율 90%짜리 판정자 셋이 실제로는 전혀 다른 판정자일 수 있다. 판정자의 민감도·특이도를 슬라이더로 바꿔 보며 일치율, 코헨 카파, 판정자가 보고하는 합격률이 어떻게 갈리는지 본다.
5분
에이전트 평가 3/4 — 검증기 문턱값, F1 말고 비용으로 정하기
에이전트 출력을 검증기가 점수 매기고, 낮으면 막아서 사람에게 보낸다. 문턱값을 직접 옮겨 보며 재현율·정밀도·사람 검토량·비용이 어떻게 맞바뀌는지, 왜 F1 최대 지점이 정답이 아닌지 본다.
7분
에이전트 평가 4/4 — 단계마다 검증과 재시도를 붙이면 무엇이 바뀌나
6단계 에이전트의 끝까지 성공률은 53%. 단계마다 검증기를 붙이고, 막히면 다시 시키면 얼마나 오를까. 검증기 재현율·오탐·재시도 횟수를 직접 움직여 보며 정답·조용한 오류·사람에게 넘김이 어떻게 나뉘는지 본다.