협상을 잘해도 원치 않는 책을 받는 이유: Project Swap의 목표 추정 오류
선호 추정에서 생긴 0.29점의 손실과 협상 과정의 0.05점을 분리한다. 교육 추천의 세 후보를 추적해 필수 조건과 선호 순위를 다르게 검증하는 방법을 설명한다.
Anthropic이 2026년 9월 24일 공개한 Project Swap 보고서 (https://www.anthropic.com/research/project-swap (새 창))와 부록을 바탕으로, 사용자의 선호가 개입하는 서비스의 검증 절차를 제안한다.
사용자가 매긴 순위를 에이전트에게 숨겼다
연구는 직원 201명이 책을 교환하는 방식으로 진행됐다. Fable 5가 짧은 대화로 읽고 싶은 책의 순위를 추정하면, 거래 에이전트는 그 순위를 목표로 삼아 책을 교환했다. 사람과 모델의 책 쌍별 선호 일치율은 61%였다.
부록 E (https://www-cdn.anthropic.com/files/4zrzovbb/website/7dcd7d8de6e132048f391f5201439c5e11b9fb2c.pdf (새 창))에 따르면, 순위 평가는 거래가 끝난 뒤 참가자가 자신의 결과를 알기 전에 진행됐다. 분석 대상인 다섯 사무소의 198명 중 188명이 응답했다. 참가자들은 각자 결과로 받은 책, 중앙 거래 규칙이 배정했을 책, 무작위 후보를 포함해 보통 10권의 순위를 매겼고, 규모가 작은 사무소에서는 전체 책의 순위를 매겼다. 이 순위는 거래 에이전트에게 제공되지 않았다.
평가자가 에이전트의 목표를 그대로 정답으로 삼으면, 요구사항을 잘못 이해한 채 능숙하게 수행한 경우까지 성공으로 처리할 수 있다. 사용자의 판단을 별도로 수집하는 절차는 이런 오류를 찾아내는 데 유용하다.
큰 손실은 협상 전에 생겼다
그림의 점수는 참가자가 받은 책의 선호 순위를 1(최상위)~0(최하위)로 환산한 평균이다. 정답률이나 독서 후 만족도와는 다르다. 왼쪽 그래프는 사람이 매긴 순위로 계산한 최적 배정(0.89), Claude가 추정한 순위로 계산한 최적 배정(0.60), 중립 지침으로 80회 재실행한 분산 협상 결과(0.55)를 비교한다.
보고된 값으로 나누어 보면 선호 추정에서 0.29, 협상에서 0.05가 줄었다. 저자가 전체 격차의 약 85%를 선호 표현의 문제로 설명한 이유다. 오른쪽 그래프는 중앙 규칙인 Top Trading Cycles에서도 추정 순위를 쓸 때 생기는 손실을 보여준다.
이 85%를 다른 업무의 실패율로 그대로 옮길 수는 없다. 순위 간 효용 차이를 선형으로 가정하고, 직접 순위를 매기지 않은 책의 점수는 추정해서 채운 평가이기 때문이다. 직원 표본과 협조적인 Claude들로 구성한 시장이라는 한계도 있다.
같은 보고값 기준 전체 격차는 0.89−0.55=0.34이고, 선호 추정이 차지하는 몫은 0.29/0.34≈85.3%다. 분모가 거래 건수나 참가자 수가 아니라 이 점수 격차라는 점이 중요하다. 협상 손실 0.05를 모두 없애더라도 추정 순위를 그대로 쓰는 비교에서는 0.60에 머문다. 다만 이는 보고된 점수 분해를 읽는 계산일 뿐, 특정 질문을 추가하면 실제로 0.29를 회복한다는 인과 효과를 입증하지는 않는다.
좋은 요약보다 실제 선택을 대조하기
사내 교육 과정을 추천하는 에이전트를 만든다고 가정해 보자. 직원이 데이터 분석을 배우고 싶다고 말하더라도 관심 주제, 수업 시간, 선수 지식, 이미 수강한 과정은 모두 서로 다른 조건이다. 대화를 매끄럽게 요약했다는 이유만으로 에이전트가 이 조건을 모두 이해했다고 판단하기는 어렵다.
아래는 이 연구에서 착안한 설계 제안이다. 사용자가 직접 고른 소수의 후보를 별도 평가용으로 남겨 두고 에이전트가 고른 후보와 대조한다. 선호를 확인할 때 쓴 답을 이후 평가에도 그대로 쓰면, 수정한 문구를 외운 효과와 새로운 선택에서의 개선을 구분하기 어려우므로 확인용과 평가용 후보를 나눈다.
이 표는 오류를 발견한 뒤 무엇을 바꿀지 정하기 위한 기준이다. 선호 데이터가 부족한 상황에서 실행 모델만 교체하거나, 이미 알고 있던 시간 제약을 어긴 상황에서 인터뷰만 늘리면 정작 원인을 놓칠 수 있다.
가상 교육 후보 A는 입문 분석·화요일 저녁, B는 고급 분석·월요일 저녁, C는 입문 분석·화요일 오전이라고 하자. 사용자가 화요일 저녁 참석과 입문 수준을 필수 조건으로 말했는데 에이전트가 분석이라는 주제만 기록하면, B를 가장 선호할 과정으로 추정할 수 있다. 도구가 B를 등록하는 데 성공하더라도 목표 이해 단계에서는 실패다. 필수 조건을 먼저 적용하면 A만 남는다. 이는 연구에서 측정한 사례가 아니라 평가 단계를 설명하기 위한 예시다.
시간 조건이 단지 선호라면 사정이 다르다. 시간이 맞지 않는 후보를 무조건 제외하면 더 중요한 강의 내용과 맞바꿀 기회를 잃을 수 있다. 따라서 필수 조건인지 양보 가능한 선호인지 먼저 확인하고, 남은 후보의 순위를 별도로 평가한다. 목표를 잘못 기록한 상태에서 협상 모델만 강화하면, 잘못 고른 B를 더 능숙하게 확보할 수도 있다.
| 확인할 문제 | 남길 근거 | 다음 수정 대상 |
|---|---|---|
| 요구를 잘못 이해했는가 | 사용자와 에이전트가 서로 다르게 고른 후보, 누락한 조건 | 추가 질문과 선호 기록 |
| 알고 있던 조건을 실행 중 어겼는가 | 선택 당시 조건과 실제 제안·등록 요청 | 검색·도구 호출·실행 전 검사 |
| 요청은 성공했지만 원하는 상태가 남지 않았는가 | 등록 응답 뒤 별도로 조회한 수강 상태 | 외부 상태 확인과 재시도·복구 절차 |
질문을 늘린 효과와 모델을 바꾼 효과를 분리하기
비교를 시작할 때는 후보 목록과 도구 환경을 고정하고, 현재 대화 방식에 추가 확인 질문을 넣은 조건부터 검토한다. 실행 모델은 그대로 둔다. 반대로 실행 모델을 비교할 때는 에이전트가 받은 선호 기록을 고정한다. 두 변경을 한꺼번에 적용하면 어느 단계에서 개선됐는지 알기 어렵다.
확인할 항목은 선택 일치율, 필수 조건 위반, 사용자 수정 요청, 추가 질문 수, 전체 응답 시간과 비용이다. 평균 일치율이 높아져도 특정 직무나 일정 조건에서 누락이 늘 수 있으므로 업무 유형별 실패도 함께 기록한다. 허용 기준은 해당 서비스의 오판 비용에 맞춰 정하며, 이 책 교환 실험의 수치를 그대로 목표값으로 삼지 않는다.
추가 질문에도 대가가 따른다. 사용자가 답하는 데 걸리는 시간이 길어지고 중도 이탈이 늘어나면 추천 품질의 개선 효과를 상쇄할 수 있다. 이미 보유한 명시적 조건만으로도 충분히 걸러지는 업무라면, 대화를 늘리기 전에 규칙 기반 필터를 기준선으로 두는 편이 좋다.
자동 위임을 넓히기 전에 남길 판단
첫 적용은 추천 초안을 만들고 사용자가 선택을 확인하는 범위로 제한할 수 있다. 추가 확인을 거쳤을 때 새로운 후보에서도 오류가 줄고 지연이나 질문 부담까지 감당할 만하다면 그때 자동 처리 범위를 넓힌다. 선호가 자주 바뀌거나 필수 조건 누락이 계속되면 사람이 확인하는 단계를 유지한다.
다음 평가표에는 작업 완료 여부 옆에 사용자의 선택과 달랐던 이유를 남겨 두는 것이 좋다. 그 기록을 선호 누락·실행 위반·외부 상태 불일치로 나누면, 다음에 질문·모델·실행 절차 중 무엇을 바꿀지 판단할 수 있다.
참고 자료
Project Swap: What happens when agents trade for us? (새 창) — Zoë Hitzig 외, Anthropic
Project Swap 부록 (새 창) — 실험 구성, 에이전트 지침, 참가자 설문
