정확도 79% 그대로 두고 사용자 고통 절반 줄인 법

Roku의 음성 AI 전문가 Amit Desai는 모델 정확도를 단 1%포인트도 올리지 않고 사용자 만족도를 크게 끌어올릴 수 있다고 말한다. 핵심은 정확도라는 첫 번째 손잡이가 아니라, 시스템이 확신이 없을 때 무엇을 할지 결정하는 두 번째 손잡이다. 그는 이를 Outcome User Cost Heuristic, 줄여서 OUCH라 부른다.

• 두 개의 손잡이 — 사용자 만족도를 올리는 방법은 정확도를 높이는 것과, 정확도와는 완전히 독립적인 '시스템 결정'을 바꾸는 것 두 가지가 있다고 규정했다.
• 79%의 기준선 — 1000개의 음악 요청 중 790개는 맞는 곡이, 210개는 틀린 곡이 재생되는 79% 정확도를 예시로 고정했다.
• 세 번째 선택지, 거절 — 틀린 곡을 무조건 재생하는 대신 '못 들었다'며 거절하는 행동을 추가할 수 있다고 제안했다.
• 직관은 틀린다 — 거절 여부를 가르는 신뢰도 임계값을 감으로 65%로 잡으면 비용이 2.1에서 1.9 ouch/턴으로만 줄지만, 실제 최적값은 43%로 비용을 1.27까지 낮춘다.
• OUCH 공식 — 틀린 곡 재생은 사용자가 듣고, 깨닫고, 말을 끊고, 다시 요청하는 데 10초가 들고 '못 알아들었다'는 응답은 4초가 든다는 식으로 결과마다 비용을 매겨 총합을 최소화하는 방식을 Outcome User Cost Heuristic, 즉 OUCH라 이름 붙였다.
• 확인 행동 추가 — 거절과 재생 사이에 '이 곡 맞나요' 확인하는 세 번째 행동을 넣으면 신뢰도 구간이 두 개의 임계값으로 나뉜다.
• 두 임계값 최적화 — 확인-긍정은 2초, 확인 후 정정은 6초의 비용을 매기자 AI 도구가 두 임계값을 41%와 49%로 계산했고, 총비용은 1464(1000회당)까지 떨어졌다.
• 누적 개선 — 단순 재생 2.1, 거절 추가 1.9, 최적 거절 임계값 1.27, 확인 행동까지 더해 1.26 ouch/턴으로, 정확도 변화 없이 비용을 계속 줄였다.
• 비용은 주관적 — 틀린 곡 재생 비용을 10 대신 20으로 바꾸면 최적 임계값과 결과가 통째로 달라진다고 밝혔다.
• TV로 확장 — TV 음성 비서에서는 채널 후보를 화면에 여러 개 보여주고 리모컨으로 고르게 하면 확인 비용이 낮아지고, 반대로 채널 전환이 현재 화면 상태를 깨는 경우라면 잘못된 실행의 비용이 훨씬 커진다고 설명했다.
• 구현체화 AI로의 확장 — 로봇이 시계를 쓰레기와 함께 버리는 것처럼 물리적 행동을 하는 embodied AI로 갈수록 오류의 대가가 커져 정확도만으로는 부족해진다고 말했다.

그가 한 말

음성 AI 어시스턴트의 사용자 만족도를 높이는 방법은 두 가지다. 하나는 사람들이 잘 아는 정확도를 높이는 것이고, 다른 하나는 우리가 제대로 활용하지 않고 있는 또 다른 조절 장치다.there are two ways to improve customer or user satisfaction of a voice AI assistant and that is by increasing accuracy which people know about I mean technically accuracy and the other is a different knob that we have that we are not using adequately2분 13초

우리가 어떤 임계값(t)을 선택하든 나쁜 결과는 발생한다.Any tea we choose is producing bad outcomes.7분 13초

우리는 '잘 모르겠지만 65%로 하자'라고 말할 수 있다. 직감적으로 어느 정도 확신이 있으면 그때 말해야 할 것 같다는 느낌이다.we might say something like okay I don't know let's do 65%. It seems you know gut feeling like okay it's kind of confident that's probably when we should speak.6분 52초

실제로는 43%가 t의 최적점으로 밝혀졌다. 이 값이 비용 함수를 최소화한다.it turns out 43% is in fact the optimal optimal point of t. This minimizes the cost function.11분 31초

덧붙임 — 여기에 하나 덧붙이면, OUCH가 힘을 발휘하는 건 결국 '비용을 몇 초로 매길지' 를 얼마나 솔직하게 정하느냐에 달려 있다는 점이다. 그 숫자를 누가, 어떤 데이터로 정하느냐가 다음 논쟁거리가 될 것이다.

오늘 밤 해볼 수 있는 한 가지
자신이 만들고 있는 AI 어시스턴트나 봇의 오답 시나리오 하나를 골라, '사용자가 정상 상태로 돌아오기까지 몇 초가 걸리는지' 직접 초를 재보며 비용을 매겨보라.