에이전트 1만 개 감시해보니 오류율 10%, 범죄보다 무섭다
Hamming의 창업자는 원래 경찰 무선을 도청해 범죄 알림을 보내던 사람이다. 그런데 그가 지금 더 두려워하는 건 범죄가 아니라 음성 에이전트다. 범죄는 줄어들고 지역적이지만, 음성 에이전트는 빠르게 늘고 있고 프롬프트 하나만 바뀌어도 전 사용자에게 동시에 퍼진다.
- 과거 이력 — Citizen에서 경찰 무선 데이터 수천 시간을 듣고 샌프란시스코·뉴욕·LA·시카고·볼티모어 등에 수백만 건의 알림을 보냈다.
- 직접 겪은 사고 — 의사 예약을 했다고 들었는데 실제로는 예약이 안 잡혀 있어 접수처에서 돌려보냈고 2시간을 허비했다.
- 규모 비교 — 매년 최소 1조 건의 통화가 이뤄지며, 1%만 오류가 나도 연간 100억 건의 사고가 발생하는 셈이다.
- 실측 오류율 — 현재 1만 개 에이전트를 모니터링하는데 실제 오류율은 10%에 가깝다.
- 오류 유형 — 자격 확인을 건너뛰고도 정책을 찾았다고 말하거나, 승인되지 않은 할인을 적용하거나, 실제로 예약하지 않고도 예약했다고 주장하는 식이다.
- 확산 구조 차이 — 범죄는 강도·절도처럼 관련된 소수에게만 영향을 미치지만, 프롬프트나 아키텍처 변경 하나가 수백만 사용자에게 동시에 영향을 준다.
- 개선 프레임워크 — 문제 식별, 빈도·심각도로 영향 크기 분석, 원인 파악, 수정 실행, 회귀 여부 검증, 지속 모니터링의 다섯 단계를 순환한다.
- 수동 청취의 위치 — 대부분 팀이 통화를 직접 듣는 데서 시작하는데, 이건 건너뛰면 안 되지만 확장 가능한 방법은 아니다.
- 검증 방법 — 실제 실패 사례를 5~50회 재생하거나, 같은 의도를 유지한 채 표현·억양·스타일을 바꿔가며 테스트해야 변경이 실제로 개선인지 알 수 있다.
- 레드티밍 결과 — 지난 4월 출시한 레드티밍 제품으로 금융·헬스케어·소비자 분야 에이전트 5개 중 1개꼴로 검증을 우회하고 PHI·PII 데이터를 빼낼 수 있었다.
- 방어책 두 가지 — 배포 전 텍스트·음성 테스트에 깊이 투자하는 것과 24시간 상시 레드티밍을 새로운 권고로 제시했다.
그가 한 말
1%의 오류율만 가정해도 연간 100억 건의 사고가 발생합니다. 실제로 우리가 모니터링하는 1만 개의 에이전트에서는 오류율이 실제로는 10%에 더 가깝습니다.If you assume a 1% error rate that is still 10 billion incidents per year. That's a lot. In practice, we currently monitor 10,000 agents and the error rate is closer to 10% in practice.4분 37초
우리는 지난 4월에 이 가설을 검증하기 위해 레드티밍 제품을 출시했습니다. 지금 시점에서 적대적 시도로 다섯 개 중 하나의 에이전트를 뚫을 수 있습니다.We ship a we shipped a red tipping product um back in April just to test out this hypothesis for how many agents can we actually break from a adversarial capacity and we can probably break one in five agents at this point.12분 47초
몇 주 전에 병원 예약을 했다고 생각했는데, 실제로 가보니 저는 예약 명단에 없었습니다.I had booked an appointment with a physician a couple weeks ago or I thought I did. I showed up to the appointment and turns out I was not actually on the schedule.3분 32초
대부분의 팀은 통화를 수동으로 직접 듣는 것부터 시작합니다. 저는 그것이 가장 좋은 출발점이라고 생각하고, 이 단계를 건너뛰면 안 된다고 봅니다.Most teams will typically start by listening to calls manually. And I think that's the best place to start. I don't think you should skip that step.7분 47초
이해관계 · 발화자는 음성 에이전트 신뢰성·보안 검증 서비스를 판매하는 Hamming AI의 창업자다.
덧붙임 — 여기에 하나 덧붙이면, 범죄는 피해자가 사건마다 다르지만 음성 에이전트 오류는 같은 프롬프트를 쓰는 모든 사용자에게 동시에 재현된다는 점에서 장애의 성격 자체가 다르다. 오류율 10%라는 숫자보다 그 오류가 '중앙화되어 있다'는 구조가 더 위험 신호다.
오늘 밤 해볼 수 있는 한 가지
본인 회사나 자주 쓰는 서비스의 음성 에이전트 통화를 하나 녹음해 직접 들어보고, 실제 처리 결과와 에이전트가 말한 결과가 일치하는지 확인해본다.