DNA 넘긴 개발자, AI 2개로 자기 도덕률에 구멍 찾다

한 개발자가 23andMe에 DNA를 보낸 뒤, 자신이 동의한 적 없는 방식으로 그 데이터가 쓰일까 봐 고민하다가 "Loophole"이라는 오픈소스 게임을 만들었다. 사람이 도덕 원칙을 문장으로 적으면 AI가 이를 법조문으로 바꾸고, 서로 반대편에 선 두 AI가 그 법을 공격해 허점과 과잉 규제를 찾아낸다는 발상이다. 발표자는 이 틀을 미국 상원 시뮬레이션과 법안 설계까지 확장하고 있다고 밝혔다.

• 시작점 — 23andMe에 DNA를 보낸 뒤 포렌식 활용 소식을 듣고, 사건별로는 동의 여부를 답할 수 있지만 모든 경우를 미리 나열할 방법이 없다는 걸 깨달았다
• 법체계 비유 — 법체계는 사회가 도덕적 신념을 규칙으로 번역하는 작업이며, 영미 판례법이 판례에 크게 의존하는 이유는 그 미묘한 지점을 사전에 다 규정하기 어렵기 때문이라고 말했다
• 작동 방식 — 사용자가 자연어로 도덕을 적으면 한 에이전트가 이를 정교한 법조문으로 초안하고, 한 에이전트는 허점(부도덕하지만 합법)을, 다른 에이전트는 과잉규제(도덕적이지만 불법)를 찾는다
• 판정 에이전트 — 판정 에이전트가 모순이 단순 번역 오류인지, 자동 패치 가능한지, 아니면 사용자에게 판단을 넘겨야 할 진짜 도덕적 공백인지 결정한다
• DNA 사례 — 보험사가 DNA 자체가 아니라 DNA에서 파생된 결과물로 예측 모델을 학습시킨 경우를 게임이 허점으로 찾아내 자동 패치했다
• 과잉규제 사례 — 유전 연구 제출자가 치료 가능한 희귀 유전질환을 갖고 있다는 사실을 연구자가 알리지 못하게 한 규정을 과잉규제로 판단해 사용자 판단으로 넘겼다
• 반응 — 트위터에 공유한 뒤 자신의 게시물 중 가장 화제가 됐다고 밝혔다
• 챗봇 헌법 확장 — 회사가 고객 응대 챗봇의 도덕 규범과 금지 주제를 적으면 이를 시스템 프롬프트로 코드화하고, 적대적 에이전트가 규범 위반을 유도하거나 답변 거부를 유도해 검증하는 방식으로 확장했다
• 계약 검증 확장 — 개인이 자신의 데이터·프라이버시 처리 원칙을 코드화한 뒤 애플 같은 회사의 서비스 약관과 대조해 모순되는 지점을 찾아낼 수 있다고 설명했다
• 탈중앙 계약 아이디어 — 중앙 권위 없이 국가 간 계약을 맺을 때 양측이 각자 도덕을 코드화한 뒤 대조해 합의 전에 이견을 드러낼 수 있다고 말했다
• 상원 시뮬레이터 — Claude로 현직 미국 상원의원 전원의 투표 이력과 공개 자료를 분석해 각자의 도덕 체계를 만들고, 법안을 넣으면 각 의원이 어떻게 투표할지 시뮬레이션한다
• 법안 힐클라이밍 — 테스트한 메디케어 법안이 원래 50대 50 표결이었으나, 각 의원의 핵심 신념을 어기지 않는 선에서 문구를 조정해 52표로 통과하도록 최적화했다
• 주(state) 단위 확장 — Nvidia의 미국 페르소나 데이터셋에서 주별로 500명의 페르소나를 뽑아 각자의 도덕 체계를 만들고, 법안에 대한 주민 동의도를 측정하고 법안을 최적화하는 실험을 진행했다

그가 한 말

이건 발견한 허점인데, 보험 회사가 예측 머신러닝 모델을 당신의 DNA가 아니라 DNA에서 파생된 산출물로 학습시켰다는 겁니다. 그래서 시스템은 이것이 현재 당신의 도덕률 하에서는 비도덕적이지만 합법적이라고 말합니다.this is a loophole it found where an insurance company um trained a predicted machine learning model not on your DNA but on artifacts of the DNA. And so it's saying you know this is actually immoral but currently legal given your system.6분 15초

제가 테스트하던 이 메디케어 법안은 원래 50대 50 표결로 시작했는데, 시스템이 법안 문구를 조정해서 결국 52표로 통과되도록 만드는 방법을 찾아냈습니다.this this Medicare bill I was testing, you know, it found that I think it originally started at like a 5050 vote and it found ways to hill climb the language of the bill such that it passed with um 52 votes.13분 16초

제 프로젝트 루프홀에 대해 이야기하겠습니다. 저는 사실 모건스탠리의 머신러닝 연구원이지만, 이건 모건스탠리와 아무 관련이 없습니다.I'll be talking about my project loophole. And I'm actually a machine learning researcher at Morgan Stanley, but this has nothing to do with Morgan Stanley.0분 12초

이해관계 · 발표자는 자신이 만든 오픈소스 프로젝트 Loophole을 소개하며, Morgan Stanley 소속이지만 이 프로젝트는 회사 업무와 무관하다고 직접 밝혔다.

덧붙임 — 여기에 하나 덧붙이면, 이 게임의 판정 에이전트가 "자동 패치할지, 사용자에게 넘길지"를 결정하는 기준 자체가 또 다른 도덕적 선택이라는 점은 발표에서 깊게 다뤄지지 않았다. 법안을 52표로 만드는 '힐클라이밍'이 유권자 설득이 아니라 문구 최적화로 다수결을 만드는 방식이라는 점도 눈여겨볼 대목이다.

오늘 밤 해볼 수 있는 한 가지
GitHub에서 Loophole을 내려받아 자신이 실제로 걱정하는 주제(개인정보, 유전자 데이터 등) 하나에 대해 도덕 원칙 서너 줄을 적어 넣고, AI가 찾아내는 허점과 과잉규제 사례를 직접 확인해본다.