창간 준비호

맞는 이유를 대도 거절은 풀리지 않는다

AI가 쓴 거절 설명을 따라 해도 결과가 안 바뀔 수 있다

쎈프레스 편집국읽는 데 2분
맞는 이유를 대도 거절은 풀리지 않는다

규칙에 따라 요청이 거절될 때 사람들이 받는 설명을 언어모델이 쓰는 일이 늘고 있다. 한 저자는 설명에 적힌 이유가 사실이어도, 그 이유를 고친 뒤에 여전히 거절될 수 있다는 점을 짚었다.

지금까지

자격 심사나 접근 권한 심사에서 거절 통보를 받으면 거절 이유가 한두 가지 적혀 있는 것이 보통이었다. 그 이유가 사실과 맞는지가 설명의 품질을 따지는 기준이 되곤 했다. 신청자는 적힌 이유를 고치면 결과가 달라질 것이라고 기대하며 다시 신청했다.

AI 시대에는

언어모델이 거절 설명을 대신 쓰는 일이 늘면서 이 기대가 어긋날 수 있다는 점이 드러났다. 여러 규칙이 따로따로 거절 사유가 되는 경우, 설명이 맞는 이유 하나만 대면 신청자가 그것을 고쳐도 다른 규칙 때문에 계속 거절된다. 저자는 이 빠진 성질을 «구제 가능성», 곧 요청 내용은 그대로 두고 설명에 적힌 부분만 고쳤을 때 결정이 바뀌는 성질이라고 부르고, 이를 정확히 계산했다고 밝혔다. 저자는 접근 통제와 미국 복지 수급 자격에서 가져온 규칙 체계 일곱 가운데 여섯에서, 여러 이유가 해당할 때 맞는 이유 하나로는 거의 구제가 되지 않았다고 밝혔다. 다만 이 글은 동료 심사를 거치기 전에 먼저 공개된 논문이므로 결과는 앞으로 검증이 필요하다.

지금 해 볼 것

  • 거절 통보를 받으면 적힌 이유 하나만 고치지 말고, 같은 결정에 적용되는 기준이 더 있는지 공식 안내문에서 전체 목록을 확인해 본다.
  • AI에게 거절 이유를 물을 때 «이 요청이 거절될 수 있는 모든 규칙을 빠짐없이 알려 달라»고 요청해 본다.
  • AI 설명을 서비스에 쓰려는 개발자라면, 설명에 적힌 이유가 맞는지만 보지 말고 «설명대로 고치면 실제로 통과하는가»를 시험해 본다.

원문에서 확인한 사실

  • 규칙 체계가 요청을 거절할 때 사람들이 받는 설명을 언어모델이 쓰는 일이 늘고 있다.
  • 여러 규칙이 각각 따로 거절 사유가 되면, 설명이 맞는 이유를 대도 그것을 고친 뒤에 여전히 거절될 수 있다.
  • 저자는 이 성질을 구제 가능성이라 부르고 정확히 계산했으며, 정책만 보고 맞는 이유가 실패할 경우를 예측할 수 있다고 밝혔다.
  • 접근 통제와 미국 복지 수급 자격에서 가져온 일곱 규칙 체계 중 여섯에서, 여러 이유가 해당할 때 맞는 이유 하나로는 거의 구제되지 않았다.
  • 언어모델 20개를 살펴보니, 인용한 이유가 맞는지 보는 검사는 이런 실패를 가려내는 데 우연에 가까운 수준이었다.
  • 강한 심판 모델에게 «설명대로 하면 통하는가»를 물으면 이 실패를 가려냈다.
  • 더 강한 모델과 추론 모델이 낫지만, 독립된 이유가 네 개 이상인 거절에서는 여전히 많이 실패했다.
  • 모든 규칙을 말하게 하면 개선 여지가 있는 공개 모델이 모두 나아졌다.
#거절 설명#언어모델#구제 가능성#복지 자격

이 기사는 쎈프레스 편집국이 공개된 원문을 바탕으로 정리했습니다. 원문에 없는 내용은 싣지 않는 것을 원칙으로 하며, 틀린 곳은 010-8114-3468로 알려 주시면 바로 고칩니다.

넘겨 보기로 이어 보기

이어서 읽기

의료·법

시민이 인공지능 규칙을 직접 따져 보는 시스템

연구진이 시민이 인공지능 관련 규칙을 이해하고 이의를 제기하며 고쳐 쓰도록 돕는 시스템 에이아이 보이저(AI-Voyager)를 내놓았다. 연구진은 이 시스템이 공공 문서의 정확한 본문에 인공지능의 도움을 묶어 둔다고 밝혔다.

의료·법

인공지능 정책 의견, 시민 의견과 18~30%만 일치

미국 연구진이 연방 규칙 제정 과정에 접수된 공개 의견 4230만 건을 모아 자료집을 만들고, 인공지능이 사람의 정책 의견을 얼마나 닮는지 시험했다. 연구진은 인공지능이 쓴 의견 가운데 실제 사람의 의견과 겹친 것은 18~30%뿐이라고 밝혔다.

의료·법

개인화 서비스, 배포 권한과 정정 책임 분리

연구진은 결과를 계산하는 쪽과 전달 여부를 정하는 쪽이 다른 개인화 서비스를 위한 인터페이스를 설계했다고 밝혔다. 이 인터페이스는 입력 데이터의 사용 권한 확인과 보고서의 요건 확인을 따로 하고, 누락을 누가 고쳐야 하는지를 기록한다.

의료·법

의료 AI 둘러싼 보안·신뢰 우려, 레딧 글 분석

미국 연구진 등이 레딧(Reddit)의 의료 커뮤니티 14곳에서 의료 AI 관련 글 6,514건을 뽑아 분석했다. 연구진은 이용자들이 의료 AI를 보안·프라이버시·신뢰 문제와 함께 논의하고 있으며 그 논의가 크게 늘었다고 밝혔다.