창간 준비호

인공지능 정책 의견, 시민 의견과 18~30%만 일치

연구진, 미국 공개 의견 4230만 건으로 언어 모델을 시험

쎈프레스 편집국읽는 데 2분
인공지능 정책 의견, 시민 의견과 18~30%만 일치

미국 연구진이 연방 규칙 제정 과정에 접수된 공개 의견 4230만 건을 모아 자료집을 만들고, 인공지능이 사람의 정책 의견을 얼마나 닮는지 시험했다. 연구진은 인공지능이 쓴 의견 가운데 실제 사람의 의견과 겹친 것은 18~30%뿐이라고 밝혔다.

지금까지

미국 연방 기관은 새 규칙을 만들 때 초안을 공개하고 시민과 단체의 의견을 받는다. 이 절차를 '공고와 의견 접수'(Notice & Comment)라 부른다. 의견은 기업, 노동조합, 전문가, 일반 시민이 낸다. 지금까지는 사람이 이 의견을 읽고 정리해 규칙에 반영할지 판단했다.

AI 시대에는

글을 쓰고 답하는 인공지능인 대규모 언어 모델(LLM)이 정책 논의에 쓰일 가능성이 커지면서, 다양한 입장을 고르게 담는지 따져 볼 필요가 생겼다. 연구진은 2016년부터 2026년까지 44개 정부 기관의 규칙 22,400건에 달린 의견 4230만 건을 묶어 'DOCKET'이라는 자료집을 만들었다고 밝혔다. 의견을 규제 기관이 제안한 개별 정책 항목과 연결해, 대중의 관심과 기관의 반응을 따라갈 수 있게 했다는 것이다. 이를 바탕으로 만든 시험 'DOCKETBench'에서 인공지능이 쓴 의견은 실제 사람의 의견과 18~30%만 일치했다. 연구진은 인공지능이 제안을 두루 비판하긴 해도 구체적인 근거, 인용, 삶의 경험에 바탕한 주장이 부족하다고 설명했다. 또 시험한 모델 대부분이 정부 입장과는 주장의 최대 68%가 겹치고 노동조합과는 최소 26%만 겹쳐 한쪽으로 치우쳤으며, 인공지능에 특정 인물의 역할을 맡기는 방법으로도 이 쏠림이 해결되지 않았다고 했다. 이는 연구진의 주장이며, 동료 심사를 거치기 전에 공개된 사전 공개 논문이라는 점을 함께 봐야 한다.

지금 해 볼 것

  • 인공지능에게 정책 의견 초안을 쓰게 했다면, 구체적인 근거와 출처가 들어 있는지 직접 확인하고 자신의 경험을 덧붙인다.
  • 같은 정책에 대해 찬성과 반대, 여러 이해관계자의 입장을 각각 물어 답이 한쪽으로 쏠리지 않는지 비교해 본다.
  • 관심 있는 정책의 공고문과 시민 의견을 한 번 읽어 보고, 인공지능이 정리한 요약과 어떻게 다른지 견줘 본다.

원문에서 확인한 사실

  • 연구진은 미국 연방 공고와 의견 접수 과정의 자료집 'DOCKET'을 만들었다고 밝혔다.
  • 자료집에는 2016년부터 2026년까지 44개 정부 기관의 규칙 22,400건에 달린 공개 의견 4230만 건이 담겼다.
  • 공개 의견을 규제 기관이 제안한 개별 정책 항목과 연결해 대중의 관심과 기관의 반응을 따라갈 수 있게 했다.
  • 언어 모델이 쓴 의견 중 실제 사람의 의견과 일치한 것은 18~30%였다.
  • 시험한 모델 대부분은 정부 입장과 주장의 최대 68%가 겹쳤고, 노동조합과는 최소 26%만 겹쳤다.
  • 인물 역할을 맡기는 방법으로도 이런 관점의 쏠림은 해결되지 않았다고 연구진은 밝혔다.
#정책#공개 의견#언어 모델#사전 공개 논문

이 기사는 쎈프레스 편집국이 공개된 원문을 바탕으로 정리했습니다. 원문에 없는 내용은 싣지 않는 것을 원칙으로 하며, 틀린 곳은 010-8114-3468로 알려 주시면 바로 고칩니다.

넘겨 보기로 이어 보기

이어서 읽기