창간 준비호

이력서 심사 인공지능, 쓰기 전 점검 틀 제시

연구진, 점수 방식이 합격·불합격 판정보다 대체로 낫다고

쎈프레스 편집국읽는 데 2분
이력서 심사 인공지능, 쓰기 전 점검 틀 제시

연구진이 이력서 심사를 거대언어모델(LLM)에 맡기기 전에 성능과 권한 통제를 함께 따져 보는 점검 틀을 내놓았다. 연구진은 평가 방식에 따라 결과가 달라지고, 판정과 그 이유가 어긋나는 일도 잦았다고 밝혔다.

지금까지

기업의 이력서 심사는 사람이 직접 읽거나 정해진 기준에 따라 걸러내는 방식이 중심이었다. 심사를 자동화하려면 지원자를 자격 요건으로 구별할 수 있는지, 정해진 사람만 규칙을 바꿀 수 있는지를 확인해야 한다. 그러나 이를 시스템 전체 차원에서 점검하는 방법은 널리 자리 잡지 못했다.

AI 시대에는

연구진은 지원자 증거, 평가, 권한 통제, 평가 기록을 나눈 시스템 구조를 만들고 두 가지 준비 상태를 시험했다고 밝혔다. 먼저 언어모델 네 종으로 14개 직무, 이력서 210건, 여섯 가지 판정 방식을 놓고 통제된 실험을 했다. 연구진에 따르면 점수를 매기는 방식은 자격 변화를 합격·불합격 판정보다 대체로 더 잘 구별했고, 두 지원자를 견주는 방식은 제시 순서에 민감했다. 권한 규칙을 분명히 적고 이력서 내용과 지시문을 분리하면 권한 없는 요청을 따르는 일이 줄었지만, 효과는 모델과 사용 상황에 따라 달랐다. 또 모델이 내린 판정과 내놓은 설명이 어긋나는 경우가 많았다고 연구진은 밝혔다. 이 글은 동료 심사를 거치기 전에 공개된 사전 공개 논문이므로 결과는 이후 검증이 필요하다.

지금 해 볼 것

  • 채용이나 평가 도구를 만들거나 도입하는 사람은 같은 지원서를 순서만 바꿔 두 번 평가시켜 결과가 같은지 확인해 본다.
  • 개발자는 이력서 본문 안에 지시문처럼 보이는 문장을 넣어 시스템이 따르는지 시험해 본다.
  • 인공지능이 낸 판정과 설명을 몇 건 뽑아 서로 맞는지 직접 대조해 본다.

원문에서 확인한 사실

  • 연구진은 이력서 심사 시스템을 지원자 증거, 평가, 권한 통제, 평가 기록으로 나눈 구조로 설계했다.
  • 운영 준비 상태는 언어모델 네 종, 14개 직무, 이력서 210건, 판정 방식 여섯 가지로 통제 실험을 했다.
  • 준수 준비 상태는 권한 없는 사용자의 요청과 이력서에 숨은 지시를 어떻게 다루는지로 시험했다.
  • 점수 방식은 대체로 합격·불합격 판정보다 자격 변화를 더 잘 구별했고, 비교 판정은 제시 순서에 민감했다.
  • 명시적 권한 규칙과 이력서 내용·지시문 분리는 권한 없는 요청 수용을 줄였으나 효과는 모델과 상황에 따라 달랐다.
  • 언어모델 평가자의 판정과 제시한 설명이 어긋나는 경우가 많았다.
#채용#이력서#언어모델#점검

이 기사는 쎈프레스 편집국이 공개된 원문을 바탕으로 정리했습니다. 원문에 없는 내용은 싣지 않는 것을 원칙으로 하며, 틀린 곳은 010-8114-3468로 알려 주시면 바로 고칩니다.

넘겨 보기로 이어 보기

이어서 읽기