창간 준비호

채팅으로 치르는 구술식 시험, AI 둘이 맡는다

면접관과 평가자로 나눈 대화형 평가 시스템 연구

쎈프레스 편집국읽는 데 2분
채팅으로 치르는 구술식 시험, AI 둘이 맡는다

연구진은 학생과 글로 대화하며 논증 능력을 평가하는 거대언어모델(LLM) 기반 시스템을 내놓았다고 밝혔다. 학생과 직접 말하는 면접관과 뒤에서 채점하는 평가자를 따로 둔 두 에이전트 구조가 핵심이다.

지금까지

구술시험은 학생에게 답의 이유를 묻고, 애매한 답에는 추가 질문을 던질 수 있어 좋은 평가 방식으로 꼽혀 왔다. 그러나 학생 한 명 한 명과 직접 대화해야 하므로 사람 수가 많아지면 운영하기 어렵다. 그래서 많은 수업은 같은 문제를 한꺼번에 푸는 방식으로 시험을 치러 왔다.

AI 시대에는

연구진은 구술시험의 장점을 살리면서 규모를 키우려고 글로 대화하는 평가 시스템을 만들었다고 밝혔다. 면접관 에이전트는 평가자에게서 다음에 던질 질문에 대한 안내만 받고, 평가자 에이전트는 활동 전체의 목표를 알고 채점 기준표로 학생의 진행 상황을 추적한다. 연구진은 이런 분리가 정답이 학생에게 새어 나갈 가능성을 줄인다고 설명했다. 시스템은 실력 수준이나 공격 전술을 가진 LLM 가상 학생들로 먼저 시험했고, 소규모 선택 과목인 AI 활용 교양 수업에서 형성평가와 총괄평가에 쓰였다. 연구진은 대화 기록을 사람과 AI가 다시 살펴 후속 질문 생성과 채점 방식에서 개선할 점을 찾았다고 밝혔다. 이 논문은 동료 심사를 거치기 전에 공개된 사전 공개 논문이다.

지금 해 볼 것

  • 교사나 개발자라면 질문만 하는 역할과 채점 기준을 쥔 역할을 프롬프트 두 개로 나눠 보고, 질문 쪽에 정답이 새는지 확인해 본다.
  • 학생이라면 AI 챗봇에게 내 답의 이유를 계속 캐묻도록 부탁해, 근거를 말로 풀어 설명하는 연습을 해 본다.
  • 시험 도구를 만든다면 AI가 사전학습으로 이미 아는 내용을 쓰지 못하도록, 가상의 주제를 하나 만들어 시험해 본다.

원문에서 확인한 사실

  • 논문의 저자는 Geoffrey Challen과 Craig Zilles이며, 사전 공개 논문 초록이다.
  • 시스템은 학생과 글로 대화하며 논증을 펼치고 뒷받침하는 능력을 평가하는 LLM 기반 방식이다.
  • 면접관 에이전트는 다음에 던질 질문에 대한 안내만 받고, 숨은 평가자가 채점 기준표로 진행 상황을 추적한다.
  • 가상 학생은 실력 수준이나 정답 캐내기, 프롬프트 주입, 자신만만한 허위 답변 같은 공격 전술을 가진 LLM 인격으로 만들었다.
  • 평가에는 사전학습 지식을 쓰지 못하도록 가상의 평가 주제를 사용했다.
  • 시스템은 소규모 선택 과목인 AI 활용 교양 수업에서 형성평가와 총괄평가에 쓰였다.
  • 대화 기록 검토에서 후속 질문 생성과, 채점이 학생이 낸 아이디어만 인정하도록 하는 부분에서 개선할 점을 찾았다.
#AI 평가#구술시험#에이전트#교육

이 기사는 쎈프레스 편집국이 공개된 원문을 바탕으로 정리했습니다. 원문에 없는 내용은 싣지 않는 것을 원칙으로 하며, 틀린 곳은 010-8114-3468로 알려 주시면 바로 고칩니다.

넘겨 보기로 이어 보기

이어서 읽기