5·6학년 학생이 스크래치(Scratch)로 코딩하며 화면을 공유하고 말로 묻는 인공지능 도우미를 쓴 실험 결과가 나왔다. 연구진은 도우미의 답이 알아듣기 쉬웠지만 학생 화면의 오류를 자주 놓쳤다고 밝혔다.
미국 연구진이 컴퓨터 입문 이후 과목 수강생을 조사한 결과, 학생들은 대규모 언어 모델을 가장 흔히 사람 조수에 빗대어 이해했다. 질문할 때는 배경과 맥락을 충분히 적는 방식을 가장 선호했다고 연구진은 밝혔다.
연구진은 학생과 글로 대화하며 논증 능력을 평가하는 거대언어모델(LLM) 기반 시스템을 내놓았다고 밝혔다. 학생과 직접 말하는 면접관과 뒤에서 채점하는 평가자를 따로 둔 두 에이전트 구조가 핵심이다.
교수가 자기 수업에 맞게 설계한 AI가 학생의 학습을 개선했다는 무작위 대조 시험 결과가 나왔다. 연구진은 대학 19곳, 학생 7,200명을 세 학기 동안 지켜봤다고 밝혔다.