창간 준비호

코딩 AI, 가상 회사 과제 완수는 8% 미만

일부 시험은 약 63% 통과했지만 과제 전체 완수는 드물어

쎈프레스 편집국읽는 데 2분
코딩 AI, 가상 회사 과제 완수는 8% 미만

연구진이 코딩 AI를 가상의 개발 조직에 동료처럼 투입해 평가하는 시험 모음 SWE-CoWork를 공개했다. 연구진은 선두 모델 두 개가 핵심 시험의 약 63%를 통과했지만, 과제를 끝까지 완수한 비율은 8% 미만이었다고 밝혔다.

지금까지

그동안 코딩 AI 평가는 대체로 문제가 비교적 분명하게 주어지고, AI가 코드를 고친 뒤 시험을 통과하는지 보는 방식이 많았다. 실제 회사에서는 무엇을 만들지부터 동료에게 묻고 확인해야 하고, 만든 결과도 스스로 검증해야 한다.

AI 시대에는

연구진은 SWE-CoWork가 실제 저장소 101개에서 가져온 개발 과제 101건으로 이뤄졌고, 각 과제에서 AI가 동료 26명이 있는 모의 조직에 놓인다고 밝혔다. AI는 짧은 인수인계 글만 받은 채 동료와 업무 기록에 흩어진 요구사항을 찾아내고, 서로 어긋나는 정보를 맞춘 뒤 비공개 시험으로 평가받는다. 연구진은 모델 열한 개를 평가했고, 선두 두 모델은 고치기 전에는 실패하다가 고친 뒤에는 통과해야 하는 시험의 약 63%를 만족했지만 과제 전체를 마친 비율은 8% 미만이라고 밝혔다. 요구사항을 처음부터 모두 알려주면 이 시험 통과율은 약 16%포인트 올랐지만 과제 완수율은 그대로였다는 것도 연구진의 보고다. 이 글은 동료 심사를 거치기 전에 공개된 사전 공개 논문이므로, 결과는 연구진의 주장으로 읽어야 한다.

지금 해 볼 것

  • 코딩 AI에 일을 맡길 때 요구사항을 번호를 붙인 목록으로 적어 주고, 작업이 끝나면 항목별로 반영됐는지 하나씩 확인해 본다.
  • AI가 '완료했다'고 보고한 기능은 직접 실행하거나 시험 코드를 돌려 확인한 뒤 받아들인다.
  • AI가 나중으로 미룬 질문이나 확인 사항이 있으면 따로 적어 두고, 답이 돌아왔는지 챙겨 본다.

원문에서 확인한 사실

  • SWE-CoWork는 실제 저장소 101개, 프로그래밍 언어 11종, 응용 분야 12개에 걸친 개발 과제 101건으로 이뤄졌다.
  • 각 과제에서 AI는 맡은 일과 아는 범위가 서로 다른 동료 26명이 있는 모의 조직에 놓인다.
  • 연구진은 모델 열한 개를 평가했고, 선두 두 모델은 핵심 시험의 약 63%를 만족했지만 과제 완수는 8% 미만이었다.
  • 요구사항을 처음부터 모두 주면 Seed Evolving과 GPT-6 Astra의 시험 통과율이 약 16%포인트 올랐지만 과제 완수율은 바뀌지 않았다.
  • Claude-Opus-5.5는 첫 질문의 평균 93%를 담당자에게 보냈지만 동료가 가진 요구사항은 64%만 얻었다.
  • 완료했다고 보고된 요구사항의 31%는 시험을 통과하지 못했다.
#코딩에이전트#벤치마크#소프트웨어개발#요구사항

이 기사는 쎈프레스 편집국이 공개된 원문을 바탕으로 정리했습니다. 원문에 없는 내용은 싣지 않는 것을 원칙으로 하며, 틀린 곳은 010-8114-3468로 알려 주시면 바로 고칩니다.

넘겨 보기로 이어 보기

이어서 읽기