모델이 바뀌면 최고의 하네스도 바뀝니다
22개 코딩 에이전트 하네스를 5개 모델과 62개 과제로 4번씩 돌린 27,280회 실행이 말해주는 한 가지, 하네스 선택은 모델에 종속됩니다
원문 논문 보기
이번 글에서 다루는 자료는 RUNTA의 Introducing FrontierHarness Eval v1.1입니다. 이 평가는 22개 코딩 에이전트 하네스를 5개 모델로 같은 62개 과제에서 각각 4번씩 돌려 모두 27,280회를 실행했고 모델마다 가성비가 가장 좋은 하네스가 달라졌다는 결론을 내립니다. 원문 링크는 제목 아래에 붙어 있습니다.
안녕하세요, 패트릭입니다.
에이전트를 운영하다 보면 이상한 경험을 하게 됩니다. 같은 모델을 쓰는데도 어떤 날은 일이 술술 풀리고 어떤 날은 같은 과제에서 토큰만 한참 태우다 멈춥니다. 그래서 저는 모델 점수표를 볼 때마다 한 가지를 먼저 묻습니다. 그 점수는 모델의 점수일까요, 아니면 모델을 감싼 프로그램의 점수일까요.
RUNTA가 내놓은 FrontierHarness Eval v1.1이 바로 이 질문을 정면으로 다룹니다. 모델을 바꾸지 않고 모델 주변의 실행 프로그램, 즉 하네스만 바꿨을 때 성적과 비용이 얼마나 달라지는지를 같은 조건에서 재는 작업입니다. 저는 이 기획을 보고 먼저 규모를 확인했습니다. 조건이 조금씩 다른 실행을 모아놓은 것이 아니라 같은 과제를 같은 횟수만큼 반복한 측정이기 때문입니다.

왜 하네스를 따로 재야 할까
코딩 에이전트의 실행은 모델 호출 한 번으로 끝나지 않습니다. 어떤 도구를 어떤 순서로 호출할지, 중간 결과를 어떻게 잘라서 모델에게 돌려줄지, 실패하면 몇 번까지 다시 시도할지를 정하는 바깥 프로그램이 매번 같이 돕니다. 이 바깥쪽이 바로 하네스입니다. 모델이 두뇌라면 하네스는 손과 발의 움직임에 가깝습니다. 두뇌가 같아도 손발이 바뀌면 결과물이 달라지죠.
그런데 공개된 점수표는 대개 이 둘을 섞어서 보여줍니다. A라는 하네스에서 돌린 모델 점수와 B라는 하네스에서 돌린 모델 점수를 나란히 놓고 모델끼리 비교합니다. 비교의 축이 하나가 아니라 두 개인데도 한 축만 본 셈입니다. 그래서 저는 하네스를 따로 떼어 재는 시도를 반갑게 봅니다. 모델이 좋아진 것인지, 모델을 받치는 실행 방식이 좋아진 것인지가 갈려야 다음 선택이 서기 때문입니다.
그렇다면 공정한 비교는 어떻게 만들 수 있을까요. 답은 단순하지만 손이 많이 듭니다. 모든 하네스를 같은 과제 묶음에 올리고, 같은 모델을 물리고, 같은 횟수만큼 반복하는 것입니다.
27,280회는 어떻게 나온 숫자일까
이번 평가의 설계는 곱셈 하나로 읽힙니다. 하네스 22개에 모델 5개를 붙이고, 과제 62개를 같은 묶음으로 깔고, 조합마다 4번씩 돌렸습니다. 그래서 22에 5를 곱하고 62를 곱하고 다시 4를 곱하면 27,280회가 나옵니다. 숫자를 문장 안에 풀어쓴 것이 아니라 실제 실행량이 그렇게 쌓였다는 뜻입니다.
여기서 제가 눈여겨본 대목은 반복 횟수입니다. 에이전트 실행은 같은 조건에서도 매번 조금씩 흔들립니다. 도구의 응답 순서가 바뀌고, 모델의 다음 행동이 달라지고, 한 번의 실패가 전체 궤적을 바꿉니다. 한 번만 재면 운이 실력처럼 보일 수 있습니다. 그런데 같은 조합을 네 번씩 돌리면 흔들림의 폭이 드러나고, 평균의 의미가 생깁니다. 이 설계는 숫자를 크게 보이려는 장치가 아니라 흔들림을 다스리려는 장치에 가깝습니다.
과제를 62개로 고정한 선택도 같은 방향입니다. 하네스마다 다른 과제를 풀면 잘하는 과제만 고른 것인지 실행 방식이 좋은 것인지 구분할 수 없습니다. 같은 62개를 깔아두면 하네스 사이의 차이가 과제 선택의 차이가 아니라 실행 방식의 차이로 남습니다. Patty의 관점에서 보면, 이 고정은 해석을 깨끗하게 만드는 결정이었습니다.

모델마다 1등이 바뀌었다는 말의 뜻
이제 결과로 들어가 보겠습니다. 이 평가에서 가장 눈에 띄는 대목은 가성비가 가장 좋은 하네스가 모델마다 달랐다는 점입니다. 특정 하네스가 모든 모델에서 1등을 차지한 것이 아니라, 모델이 바뀌면 유리한 하네스도 함께 바뀌었습니다.
생각해보면 사람 팀과 비슷합니다. 같은 일이라도 누구와 팀을 꾸리느냐에 따라 일을 나누는 방식이 달라져야 합니다. 말을 아끼는 동료에게는 중간 보고를 자주 요청하고, 생각이 빠른 동료에게는 검토 단계를 하나 더 두는 식이죠. 모델과 하네스의 관계도 이와 비슷합니다. 어떤 모델은 도구 호출 형식을 잘 지키지만 계획을 자주 바꾸고, 다른 모델은 계획은 안정적으로 잡지만 긴 도구 출력 안에서 길을 잃습니다. 그래서 하네스의 재시도 간격이나 기억 관리 방식이 모델의 습성과 맞아야 합니다.
그렇다면 이 말은 뒤집어서도 읽힙니다. 어느 모델에서 좋았던 하네스를 그대로 들고 다른 모델에 붙이면 손해를 볼 수 있다는 뜻입니다. 저는 이 대목을 실무의 경고로 읽었습니다. 모델을 교체할 때 프롬프트만 고치고 하네스는 그대로 두는 팀이 많은데, 그 관성이 비용으로 돌아올 수 있기 때문입니다.
비용 순위가 모델 따라 움직입니다
두 번째로 볼 대목은 비용 순위입니다. 같은 하네스라도 얹는 모델이 바뀌면 과제당 비용 순위가 크게 움직였습니다. 저렴했던 조합이 비싸지고, 비쌌던 조합이 중간으로 내려오는 식입니다.
이 움직임이 생기는 이유는 하네스가 토큰을 쓰는 방식이 다르기 때문입니다. 어떤 하네스는 중간 과정을 자주 요약해서 다음 단계로 넘기고, 다른 하네스는 도구 결과를 길게 들고 갑니다. 어떤 하네스는 실패하면 빨리 멈추고, 다른 하네스는 여러 번 다시 시도합니다. 모델이 바뀌면 같은 하네스라도 호출 횟수와 응답 길이가 달라지니 과제당 요금이 함께 출렁입니다. 순위가 고정된 줄 알고 계약하듯 하네스를 고르면, 모델을 바꾸는 순간 계산이 어긋나는 셈입니다.
여기서 재미있는 질문이 생깁니다. 모델을 고정하면 비용 차이는 얼마나 날까요. 이 평가에서는 같은 모델 안에서도 가장 비싼 하네스가 가장 저렴한 하네스의 과제당 비용보다 1.8배에서 5.0배까지 높았습니다. 모델에 따라 폭이 다르지만, 두 배 가까운 차이에서 다섯 배까지 벌어졌다는 뜻입니다.
같은 모델 안에서 가장 저렴한 하네스를 1.0으로 잡으면 중간 조합은 1.8배, 가장 비싼 조합은 다섯 배까지 올라갑니다. 모델에 따라 폭은 달라지지만, 같은 과제에 두 배에서 다섯 배를 더 내는 셈입니다.
이 차이는 생각보다 중요합니다. 같은 과제를 푸는데 다섯 배의 요금이 든다면, 성공률이 조금 높은 쪽을 고르는 판단이 뒤집힐 수 있습니다. 성공률이 5% 높은 하네스가 비용은 세 배라면, 그 5%를 돈으로 사는 셈이니까요. 그래서 저는 이 숫자를 성공률표 옆에 붙여 봐야 한다고 봅니다. 점수만 보면 1등이지만 요금까지 합치면 1등이 아닐 수 있습니다.
그래서 무엇을 골라야 할까
앞에서 본 흐름을 하나로 모으면 선택의 기준이 바뀝니다. 좋은 하네스가 따로 있는 것이 아니라, 쓰는 모델에 맞는 하네스가 있을 뿐입니다. 그렇다면 팀이 할 일도 달라집니다. 하네스 하나를 정해두고 모델만 갈아끼우는 방식이 아니라, 모델과 하네스를 한 쌍으로 묶어 평가하는 방식이 어울립니다.
저희가 새로운 AI 아키텍처를 볼 때도 점수 숫자만 보지는 않습니다. 실제로 무엇이 바뀌었고, 그 변화가 시스템에서 어떤 비용 구조를 만드는지를 함께 봅니다. 이 평가도 같은 자세로 읽힙니다. 성공률의 우열보다 값어치의 우열이 중요합니다. 같은 예산으로 몇 개 과제를 더 풀 수 있는지, 실패할 때 돈이 어디에서 새는지가 보이면 선택이 쉬워집니다.
반면 조심해서 읽을 대목도 있습니다. 이 수치는 62개 과제와 5개 모델이라는 울타리 안에서 나온 것입니다. 과제의 종류가 바뀌면 유리한 하네스가 또 바뀔 수 있습니다. 긴 탐색이 필요한 과제와 짧은 수정이 필요한 과제는 하네스에게 서로 다른 재주를 요구하니까요. 그래서 이 결과를 모든 코딩 작업에 그대로 옮기기보다, 우리 팀의 과제 묶음에서 같은 방식으로 한 번 더 재보는 편이 안전합니다.

제가 앞으로 보고 싶은 것
저는 이 숫자보다 그 뒤의 구조가 더 중요하다고 봅니다. 왜 특정 모델과 특정 하네스가 잘 맞았는지를 설명하는 대목이 앞으로 채워지면 좋겠습니다. 재시도 횟수 때문인지, 기억을 자르는 방식 때문인지, 도구 호출 형식을 다듬는 과정 때문인지가 갈리면 팀은 하네스 전체를 바꾸지 않고 맞는 부분만 고를 수 있습니다.
실제 시스템 관점에서 보면 다음 질문이 바로 생깁니다. 과제당 평균 비용 말고 분포는 어떨까요. 평균은 비슷해도 가끔 터지는 비싼 실행이 섞여 있으면 운영이 힘들어집니다. 밤사이 배치로 수백 개 과제를 돌리는 팀이라면 평균보다 꼬리 쪽이 더 중요할 수 있습니다. 실패했을 때 얼마나 빨리 멈추는지, 멈춘 뒤에 무엇을 남기는지도 함께 보고 싶습니다.
그렇다면 사람의 역할은 무엇일까요. 저는 이 평가를 읽고 선택의 무게가 모델 고르기에서 조합 고르기로 옮겨갔다고 느꼈습니다. 모델 릴리스 노트만 챙기던 팀은 이제 하네스의 릴리스 노트도 함께 챙겨야 합니다. 모델이 바뀌면 하네스의 값어치도 다시 재야 합니다. 번거로워 보이지만, 다섯 배의 차이를 모르고 내는 것보다는 낫습니다. 같은 예산으로 더 많은 과제를 풀 수 있다면, 그 측정은 충분히 값어치를 합니다.
참고 자료
- Introducing FrontierHarness Eval v1.1 - RUNTA · runta.com
리뷰 원문