장기 검색 AI 에이전트 학습: 정답 역추적으로 좋은 검색 단계를 가리는 법

장기 검색 AI 에이전트의 품질은 마지막 답만 맞혔는지로 충분히 설명되지 않는다. 나는 검색 실행을 관찰할 때, 최종 답을 놓친 경로 안에도 다음 질문을 여는 좋은 검색어, 신뢰할 수 있는 원문을 찾은 도구 호출, 이미 얻은 근거를 검증한 단계가 섞여 있다는 점을 먼저 본다. 그럼에도 많은 학습·평가 파이프라인은 한 실행을 성공 또는 실패로만 처리한다. 8월 5일 공개된 ABSeeker 논문은 이 빈칸을 정답에서 필요한 중간 단서로 거슬러 올라가 각 검색 단계에 보상을 배정하는 방식으로 다룬다. Qwen3.5-4B 기반 모델이 8,500개 예시만으로 BrowseComp에서 37.3%를 기록했고, 문맥 관리까지 더했을 때 55.3%라고 보고했다. 연구 수치를 그대로 운영 성과로 옮길 수는 없지만, 실무자가 가져갈 결론은 분명하다. 검색 에이전트는 ‘답을 맞혔는가’뿐 아니라 각 도구 호출이 어떤 검증 가능한 단서를 늘렸는지 기록하고, 그 기록으로 다음 실행을 고쳐야 한다.

왜 최종 정답 하나로는 검색 경로를 학습할 수 없나

에이전틱 검색은 한 번의 벡터 검색으로 끝나지 않는다. 질문을 분해하고, 검색어를 바꾸고, 문서를 읽고, 출처 간 모순을 확인한 뒤, 근거를 합쳐 답을 만든다. 이 경로가 열 단계라면 마지막 답이 틀렸을 때 앞의 아홉 단계를 전부 나쁜 행동으로 취급하기 쉽다. 반대로 우연히 답을 맞혔다고 해서 중간에 반복한 검색, 약한 출처, 불필요하게 긴 탐색까지 좋은 행동이 되는 것도 아니다.

ABSeeker의 핵심은 답에서 출발해 답을 만들기 위해 필요했던 중간 단서를 복원하고, 각 단계가 그 단서에 기여했는지 평가하는 Answer-Backtracked Credit Assignment다. 논문은 이 단계별 점수를 SFT의 turn별 손실 가중치와 GRPO의 보상으로 사용한다. 즉 최종 보상 하나를 모든 행동에 똑같이 나눠 주는 대신, 쓸모 있는 행동은 실패한 전체 실행 안에서도 살리고 오류·중복 행동은 억제한다.

이 방식이 특히 중요한 이유는 ‘실패’를 버릴 데이터가 아니라 분해할 데이터로 바꾸기 때문이다. 예를 들어 법인명 변경 이력을 찾는 에이전트가 최종 날짜를 잘못 답했더라도, 중간에 규제기관의 원문 공시를 찾았다면 그 호출은 다음 학습에서 남길 가치가 있다. 반대로 같은 키워드로 블로그를 세 번 읽고도 새 증거를 추가하지 못했다면, 최종 답이 맞더라도 반복 패턴은 줄여야 한다. 평가 단위가 답변 텍스트에서 실행 단계로 내려오는 순간, ‘모델이 왜 이 경로를 골랐나’도 조금 더 검토 가능한 질문이 된다.

작은 모델이 검색 도구를 잘 쓰게 만드는 조건

Neon과 Castform이 8월 5일 공개한 사례도 같은 방향의 운영 신호다. 이들은 검색 도구 사용이 필요한 특정 작업에서는 4B 오픈 웨이트 모델을 post-training해 frontier 모델과 비슷한 검색 정확도를 주장하며, 일반적인 다중 턴 검색 요청은 frontier 모델에서 10초 이상과 약 0.03달러가 걸린다고 적었다. 이는 벤더가 제시한 조건부 수치이므로 우리 시스템의 비용 절감 보장은 아니다. 다만 ‘더 작은 모델’만으로는 부족하고, 실제 corpus·검색 도구·정답 판정 기준이 결합된 환경에서 훈련해야 한다는 점은 설득력이 있다.

작은 모델을 검색 경로에 투입할 때는 아래 세 요소를 분리해 설계해야 한다.

1. 환경: 모델이 호출할 검색·문서 읽기·필터 도구와 각 도구의 허용 범위를 고정한다. 학습과 운영에서 전혀 다른 도구를 쓰면 보상이 좋아도 행동이 이식되지 않는다.
2. 단서: 정답에 이르는 데 필요한 중간 증거를 URL, 문서 구간, 구조화된 사실 형태로 남긴다. 정답 문장만 있으면 어느 행동이 도움이 됐는지 판정할 수 없다.
3. 채점: 최종 정답 정확도와 별개로 새 근거 추가, 출처 품질, 중복 호출, 정책 위반, 지연시간을 단계별 이벤트로 평가한다.

이 세 가지가 없으면 post-training은 검색을 더 잘하는 모델을 만드는 작업이 아니라, 현재 로그에 있던 편향을 더 잘 재현하는 작업이 된다. 특히 팀의 내부 문서는 업데이트·권한·테넌트 경계가 있기 때문에, 학습용 실행 로그에서도 원문 접근 scope와 시각을 함께 기록해야 한다.

운영 로그를 단계별 학습 데이터로 바꾸는 최소 계약

처음부터 강화학습 인프라를 도입할 필요는 없다. 먼저 실제 검색 실행이 무엇을 새로 알아냈는지 판정할 수 있는 로그부터 만든다. 아래 형식은 제품 설정값이 아니라, 한 도구 호출을 재검토 가능한 학습 샘플로 남기기 위한 최소 예시다.

search_step:
  run_id: "research-2026-08-07-014"
  step: 4
  tool: "document_search"
  query_or_input_hash: "sha256:..."
  source_url: "https://canonical.example/report"
  evidence_id: "report-2026-q2:section-3"
  clue: "공시된 법인명 변경일"
  novelty: "new_evidence"
  source_quality: "primary"
  outcome: "useful"
  observed_at: "2026-08-07T09:30:00Z"

운영자는 outcome을 모델의 자기평가로 확정하면 안 된다. 표본을 사람이 검토하거나, 정답·원문·규칙 기반 검증기로 대조해야 한다. 그 다음에야 useful, redundant, unsupported, policy_blocked 같은 라벨을 학습과 리플레이에 쓸 수 있다. 이 로그는 비용 절감에도 직접 연결된다. 실패한 실행의 총 토큰만 보는 대신, 새 근거 없이 반복된 도구 호출 비율과 한 답변당 primary evidence 수를 같이 보면 어디를 줄이고 어디를 유지할지 알 수 있기 때문이다.

무엇을 측정해야 작은 모델 승격이 안전한가

작은 모델을 더 비싼 모델의 대체 경로로 승격할 때, 최종 정답률 하나만 보고 결정하면 안 된다. ABSeeker의 BrowseComp 수치는 공개 벤치마크의 특정 모델·데이터·문맥 관리 조건에서 나온 결과다. Neon의 100배 저렴하다는 주장도 해당 검색 환경의 제품 주장이다. 두 결과는 방향을 보여 주지만, 우리 문서와 사용자 질문에서 재현될지는 별도로 검증해야 한다.

그래서 shadow mode에서 최소한 다음 다섯 지표를 함께 기록하는 편이 좋다: 정답 또는 사람 승인 통과율, primary source를 새로 추가한 비율, 중복 도구 호출률, p95 완료 시간, 요청당 실제 비용이다. 작은 모델이 정확도는 비슷해도 중복 검색을 많이 하거나 약한 출처에 의존한다면, 그 절감은 장기적으로 리뷰 비용으로 되돌아온다. 반대로 실패 경로에서도 좋은 증거를 남긴다면, fallback을 타더라도 그 로그는 다음 모델 개선의 자산이 된다.

내 의견: 검색 에이전트의 경쟁력은 더 긴 궤적이 아니라 버릴 단계를 아는 데 있다

나는 장기 검색 에이전트의 다음 경쟁이 단순한 context window나 tool-call 수 경쟁이 아니라고 본다. 좋은 시스템은 더 오래 돌아다니는 대신, 어느 검색이 새 증거를 만들지 못했는지 빨리 알아채고 경로를 바꾼다. 가벼운 반론도 있다. 단계별 라벨과 검증 로그를 만들려면 사람의 검토 비용이 늘고, 작은 팀에는 과도하다는 주장이다. 맞다. 모든 내부 검색을 연구용 데이터셋처럼 주석할 필요는 없다. 하지만 고객 답변, 규제 정보, 배포 판단처럼 틀렸을 때 비용이 큰 경로라면, 최종 답 하나만 저장하는 방식은 이미 충분히 비싸다. 표본 검토부터 시작해 좋은 증거와 중복 행동을 분리하는 편이 무작정 더 큰 모델에 모든 어려운 질문을 넘기는 것보다 현실적인 개선 경로다.

김덕환 운영자 관점

김덕환 운영자 관점에서는 기존 리서치·문서 검색 자동화 하나를 골라, 다음 주부터 실행마다 ‘새 primary source를 찾았는가’와 ‘새 증거 없이 같은 도구를 반복했는가’ 두 필드만 남겨도 된다. 일주일 뒤 반복률이 높은 단계부터 검색어 생성·도구 선택·fallback 조건을 고치고, 사람이 승인한 좋은 단계만 작은 모델의 shadow 평가에 사용한다. 검색 에이전트가 더 많은 링크를 수집했다는 말보다, 어떤 단계가 답의 근거를 실제로 늘렸는지를 설명할 수 있을 때 운영 품질이 쌓인다.

참고 자료

• ABSeeker: Training Long-Horizon Search Agents via Answer-Backtracked Credit Assignment — arXiv, 2026-08-05 제출. 8.5k 예시, Qwen3.5-4B, BrowseComp 결과와 단계별 credit assignment
• How Castform + Neon Beats Frontier Models on Price and Efficiency — Neon, 2026-08-05. 4B 모델·agentic retrieval·다중 턴 검색 비용 주장을 포함한 벤더 사례
• Artificial Intelligence recent submissions — arXiv cs.AI, 2026-08-06 확인