Liu 외(TACL)의 'Lost in the Middle'은, 언어모델이 입력 문맥의 처음과 끝에 있는 정보는 잘 활용하지만 중간에 있는 정보는 놓치기 쉽다는 U자형 성능 패턴을 실증한 논문입니다.
최근의 언어모델은 수만~수십만 토큰에 이르는 긴 문맥을 입력으로 받을 수 있게 됐습니다. 하지만 "입력에 넣을 수 있다"는 것과 "그 정보를 실제로 잘 활용한다"는 것은 다른 문제입니다. 특히 검색증강생성(RAG)처럼 여러 문서를 한꺼번에 문맥에 넣고 그 안에서 정답을 찾게 하는 방식이 널리 쓰이면서, 모델이 문맥 전체를 얼마나 고르게 참고하는지는 답변의 정확도와 안전성을 좌우하는 실질적인 변수가 됐습니다.
이 논문은 바로 이 지점 — 긴 문맥 안에서 정보의 "위치"가 모델 성능에 어떤 영향을 주는지 — 을 정면으로 검증합니다. 저자들이 초록에서 밝히듯, 이 분석은 향후 장문맥 언어모델을 평가하는 새로운 프로토콜을 제안한다는 점에서도 인용됩니다.
연구진은 다중 문서 질의응답(multi-document question answering)과 키-값 검색(key-value retrieval)이라는 두 가지 과제를 설계했습니다. 두 과제 모두 "정답에 해당하는 정보가 입력 문맥 안 어디에 있는지"만 체계적으로 바꿔가며 모델의 응답 정확도가 어떻게 달라지는지를 측정하는 구조입니다.
다중 문서 질의응답 과제에서는 질문에 대한 답을 담은 관련 문서를 여러 개의 비관련 문서들 사이, 즉 문맥의 앞·중간·뒤 등 다양한 위치에 배치합니다. 키-값 검색 과제는 이보다 더 단순화된 합성(synthetic) 설정으로, 문맥 내 특정 위치의 키-값 쌍을 정확히 찾아내는지를 봅니다.
실험 대상 모델에는 GPT-3.5-turbo를 비롯해, 명시적으로 긴 문맥을 지원하도록 설계된 모델들도 포함됩니다. 즉 이 연구는 특정 모델 하나의 결함이 아니라, 문맥 위치에 따른 성능 저하가 여러 모델에 걸쳐 공통적으로 나타나는지를 확인하는 방식으로 설계됐습니다.
이 논문은 생성형 AI가 검색·요약 시 어떤 위치의 정보를 우선적으로 반영하는지를 밝혀, GEO에서 "어디에 핵심 정보를 배치할지"가 왜 중요한지를 설명하는 근거 논문으로 자주 인용됩니다. 브랜드나 제품에 대한 설명이 페이지의 서두나 결론부에 있을 때와, 본문 중간의 긴 설명 사이에 파묻혀 있을 때 AI가 이를 인식하고 인용할 가능성은 이 논문이 보여준 U자형 패턴에 비추어 다를 수 있습니다.
AIBIX lab이 브랜드 지수를 측정할 때도 AI 응답이 문맥의 어느 위치에서 브랜드를 언급하는지는 가시성·인용 해석에 영향을 줄 수 있는 변수입니다. 예를 들어 동일한 정보라도 AI가 여러 출처 문서를 종합해 답변을 구성하는 과정에서, 문맥 중간에 배치된 브랜드 언급은 서두나 결론부의 언급보다 최종 응답에 반영될 가능성이 낮을 수 있습니다. 이 논문의 U자형 패턴은 AIBIX 지수의 인용 측정 설계와 향후 방법론 고도화에 참고할 만한 실증 근거이며, 콘텐츠 제작자가 핵심 정보를 문서의 어디에 배치해야 하는지를 검토할 때도 함께 고려할 만한 연구입니다.
arXiv 초록 페이지: arxiv.org/abs/2307.03172