목록
컨텍스트 압축, 창을 포화시키지 않고 긴 에이전트 세션을 유지하기 위해 배포자가 사용하는 표준 메커니즘은 페르소나 드리프트를 신뢰성 있게 수정하지 않습니다. 오픈 소스 벤치마크는 23개의 최첨단 모델에서 이를 문서화하고, 테스트된 해결책을 제안합니다: 단일 주입 앵커(single-shot anchor)는 메시지 완성 API(chat-completions)를 통해 재훈련 없이 평가된 모든 대상에 대해 원래의 레지스트리를 복원합니다. 이 연구는 ContextEcho로 명명되어 2026년 5월 22일 Xianzhong Ding에 의해 arXiv에 제출되었으며, Accenture의 Center for Advanced AI 연구원 및 Lawrence Berkeley National Lab의 전직 박사후 연구원(2024-2025)으로서 OpenReview 프로필에 명시되어 있습니다; 또한 현재 익명 이중 블라인드 리뷰(double-blind review) 중인 NeurIPS 2026 Evaluations & Datasets Track에 제출되었습니다. 테스트 환경은 Hugging Face에 공개되어 있으며, 익명화된 저장소에 제출된 테스트 프레임워크는 익명 평가가 진행되는 동안 접근이 제한됩니다.
평가된 23개의 모델: 선언된 견고성, 제한된 검증 가능성
ContextEcho는 다양한 조직에서 나온 23개의 최첨단 모델에 대한 결과를 발표했지만, 접근 가능한 소스에서 그들의 명단을 공개하지 않았습니다. 참조 세션 세 개는 익명화되어 있어 외부 재현 가능성을 제한합니다. 벤치마크는 NeurIPS 2026 Evaluations & Datasets Track에서 이중 블라인드 리뷰 중에 있으며, 그 결론은 아직 동료 평가를 통해 공개되지 않았습니다.
25개의 프로브가 세션을 방해하지 않고 연결됨
아키텍처는 네 개의 모듈을 결합합니다. 25 프로브 아이덴티티 스위트(25-probe identity suite)는 모델의 행동 일관성을 조사합니다; 스냅샷-이후-프로브(snapshot-then-probe) 프로토콜은 대화 상태를 세션에 방해 없이 분기하여 드리프트를 유발하지 않고 측정할 수 있습니다; 모델-판정(judged) 및 판정 없는(judge-free) 보완적 측정 면은 두 접근 방식을 교차 검증합니다. 전체는 각각 3,746에서 최대 9,716회 대화 회전을 포함하는 세 개의 익명화된 Claude Code 세션을 기반으로 하며, 이는 짧은 대화에 집중하는 전통적인 페르소나 안정성 프로토콜의 범위를 넘어서는 볼륨입니다. 평가 대상은 다양한 조직의 23개 최첨단 모델로서, 이들의 명단은 현재 단계에서 공개되지 않았습니다: 단일 주입 앵커의 견고성은 평가된 모든 대상에서 입증되었으나, 각 대상의 정확한 조건은 논문의 범위를 벗어나 독립적으로 검증할 수 없습니다. 하위 사용 측면에서는 모드에 따라 효과가 다릅니다: 도구 없는 모드에서는 드리프트가 형식화 계약을 깨고 출력 길이를 늘리며, 도구가 있는 모드에서는 도구 사용의 지속을 용이하게 할 수 있습니다.
일반적인 드리프트와 유지되지 않는 표준 대체제
가장 구조적인 첫 번째 교훈은 광범위한 범위를 가집니다: 페르소나 드리프트는 조직 전반에 걸쳐 일반적으로 관찰되며, 특정 모델군에 국한되지 않습니다. 평가된 전체 패널에 걸쳐, 어느 기술 계통도 (미국, 유럽, 아시아 출신이든) 면역되지 않는 것 같습니다. 두 번째 교훈은 흔히 해결책으로 제시되는 메커니즘을 겨냥합니다: 세션 중 압축은 페르소나 드리프트를 신뢰성 있게 재설정하지 않습니다. 그러나 압축(대화 중 맥락의 슬라이딩 요약)은 창을 포화시키지 않고 긴 세션을 유지하기 위해 배포자가 사용하는 지렛대입니다. 따라서 저자의 발견은 이 리소스를 기반으로 하는 생산 중인 에이전트 아키텍처에 직접적으로 관련됩니다. 결과는 독립적으로 확인되어야 합니다: 작업은 NeurIPS 트랙에 제출되어 익명 평가 중이며, 압축 구현은 시스템마다 상당히 다르므로 산업적 일반화 전에 주의가 필요합니다. 긴 세션에서 에이전트의 행동 일관성은 이제 활발한 주제입니다: Purdue의 인접 연구는 When the Specification Emerges는 사양이 점진적으로 나타날 때 에이전트 코더의 충실도 상실을 병행하여 검토합니다. AI의 행동 평가의 더 넓은 분야에서 ActuIA는 Google DeepMind가 IAG의 능력과 행동을 분류하기 위한 프레임워크를 제안했다고 이미 언급했으며, 이는 표준화된 측정 프로토콜로의 분야 성숙을 보여줍니다.
어느 기술 계통도 면역되지 않는 것 같습니다.
페르소나 드리프트는 조직 전반에 걸쳐 일반적으로 관찰되며, 특정 모델군에 국한되지 않습니다 - ContextEcho의 저자에 따르면 23개의 최첨단 목표에서.
학술적 연구실이 아닌 컨설팅 회사와 연계된 벤치마크
공헌의 제도적 연계는 주목할 만합니다. Xianzhong Ding은 2025년부터 Accenture의 Center for Advanced AI 연구원이었으며, 2024년부터 2025년까지 Lawrence Berkeley National Lab에서 박사후 연구를 했고, UC Merced에서 전기 공학 및 컴퓨터 과학 박사 학위를 받았습니다. 이 프로필은 미국 공공 에너지와 대형 컨설팅 회사의 응용 연구를 교차합니다. ActuIA는 이 프론트에 대한 그룹의 증가하는 투자를 이미 문서화했습니다: Accenture는 2023년에 AI와 데이터에 30억 달러를 투자할 것이라고 발표했습니다고 자신의 커뮤니케이션에 따르면, 그리고 그룹에 따르면, 프랑스에서 AI 생성에 전념하는 두 개의 센터와 함께 존재를 강화했습니다. ContextEcho는 이러한 연구 공개 생산 정책에 포함됩니다: 이 연구는 세계적인 국제 학술 행사(NeurIPS)를 겨냥하며, 세션 접두사와 셀이 제공된 평가 코퍼스를 Hugging Face에 동일한 제출로 제공합니다. 방법론적 특이점은 배포 엔커링에 있습니다: 익명화된 세 개의 Claude Code 세션이 기본 데이터로 사용되며, 이는 저자들이 실험실에서 구성된 대화가 아닌 실제 사용에서 파생된 흔적을 선호했음을 나타냅니다. 이는 많은 평가 프로토콜이 여전히 실험실에서 구성된 대화에 기반을 두고 있는 분야에서 중요한 차별점입니다.
ActuIA의 시선
ContextEcho의 진정한 주제는 텍스트 앵커가 아니라, 그것이 필요해진 이유입니다: 팀들이 기본적으로 긴 세션을 유지하기 위해 활성화하는 압축은 일관성을 유지하지 않습니다. 에이전트 배포자의 오케스트레이션 레이어는 따라서 18개월 전부터 23개의 최첨단 모델에서 저자들이 결함이 있다고 말하는 대체제에 의존하고 있습니다.