아시겠지만, 처음에는 명확했던 대화가 40번째 메시지쯤 되면 지침의 절반을 무시하거나, 10개 전 메시지에서 자신이 한 말과 모순되거나, 한 시간 전에 수정한 일반적인 기본값으로 되돌아간 답변을 내놓기 시작합니다. 무언가가 "고장 난" 것은 아닙니다. 모델의 성능이 떨어진 것도 아닙니다. 달라진 것은 모델이 사용자에게 답하기 전에 읽어야 하는 텍스트의 더미입니다.
긴 대화 안에서 실제로 일어나는 일
AI 모델이 사용자에게 보내는 모든 답변은 그 시점까지의 전체 대화를 읽고 생성됩니다. 여기에는 원래 지침, 모든 후속 요청, 모든 수정, 모든 곁가지 이야기, 모든 "사실 이것도 추가로 해줄 수 있어..."가 포함됩니다. 그리고 모델은 그다음에 무엇이 와야 할지 예측합니다. 이 전체 기록을 컨텍스트 창이라고 하며, 대화가 길어져도 작아지지 않습니다. 처음보다 훨씬 많은 텍스트를 담게 되며 메시지가 하나씩 추가될수록 계속 커집니다.
대화 초반에는 사용자의 지침이 맥락의 거의 전부입니다. 모델의 역할은 간단합니다. 깔끔한 요약을 읽고 그대로 따르는 것입니다. 하지만 메시지가 30개쯤 되면 원래 요약은 훨씬 긴 문서의 작은 일부가 되어, 구체적인 수정, 구체적인 수치, 특정 상황에만 해당하는 요청에 관한 수십 번의 대화 아래 묻힙니다. 모델은 여전히 기술적으로 원래 지침을 맥락 안에 "가지고" 있지만, 이제는 훨씬 많은 양의 최신 정보와 주의를 끌기 위해 경쟁해야 하며, 그 정보는 더 구체적이고 서로 모순되는 경우도 많습니다.
이 때문에 긴 대화는 한꺼번에 실패하지 않습니다. 서서히 저하됩니다. 모델은 초기 메시지보다 최근 메시지에 더 큰 비중을 두기 시작합니다(대개는 올바른 판단입니다 - 최신성은 보통 관련성을 나타내기 때문입니다). 하지만 기본 규칙이 같은 낡아 가는 대화 스레드 안에 있으면 "최근"과 "중요한"이 뒤섞입니다. 5분 전에 한 무심코 던진 말이 대화 기록에서 더 최근에 위치한다는 이유만으로 한 시간 전에 제시한 기준 설정 지침보다 우선될 수 있습니다.
여기에는 더 조용한 두 번째 비용도 있습니다. 모델은 매번 더 복잡해진 문서에서 사용자의 의도를 다시 도출해야 합니다. "당신은 항상 X 형식으로 결과를 구성하고, Y는 절대 피하는 숙련된 성장 전략가입니다"라는 내용을 깔끔한 지침으로 읽는 대신, 의역, 대화 중간에 허용한 예외, 특정 작업에만 적용된 수정 사항을 거친 같은 내용을 해석해야 합니다. 조율해야 할 텍스트가 많아질수록 모델이 내용을 적당히 섞거나, 애매하게 표현하거나, 다시 반복되지 않은 제약 조건을 조용히 빠뜨릴 여지가 커집니다.
사람들이 흔히 택하는 두 가지 해결책 - 그리고 둘 다 정보 손실을 일으키는 이유
해결책 1: 위로 스크롤해 원래 지침을 다시 붙여넣기
가장 흔한 임시방편입니다. 첫 번째 메시지까지 거슬러 올라가 원래 브리프를 복사한 다음, 40번째 메시지에 "그냥 다시 알려드리는 거예요. 이 내용을 지켜 주세요." 같은 문구와 함께 다시 붙여 넣습니다. 다섯 번 정도 더 답변을 받는 동안은 효과가 있습니다. 하지만 컨텍스트 창이 작동하는 방식은 전혀 바꾸지 않고, 이미 비대해진 대화 기록에 지침을 한 번 더 복사해 추가했을 뿐이므로 같은 이탈이 다시 발생합니다. 이제 채팅은 더 길어졌고, 신호 대 노이즈 비율은 개선되지 않았으며, 프로젝트가 끝날 때까지 가끔씩 이 작업을 반복해야 합니다.
해결책 2: 완전히 새로운 채팅을 시작하고 모든 내용을 다시 입력하세요
또 다른 흔한 방법은 더 과감합니다. 스레드를 버리고 새로 시작하는 것입니다. 이렇게 하면 희석 문제는 해결됩니다. 새 채팅은 짧고 깔끔한 컨텍스트를 갖기 때문에 지침을 다시 명확히 읽을 수 있습니다. 하지만 노이즈와 함께 중요한 것도 버리게 됩니다. 바로 AI가 이 특정 프로젝트를 잘 수행하도록 해 준 유용한 작업별 컨텍스트입니다. AI에게 제공한 예시, 이미 함께 살펴본 예외적인 사례, 이미 함께 내린 결정이 모두 사라집니다. 처음부터 다시 구축해야 하며, 채팅 밖 어디에도 저장해 두지 않은 지침을 기억해 내거나 예전 메시지를 급히 뒤져 재구성해야 합니다.
두 해결책 모두 증상만 다룹니다. 어느 쪽도 근본적인 문제를 해결하지 못합니다. 근본적인 문제는 ROLE, FORMAT, STANDARDS가 늘어나는 주고받기의 더미 안에만 존재하고 다른 곳에는 저장되어 있지 않다는 것입니다.
성장 마케팅 전략가의 역할, 출력 형식, 기준을 고정해 주는 간결하고 재사용 가능한 Skill 파일입니다. 따라서 새 채팅을 백지에서 시작하는 대신, 명확한 방향을 갖고 시작할 수 있습니다.
Sofia - 성장 마케팅 전략가 보기 →더 나은 해결책: 신호와 노이즈를 분리하세요
진정한 해결책은 스크롤 방식이나 새로 시작하는 것이 아니라, 지침이 존재하는 위치를 구조적으로 바꾸는 것입니다. 계속 길어지는 스레드의 첫 번째 메시지 안에 ROLE, FORMAT, STANDARDS를 두는 대신, Skill이라는 작고 독립적인 파일에 담는 것입니다. 필요할 때마다 그 파일을 새 채팅이나 Claude/ChatGPT 프로젝트에 새로 불러오면, 이어지는 대화는 당면한 작업에만 집중하게 됩니다.
대화가 예전에는 뒤엉켜 있던 두 개의 층으로 나뉜다고 생각해 보세요.
- 신호 - 절대 바뀌거나 희석되어서는 안 되는 내용입니다. AI가 어떤 역할을 맡는지, 출력을 정확히 어떻게 형식화해야 하는지, 항상 적용되는 기준과 제약이 무엇인지에 관한 내용입니다. 이는 채팅 외부의 Skill 파일에 담깁니다.
- 노이즈 - 이 작업, 이번 주, 이번 한 번의 주고받기에만 해당하는 내용입니다. "더 짧게 만들어", "이 고객의 수치를 사용해", "아니, 다른 버전으로." 이런 내용은 채팅에 남으며, 길어져도 괜찮습니다. 모델의 핵심 지침과 주의를 두고 경쟁하는 내용이 아니기 때문입니다.
이 두 계층을 분리하면 긴 프로젝트는 하나의 길고 점점 퇴화하는 대화가 되지 않습니다. 대신 각각이 Skill 파일에서 불러온 똑같이 정교한 지침 세트로 시작하는 일련의 깔끔한 대화가 됩니다. 각 대화는 "좋은 결과"의 기준을 다시 논의할 필요 없이 실제 작업을 얼마든지 길게 진행할 수 있습니다. 두 번째 해결책의 장점인 새 대화와 깨끗한 컨텍스트를 누리면서도, 두 번째 해결책의 비용인 모든 내용을 기억에서 다시 입력하는 수고는 들지 않습니다. 지침이 애초에 이전 스레드에 갇혀 있지 않았기 때문입니다.
이 방식은 두 가지 잘못된 해결책이 모두 건드리지 못하는 문제도 해결합니다. 바로 세션 간 일관성입니다. 기준이 머릿속에만 있고 매번 조금씩 다르게 다시 입력하면, 품질은 한 대화 안에서만이 아니라 프로젝트마다 달라집니다. Skill 파일은 매번 동일한 파일입니다 - 한 번 버전 관리하고, 새로운 내용을 알게 될 때 다듬으면 모든 향후 대화가 즉시 개선 사항을 이어받습니다.
분석 관련 스레드는 대시보드, 이벤트 스키마, 보고 주기 등으로 길어집니다. Rafa는 Skill 파일에 분석 기준을 고정해 두므로 프로젝트 6주 차에도 첫날과 동일한 엄격함을 유지합니다.
Rafa - 마케팅 분석 전문가 보기 →실제 적용 모습
몇 주에 걸친 업무를 진행한다고 해 보겠습니다 - 성장 감사, 지속적인 분석 체계 구축, 고객과 함께하는 컨설팅 프로젝트 등입니다. 서서히 전체 맥락을 잃는 하나의 장기 대화 대신, 다음과 같은 패턴으로 진행됩니다.
- 귀하의 역할/형식/기준은 Skill 파일에 저장됩니다(시스템 프롬프트나 Claude/ChatGPT 프로젝트 지침으로 붙여 넣을 만한 짧고 구조화된 문서입니다).
- 각 작업 세션 또는 프로젝트의 새로운 단계마다 해당 Skill 파일을 불러온 새 대화로 시작합니다.
- 실제 작업에 필요한 만큼 대화 자체를 길고 복잡하게 이어 가도 됩니다. 기본 지침이 같은 대화 기록에 함께 실려 더 최근에 입력된 내용에 밀려나지 않기 때문입니다.
- 모든 향후 세션에 적용되어야 하는 내용을 배웠다면 - 서식 설정이나 계속 반복해야 하는 제약 조건처럼 - 앞으로 이어질 모든 대화가 아니라 Skill 파일을 한 번만 수정하면 됩니다.
결과적으로 긴 프로젝트 전체에서 품질이 하락하지 않고 일정하게 유지됩니다. 컨텍스트 창과 씨름하는 것이 아니라, 원래부터 잘 맞지 않았던 역할, 즉 상시 지침을 영구적으로 기억하는 역할을 맡기지 않는 것입니다.
McKinsey에서 훈련받은 구조적 사고를 매 세션 새로 불러옵니다 - 따라서 장기 컨설팅 프로젝트가 과부하된 하나의 채팅 스레드에서 발생한 드리프트를 그대로 물려받지 않습니다.
Thomas - 비즈니스 컨설턴트 보기 →여러분 또는 팀이 실제로 AI 채팅을 사용하는 방식을 입력하고, 지속적인 Skill 파일을 사용하는 경우와 다시 prompt를 작성하는 경우의 월간 토큰 낭비 및 비용을 실제 수치로 확인해 보세요. 가입도 이메일도 필요 없습니다 - 이 게시물의 계산을 여러분의 수치에 적용한 결과만 보여 드립니다.
계산기 사용해 보기 →FAQ
같은 채팅에서 앞서 전달한 지침을 AI가 "잊어버리는" 것처럼 보이는 이유는 무엇인가요?
문자 그대로 잊어버린 것은 아닙니다 - 텍스트는 여전히 컨텍스트 창 안에 있습니다. 하지만 대화가 길어질수록 원래 지침이 모델이 고려해야 하는 전체 내용에서 차지하는 비중은 점점 작아지고, 최근 메시지가 응답에 더 큰 영향을 미치는 경향이 있습니다. 그 결과는 망각처럼 보이지만 실제로는 희석입니다.
새 채팅을 시작하는 것이 가장 간단한 해결책 아닌가요?
새 채팅의 깨끗한 맥락이라는 이점은 제공하지만 새로운 문제를 만듭니다. 바로 이 특정 프로젝트에서 AI를 유용하게 만들어 준 작업별 맥락을 잃고, 원래 지침을 기억해 내거나 찾아서 다시 입력해야 한다는 점입니다. Skill 파일을 사용하면 지속적인 지침이 채팅 외부에 완전히 존재하므로 기억 부담 없이 새 채팅의 깔끔한 맥락이라는 이점을 얻을 수 있습니다.
Skill 파일과 더 길고 자세한 prompt의 차이는 무엇인가요?
더 긴 prompt도 여전히 채팅 안에 존재하며 다른 모든 메시지와 마찬가지로 시간이 지날수록 낡습니다 - 긴 대화 흐름에서는 동일한 희석의 영향을 받습니다. Skill 파일은 특정 대화와 분리되어 있습니다. 새로운 채팅이나 프로젝트를 시작할 때마다 새로 불러오므로 최근 메시지와 모델의 주의를 놓고 경쟁하지 않으며 특정 작업의 잡음이 누적되지도 않습니다.
