AI가 혼란스러워서 내용을 잊는 것이 아닙니다 - 공간이 부족해지고 있는 것입니다. 모든 모델에는 고정된 "컨텍스트 창"이 있으며, 이는 한 번에 담고 추론할 수 있는 텍스트의 총량입니다. 창이 가득 차면 무언가를 포기해야 합니다. 이전 메시지가 새로운 메시지에 밀려나거나, 그 아래에 묻히거나, 완전히 삭제됩니다.
최종 업데이트: 2026년 7월 · KissMySkills 팀
컨텍스트 창이 실제로 의미하는 것
Claude, ChatGPT 또는 Gemini에 메시지를 보낼 때마다 모델은 그 메시지만 보는 것이 아닙니다. 지금까지의 전체 대화 - 사용자가 입력한 모든 내용, 모델이 답한 모든 내용, 그리고 첨부한 문서, 이미지 또는 파일 - 를 하나의 입력으로 묶어 봅니다. 이 전체 묶음이 바로 "컨텍스트"입니다. "창"은 모델이 한 번에 처리할 수 있는 컨텍스트의 양에 대한 상한선입니다.
컨텍스트 창은 토큰 단위로 측정되며, 토큰은 텍스트의 작은 조각입니다 - 대략 단어 하나의 ¾ 정도입니다. 100,000토큰 창을 가진 모델은 한계에 도달하기 전까지 대화, 문서, 지침을 합쳐 약 75,000단어 정도를 담을 수 있습니다. 많아 보이지만, 40페이지 분량의 PDF 하나, 스프레드시트 내보내기 파일 하나 또는 긴 회의록 하나만으로도 수만 개의 토큰을 사용할 수 있다는 점을 기억하면 그렇지 않습니다 - 실제 질문을 하기도 전에 말입니다.
이해해야 할 중요한 점은 컨텍스트 창이 모델이 내용을 찾아보는 데이터베이스가 아니라는 것입니다. 단기 기억에 더 가깝습니다. 그 창 밖에 있는 것은 모델에게 전혀 존재하지 않으며, 창 안의 모든 것은 모델의 제한된 주의를 두고 경쟁합니다.
AI가 "잊어버리는" 것처럼 느껴지는 이유
사람들은 이를 AI가 긴 채팅의 시작 부분을 "잊어버리거나" 업로드한 문서의 세부 사항을 놓치는 현상이라고 설명합니다. 관찰한 현상을 그렇게 표현하는 것은 합리적이지만, 내부적으로 실제로 일어나는 일과는 조금 다릅니다. 서로 다른 두 가지 일이 일어나며, 서로의 영향을 더 크게 만듭니다.
1. 소프트 망각: 희석
대화가 길어질수록 이전 콘텐츠가 사라지는 것이 아니라 - 모델이 살펴보는 내용에서 차지하는 비율이 점점 작아질 뿐입니다. 초기 지침, 결정 사항 또는 사실은 이후에 말한 모든 내용에 비해 상대적으로 "가중치"가 낮아집니다. 모델은 기술적으로 여전히 해당 콘텐츠에 접근할 수 있지만, 창 안에 빽빽하게 들어찬 다른 모든 내용 사이에서 그것을 찾아 우선순위를 정하려면 더 많은 노력이 필요합니다. 실제로 긴 대화에서는 품질이 눈에 띄게 저하됩니다. 모델이 이전 답변과 모순되거나, 이미 답한 질문을 다시 하거나, 열 번 전 대화에서 나온 미묘한 지시의 맥락을 놓치기도 합니다.
2. 하드 망각: 잘라내기
대화가 실제로 창의 하드 한도를 초과하면 새로운 입력을 위한 공간을 만들기 위해 무언가를 잘라내야 합니다. 대부분의 채팅 제품은 가장 오래된 대화를 조용히 삭제하거나 요약하는 방식으로 이를 처리합니다. 그 시점부터 콘텐츠는 단순히 희석되는 것이 아니라 - 실제로 사라집니다. 아무리 중요했더라도 모델은 더 이상 그것을 볼 수 없습니다.
둘 다 정확히 버그인 것은 아닙니다. 이는 고정된 크기의 창이 가득 차는 물리적 결과입니다. 하지만 이 때문에 문서를 거대하게 붙여 넣는 것과 채팅을 길고 장황하게 이어 가는 두 가지 평범한 습관이 출력 품질을 떨어뜨리는 가장 빠른 방법이 됩니다. 답변이 왜 나빠졌는지 깨닫지도 못한 채 말입니다.
"그냥 문서를 업로드"하는 것의 숨은 비용
큰 파일을 업로드하는 것은 무료처럼 느껴집니다. 하지만 그렇지 않습니다. 대규모 계약서, 연구 보고서 또는 전체 데이터세트는 모델이 실제 요청을 한 단어라도 처리하기 전에 사용 가능한 창의 상당 부분을 차지할 수 있습니다. 예를 들어 모델에 150,000토큰 창이 있고 문서가 그중 90,000토큰을 차지한다면, 시스템 지침과 대화 기록, 그리고 모델 자체의 추론과 응답에 사용할 수 있는 공간은 60,000토큰뿐입니다 - 실제로 문서 전체를 종합해야 하는 작업에서 말입니다.
이는 마케팅 보고서에 표가 가득하거나, 재무 모델이 있거나, 방대한 연구 자료가 있는 등 고강도 분석 작업에서 사람들을 곤란하게 만드는 바로 그 상황입니다. 입력이 더 크고 복잡할수록 AI가 그 입력으로 무엇을 해 달라는지 제대로 생각할 공간은 줄어듭니다.
Rafa는 바로 이 문제를 위해 Claude를 시니어 마케팅 분석 전문가로 바꿔 줍니다 - 상시 지침이 문서에 필요한 공간을 잠식하지 않으면서 복잡한 보고서, 대시보드, 캠페인 데이터를 분석합니다.
Rafa - 마케팅 분석 전문가 보기 →길고 장황한 채팅이 문제를 더 악화시키는 이유
또 다른 함정은 마라톤식 채팅입니다 - "이미 모든 맥락이 있으니까"라며 절대 닫지 않는 대화 스레드입니다. 모든 주고받은 메시지, 모든 중단된 곁가지, 모든 "아니, 다른 방식으로 해보자"가 창에 남아 공간을 차지하고 실제로 중요한 내용을 희석합니다. 메시지가 쉰 개쯤 쌓이면 모델은 현재의 실제 요청과 함께 반쯤만 관련 있는 과거 기록을 한더미 안고 있으며, 그 모든 내용에 대략 같은 비중을 부여합니다.
해결책은 "절대 긴 대화를 하지 않는 것"이 아닙니다. 중요한 것은 해당 창의 공간을 실제로 차지하고 있는 것이 무엇인지 의식하고, 모델이 중요하게 반영하기를 원하는 것, 즉 현재 작업과 현재 문서가 더 이상 중요하지 않은 내용에 파묻히지 않도록 하는 것입니다.
스킬 파일이 필요한 이유
이는 바로 스킬 파일(또는 시스템 프롬프트, 사용자 지정 지침, 프로젝트 지침 - 플랫폼에 따라 이름은 다르지만 같은 개념)이 존재하는 실질적인 이유입니다. 스킬 파일은 일반적으로 컨텍스트 창에서 뒤섞이는 서로 매우 다른 두 종류의 콘텐츠를 분리합니다:
- 상시 지침 - AI가 어떤 역할을 맡아야 하는지, 어떤 기준을 적용해야 하는지, 어떤 형식으로 출력해야 하는지에 관한 내용입니다. 작업마다 달라지지 않습니다.
- 작업 내용 - 분석 중인 문서, 작업 중인 데이터, 실제 문제에 대한 실제 대화입니다. 매번 달라집니다.
채팅 자체에 "선임 분석가처럼 행동하고, 이 구조를 따르고, 이 어조를 사용하며, 항상 X를 하고 절대 Y를 하지 마세요"라는 긴 자유 형식의 설명을 붙여 넣으면, 그 설명은 매번 모든 대화에서 문서와 질문 바로 옆에 공간과 주의를 두고 경쟁하며 창에 자리 잡습니다. Skill 파일은 동일한 지침을 간결하게 한 번 로드하여 모델이 들어갈 정의된 역할로 제공합니다. 일반적인 대화식 설명보다 더 압축적으로 작성되며, 즉흥적인 지침처럼 대화 중간에 다시 논의하거나 설명할 필요도 없습니다.
결과는 간단합니다. 창의 더 많은 부분을 실제로 변하는 내용에 할애할 수 있습니다 - 업로드한 보고서, 질문하고 있는 데이터, 이 세션에서 이어지는 스무 개의 후속 질문 등이 이에 해당합니다. 모델이 제한된 주의를 "어떻게 행동해야 하는지 기억하는 일"과 "지금 실제로 무엇을 묻고 있는지 이해하는 일" 사이에서 나눠 쓰지 않기 때문에, 더 오랫동안 높은 품질이 유지됩니다.
Ryan은 Claude를 장기적이고 맥락이 풍부한 임원 업무에 정확히 맞도록 구성합니다 - 이사회 자료, 브리핑, 의사결정 메모처럼 대화가 길어질수록 간결한 상시 역할이 더욱 중요해지는 업무입니다.
Ryan - Chief of Staff 보기 →실제로 도움이 되는 실용적인 습관
- 새 작업에는 새 스레드를 시작하세요. 새 대화는 깨끗한 창을 의미하므로, 현재 요청과 경쟁하는 희석된 기록이 남지 않습니다.
- 지속적인 지침은 분리하고 간결하게 유지하세요. Skill 파일을 한 번 로드하는 것이 모든 채팅에서 기대 사항을 다시 설명하는 것보다 낫습니다.
- 업로드하는 내용을 줄이세요. 3장과 4장만 필요하다면 책 전체를 업로드하지 마세요 - 불필요한 페이지 하나하나는 모델이 질문에 사용할 수 없는 토큰입니다.
- 계속하기 전에 요약하세요. 장기 프로젝트에서는 지금까지의 주요 결정을 짧게 요약하도록 모델에 요청하거나 직접 요약한 다음, 그 요약과 Skill 파일을 함께 넣어 새 스레드를 시작하세요.
- 경고 신호를 주의하세요. 반복되는 질문, 앞서 한 답변과 모순되는 내용, 구체적인 요청에 대한 모호한 답변은 더 똑똑한 prompt의 문제가 아니라, 창이 가득 찼거나 잘린 증상인 경우가 많습니다.
요약하면:
모든 AI 모델에는 고정된 컨텍스트 창이 있으며, 창이 가득 차면 오래된 내용이 희석되거나 삭제됩니다. 여러분이 알아차린 "잊어버림"은 혼란이 아니라 바로 이 현상입니다. 대용량 문서 업로드와 장황한 채팅 기록은 모두 같은 유한한 공간을 차지합니다. Rafa(마케팅 분석 전문가) 또는 Ryan(비서실장)처럼 지속적으로 사용하는 지침을 간결하게 유지하고 분리하면, 실제로 필요한 문서와 작업 내용에 더 많은 공간을 할애할 수 있어 답변의 정확성이 더 오래 유지됩니다.
여러분 또는 팀이 실제로 AI 채팅을 어떻게 사용하는지 입력하고, 지속적인 스킬 파일을 사용하는 경우와 매번 prompt를 다시 입력하는 경우의 실제 월간 토큰 낭비량과 비용을 추정해 보세요. 가입이나 이메일 입력은 필요 없습니다. 이 게시물의 계산 방식을 여러분의 수치에 적용한 결과만 확인하면 됩니다.
계산기 사용해 보기 →자주 묻는 질문
컨텍스트 창에 정확히 무엇이 포함되나요?
현재 대화의 모든 내용, 즉 사용자의 메시지, 모델의 답변, 모든 시스템 prompt 또는 스킬 파일 지침, 첨부된 파일이나 문서에서 추출된 전체 텍스트가 포함됩니다. 이 모든 내용은 하나의 공유 한도에 대해 토큰 단위로 함께 측정됩니다.
새 채팅을 시작하면 정말 문제가 해결되나요?
네, 창을 완전히 비운다는 의미에서는 그렇습니다. 희석된 기록도, 대화의 이전 부분이 잘려 나갈 위험도 없습니다. 다만 이전 대화에서 새 대화로 가져오지 않은 컨텍스트는 잃게 되므로, 아무것도 없는 상태에서 시작하기보다는 짧은 요약과 스킬 파일을 새 채팅에 가져오는 것이 좋습니다.
그냥 컨텍스트 창이 더 큰 모델을 사용하면 안 되나요?
더 큰 창이 도움이 되기는 하지만 근본적인 작동 방식인 희석과 우선순위 설정이 사라지는 것은 아닙니다. 규모가 커져도 이러한 현상은 계속 발생하며, 한도가 100,000이든 1,000,000이든 방대한 입력에는 여전히 실제 토큰이 사용됩니다. 더 큰 창은 더 많은 공간을 제공할 뿐이며, 그 공간 안에서 무엇을 우선시해야 하는지 모델이 자동으로 알게 해 주지는 않습니다.
스킬 파일은 채팅에 좋은 지침을 작성하는 것과 어떻게 다른가요?
둘 다 사용할 수 있지만, 채팅에 직접 입력한 지침은 다른 모든 내용과 같은 복잡한 창에 함께 놓이기 때문에 대화가 길어질수록 다시 언급되거나, 서로 충돌하거나, 희석되는 경우가 많습니다. 스킬 파일은 정의된 역할로 한 번 로드되며 작업 내용과 분리된 간결한 형태로 제공되므로, 실제로 작업 중인 문서나 데이터와 공간을 두고 경쟁하지 않습니다.
관련 항목: 임원 및 비서실장을 위한 최고의 Claude 스킬 · 최고의 Claude 스킬 마켓플레이스(비교)
