AI 답변이 이상해지는 이유, 컨텍스트 관리가 필요한 순간

AI 답변이 이상해지는 이유와 컨텍스트 관리 개념을 보여주는 썸네일

AI로 일을 하다 보면 이상한 순간이 생깁니다.

처음에는 내가 원하는 것을 잘 알아듣던 AI가 대화가 길어지면서 엉뚱한 조건을 붙이거나, 이미 끝난 이야기를 다시 꺼내기 시작합니다.

예를 들어 오전에는 거래처에 보낼 메일을 작성하고, 이어서 엑셀 데이터를 분석한 뒤, 같은 대화창에서 블로그 글까지 작성한다고 해보겠습니다.

AI를 오래 사용하는 것과 하나의 대화를 오래 사용하는 것은 다른 문제입니다.

AI 답변이 이상해지는 이유와 과도한 컨텍스트를 요약한 인포그래픽

AI가 참고하는 ‘작업 공간’을 정리해야 합니다

AI가 답을 만들 때 참고하는 정보의 범위를 흔히 컨텍스트(Context)라고 합니다.

쉽게 말하면 지금 AI의 책상 위에 펼쳐져 있는 자료라고 생각하면 됩니다.

☆컨텍스트를 쉽게 생각하면

회의 자료, 재고표, 계약서, 블로그 초안을 한 책상에 모두 펼쳐두면 필요한 문서를 찾기 어려워집니다. AI도 필요한 정보와 불필요한 정보가 한 대화에 계속 쌓이면 이전 조건이 새로운 작업에 섞일 수 있습니다.

그렇다고 과거 대화가 많다고 무조건 답변이 나빠지는 것은 아닙니다. 앞선 내용이 필요한 연속 작업이라면 오히려 이전 맥락이 도움이 됩니다.

중요한 것은 지금 하는 일에 과거의 정보가 필요한가를 구분하는 것입니다.

주제가 바뀌면 새 대화로 나누는 편이 좋습니다

가장 간단한 방법은 작업의 성격이 완전히 바뀔 때 대화를 나누는 것입니다.

회의록을 정리하던 대화에서 갑자기 상품 판매 분석을 시작하거나, 블로그 글을 쓰던 대화에서 계약서를 검토할 이유는 없습니다.

☆이렇게 나누면 됩니다

  • 9월 재고 발주 검토 → 하나의 대화
  • SNS 게시글 작성 → 별도 대화
  • 계약서 검토 → 별도 대화

주제가 바뀌면 대화도 바꿉니다. 이것만으로도 AI를 사용하는 환경이 훨씬 단순해집니다.

이어갈 일은 전체 대화보다 핵심만 남깁니다

반대로 이전 내용을 반드시 이어가야 하는 일도 있습니다. 웹앱을 만들거나, 긴 보고서를 작성하거나, 여러 날에 걸쳐 하나의 프로젝트를 진행할 때가 그렇습니다.

이때 매번 처음부터 모든 내용을 다시 설명하는 것도 비효율적입니다.

필요한 것은 전체 대화가 아니라 현재까지 결정된 핵심 정보입니다.

☆이어갈 때 남길 정보

  • 프로젝트 목적
  • 이미 결정한 기준
  • 완료된 작업
  • 남은 작업

사람이 회의가 끝난 뒤 회의록을 남기는 것과 비슷합니다. 모든 대화를 다시 듣는 대신 결정사항과 후속 조치만 남기는 것입니다.

AI 컨텍스트 관리 방법 네 가지를 요약한 인포그래픽

자료는 많이 주는 것보다 정확하게 주는 것이 중요합니다

AI가 사용할 수 있는 자료가 많아진 것도 최근의 큰 변화입니다. 문서, 이메일, 클라우드 파일, GitHub 같은 외부 서비스까지 연결해 사용할 수 있습니다.

하지만 많이 연결했다고 해서 항상 좋은 것은 아닙니다.

이번 작업에 필요한 자료가 특정 엑셀 파일과 계약서 두 개라면 그 자료를 중심으로 판단하게 하는 편이 낫습니다.

☆자료가 많을수록 생기는 문제

오래된 파일과 최신 파일이 함께 검색되면 AI가 둘을 모두 참고할 수 있습니다. 결국 사용자가 어떤 자료를 기준으로 볼지 다시 판단해야 할 수 있습니다.

AI에게 자료를 많이 주는 것보다 정확한 자료를 주는 것이 중요합니다.

작업 난이도에 맞는 모델을 선택합니다

컨텍스트 관리와 함께 생각해볼 것이 하나 더 있습니다. AI에게 맡기는 일의 난이도입니다.

맞춤법을 고치거나 문장을 짧게 만드는 작업과, 여러 자료를 비교해 의사결정 기준을 만드는 작업은 필요한 추론 수준이 다릅니다.

가장 좋은 모델을 계속 쓰는 것보다 일의 난이도에 맞는 도구를 선택하는 것이 중요합니다.

컨텍스트는 네 가지만 점검해도 많이 정리됩니다

☆컨텍스트 점검 4가지

  1. 작업 구분 — 이전 업무와 같은 주제인지 확인합니다.
  2. 핵심 정리 — 결정사항과 남은 작업만 남깁니다.
  3. 자료 범위 — 현재 작업에 필요한 파일과 도구만 봅니다.
  4. 작업 난이도 — 단순 수정과 복잡한 분석을 구분합니다.

많이 기억시키는 것이 능사는 아닙니다

AI를 사용하면서 처음에는 기억을 많이 남겨두는 것이 편하다고 생각할 수 있습니다. 한 번 설명한 내용을 다시 설명하지 않아도 되기 때문입니다.

하지만 작업이 많아질수록 어떤 정보는 계속 필요하고, 어떤 정보는 이미 역할을 다합니다.

결국 사람의 책상과 크게 다르지 않습니다. 자료를 많이 쌓아두는 것이 일을 잘하는 방법은 아닙니다. 지금 해야 할 일에 필요한 자료를 꺼내놓는 것이 더 중요합니다.

☆한 문장으로 정리하면

AI를 잘 사용하는 방법 중 하나는 많이 기억시키는 것이 아니라, 지금 필요한 것만 기억하게 만드는 것입니다.


English Summary
Effective AI use is not only about choosing a powerful model. Managing context is equally important. Separate unrelated tasks, summarize long-running projects, and provide only the information needed for the current job. A cleaner context can make AI work easier to manage.


관련 글

AI 글이 자꾸 장황해진다면, 이 원칙을 써봤습니다