지난 편에서 시스템 프롬프트랑 유저 프롬프트 얘기를 했다. AI한테 미리 깔린 설정과 우리가 매번 던지는 메시지의 차이. 이번엔 그 다음으로 자주 들려오는 단어,컨텍스트(Context)
컨텍스트 관리라는 단어를 이야기하지 않을 수 없다. 알고 보면 별 거 아닌데, 모르고 쓰면 답답할 수밖에 없다.
컨텍스는 또 뭐야?
컨텍스트는 한국어로 "맥락"이다. AI한테 컨텍스트는 지금 이 대화에서 AI가 기억하고 있는 모든 정보를 뜻한다. 시스템 프롬프트, 내가 지금까지 보낸 모든 메시지, AI가 지금까지 답한 모든 메시지, 첨부한 파일, 붙여넣은 글. 이것들을 다 합친 게 그 대화의 컨텍스트다. AI는 답할 때마다 이 컨텍스트 전체를 한 번 쫙 훑고 답한다. "지금까지 무슨 얘기 했더라?" 를 매번 다시 본다는 뜻이다. 근데 여기서 중요한 사실 하나. AI가 한 번에 들고 있을 수 있는 컨텍스트의 양은 정해져 있다. 이걸 컨텍스트 윈도우(Context Window)라고 부른다. 모델마다 크기가 다른데, 어쨌든 무한이 아니라 한계가 있다.
컨텍스트는 AI의 단기 기억이라고 생각하면 쉽다.
우리도 누군가랑 한참 얘기하다 보면, 처음에 무슨 말 했는지 흐려지는 순간이 온다. 새 정보가 계속 들어오니까 오래된 정보는 자연스럽게 머릿속에서 밀려나는 거다. AI도 똑같다. 우리가 메시지를 계속 주고받을수록, 처음에 했던 얘기는 점점 머릿속 뒤편으로 밀려난다. 사람한테 한 번에 외울 수 있는 정보의 한계가 있는 것처럼, AI한테도 한 번에 들고 있을 수 있는 정보의 한계가 있다. 그게 컨텍스트 윈도우다.
그래서 "아까 내가 말했잖아요"가 안 통하는 거다. AI가 일부러 모른 척하는 게 아니라, 정말로 그 정보가 머릿속에서 밀려난 상태인 거다. 긴 대화에서 AI가 자꾸 흐릿한 답을 주거나 초반 내용을 까먹은 것처럼 보이는 건 다 이 이유다.
그래서 우리가 알면 뭐가 좋나
1. 긴 대화일수록 AI 답이 점점 흐려지는 느낌이 들 때가 있다. 일명 멍청해져. 라고 느껴지는 순간. 머릿속이 너무 꽉 찬 거다. 새 대화창(새 세션)을 열고 핵심 정보만 다시 정리해서 던지면, 결과가 만족스러워 질 확률이 높다.
2. 긴 문서는 한 번에 다 안 던지기. PDF 하나 통째로 붙이고 "이거 정리해줘"보다는, 필요한 부분만 잘라서 주거나 챕터별로 나눠서 작업하는 게 컨텍스트를 효율적으로 쓰는 방법이다. 사람도 100페이지 자료 한 번에 읽으라고 하면 핵심을 놓치잖나. AI도 똑같다.
3. 핵심 정보는 한 번 더 짚어주기. 긴 대화 중간에 중요한 정보를 다시 살리고 싶을 때, 그냥 "아까 그거"라고 하지 말고 다시 한 줄로 요약해서 적어주자. 머릿속 뒤편으로 밀려난 정보를 다시 앞쪽으로 끌어올려 줘보자.
4. 시스템 프롬프트 활용하기. 이게 진짜 꿀팁이다. 매번 던져야 하는 정보(내 직무, 좋아하는 답변 스타일, 자주 다루는 회사 정보 등)는 아예 영구 저장 공간에 박아두는 거다. 사람으로 치면 단기 기억이 아니라 장기 기억으로 옮겨놓는 거다. 시스템 프롬프트를 활용하자는거다.
정리하면
컨텍스트는 AI가 지금 이 대화에서 들고 있는 모든 정보다. 시스템 프롬프트, 메시지, 첨부 자료까지 전부.
컨텍스트 윈도우는 AI가 한 번에 들고 있을 수 있는 양이고, 한계가 있다. 길어지면 오래된
산만해지면 새 대화로 시작하고, 긴 문서는 필요한 부분만 잘라서 던지고, 자주 쓰는 정보는 시스템 프롬프트로 보내자.
다음 편은 컨텍스트와 깊게 엮인 단어, 토큰(Token) 얘기다. AI는 글자를 글자로 안 본다. 토큰이라는 단위로 본다. 이걸 알아보자!