12편에서 봤다. AI는 엄청난 학습을 거쳐서 똑똑해진다고. 근데 그 학습이 모든 걸 해결해주는 건 아니다. 학습이 끝난 모델한테는 두 가지 한계가 있다.
1. 어제 일은 모른다.
2. 학습 데이터에 들어간 편견을 그대로 닮는다
둘 다 학습 때 생긴 한계다. 오늘은 이 두 가지를 본다.
AI는 어제 일을 모른다! 뭔가를 물어보면 자꾸 예전 이야기만 한다?
AI한테 어제 뉴스 알려줘 하면 모른다고 답하는 경우가 많다. 혹은 이전 결과를 말할때가 있다. 왜냐하면 AI의 지식은 학습이 끝난 시점에서 멈춰있기 때문이다.
12편에서 학습은 회사가 한 번에 몰아서 한다고 했다. 학습이 끝나면 모델의 학습 데이터는 거기서 멈춰있다. 그 이후의 세상 일은 모델한테 안 들어간다. 이걸 지식 컷오프(Knowledge Cutoff)라고 한다.
그러니까 컷오프 이후에 일어난 일은 모델한테 없는 일이다. 새 영화, 새 정치 사건, 새 제품 발표, 다 모른다.
근데 왜 어제 일도 답해주는 것 같지?
요즘 AI한테 오늘 뉴스 알려줘하면 답해주는 경우가 있다. 그건 모델이 아는 게 아니라 AI가 인터넷을 검색한 거다. 정확하겐 툴은 쓴거지!
요즘 Claude, ChatGPT, Gemini 다 웹 검색 기능이 붙어있다. 학습으로 모르는 건 그 자리에서 검색해서 가져온다. 8편의 Tool 개념과 9편의 MCP가 여기서 다시 나온다. AI가 모르는 건 손발을 써서 찾아오는 것이다.
그래서 답을 받았을 때 한 번 의심해볼 만하다. 이건 AI가 원래 알고 있던 거야, 아니면 방금 검색해서 가져온 거야? 둘은 사실 다른 개념이다. 학습된 지식은 다 외운 거지만, 검색한 정보는 그때그때 인터넷에서 긁어온 거다.
AI는 학습 데이터의 편견을 닮는다.
AI는 학습 데이터에 들어간 편견을 그대로 닮는다. 학습 데이터는 다양한 사람들이 작성한 글이다. 특히 인터넷에 있는 글은 '어떤' 사람이 쓴 거다. 사람이 쓴 글에는 사람의 편견이 들어가 있다. AI는 그 편견을 그대로 학습했다.
대표적으로 세 가지가 있다.
1. 언어 편향 학습 데이터의 압도적인 양이 영어다. GPT-3는 학습 데이터의 약 92.65%, Llama 2는 89.7%, Claude 2는 거의 90%가 영어로 알려져 있다. 다른 언어로 된 데이터는 상대적으로 적다. 그래서 같은 질문이라도 언어에 따라 답의 결이 다를 수 있다.
2. 문화 편향 서구권 자료가 학습 데이터에 더 많이 들어가 있다. 2025년 Microsoft 연구진(Kumar et al.)의 분석에 따르면 LLM이 추천하는 명명된 엔티티(인물, 회사, 제품 등)의 약 80%가 WEIRD 국가(서구·교육·산업화·부유·민주주의 국가) 출신이었다. 그래서 보편적인 질문을 던지면 서구권 시점이 기본값으로 나오는 경향이 있다.
3. 사회적 편향 직업, 성별, 인종에 대한 사람들의 인식이 학습 데이터에 그대로 들어가 있다. 그래서 AI가 답을 만들 때 그 인식을 따라가는 경향이 있다. 이건 학계에서 다수 연구로 이미 입증된 부분이다.
회사들도 이걸 줄이려고 노력은 한다. 사람한테 피드백 받아서 모델을 다듬는 작업(RLHF)을 거친다. 근데 완전히 없애지는 못한다. 학습 데이터 자체가 그렇게 만들어졌으니까.
그래서 우리가 알면 뭐가 좋나
AI가 모른다고 하면 그게 무능한 게 아니다. 컷오프 이후 일은 원래 모른다. 검색 기능을 켜서 다시 물으면 답이 다르게 나온다.
AI 답을 무작정 믿으면 안 된다. 편향이 들어있을 수 있다. 특히 사람·문화·직업에 대한 답은 한 번 의심해볼 만하다.
영어로 던져보면 답이 다를 수 있다. 한국어 답이 부족하다 싶으면 영어로 같은 질문을 던져보면 결이 다를 때가 많다.
정리하면
지식 컷오프 = 학습이 끝난 시점. 그 이후 세상 일은 AI가 모른다.
검색 기능 = 모르는 건 인터넷에서 가져온다. 학습된 지식과는 결이 다르다.
편향 = 학습 데이터에 들어간 사람의 편견을 그대로 닮는다.
회사들이 RLHF로 줄이려고 노력하지만 완전히 없애지는 못한다.
그리고, AI 첫걸음 시리즈를 마무리하며
13편을 쓰면서 생각했다. 결국 AI랑도 관계다.
소개팅을 떠올려보자. 처음 만난 사람한테 마음 열고 좋은 대화를 하려면 그 사람을 알아야 한다. 어떤 일을 하는 사람인지, 뭘 좋아하는지, 뭘 못 견디는지, 어떤 농담은 통하고 어떤 농담은 안 통하는지. 모르면 그냥 어색한 시간이 흘러간다. 연인 관계는 한 발 더 들어간다. 상대가 어떻게 자랐는지, 어떤 기억이 있는지, 어떤 한계가 있는지까지 알면, 갈등이 생겨도 풀린다. 아 얘가 이래서 이런 반응을 하는구나 싶으니까.
AI랑도 똑같다.
AI한테 어떻게 말 거는지 알면 (시스템 프롬프트, 1편) 답이 달라진다.
AI가 뭘 기억하는지 알면 (컨텍스트, 2편) 새 채팅을 언제 열어야 할지 안다.
AI가 어떻게 만들어졌는지 알면 (학습, 12편) "왜 이런 답을 하지?"가 풀린다.
AI한테 어떤 한계가 있는지 알면 (13편) 무작정 믿지 않고, 보완할 수 있다.
잘 알아야 잘 쓸 수 있다. 그래서 개념 공부가 의미 있다. AI 잘 쓰는 법 백 개 외우는 것보다, AI가 어떻게 돌아가는지 한 번 제대로 이해하는 게 결국 더 멀리 간다. 관계랑 똑같다.
여기까지가 AI 첫걸음 시리즈다. 1편 시스템 프롬프트로 시작해서 컨텍스트, 토큰, 할루시네이션, 프롬프트 엔지니어링, 에이전트, MCP, 멀티모달, 학습과 추론, 그리고 AI의 한계까지 왔다. 비개발자가 AI랑 친해지는 데 필요한 기본기는 다 다뤘다고 생각한다.
이제 더 이상 "AI 입문자"는 아니다. 회사에서 들리는 단어, 뉴스에 나오는 모델 이름, 사람들이 던지는 질문에 대부분 감이 잡힐 거다.
다음 시리즈는 "AI 한걸음 더"로 돌아올 예정이다. RAG, Temperature, 오픈소스 같은 한 단계 깊은 주제들로.
지금까지 읽어주셔서 감사합니다.