AI랑 일하다 보면 가끔 그런 생각이 든다. 얘는 어떻게 이렇게 똑똑해진 거지?
답은 두 글자다. 학습. 그리고 학습이 끝난 모델이 답을 내놓는 과정은 추론이라고 한다.
AI에는 이 두 가지 시간이 있다. 만들어지는 시간(학습)과 답하는 시간(추론). 오늘은 그 두 가지를 본다.
학습 : AI를 만드는 시간
10편에서 모델은 "한 번 만들면 끝"이라고 했다. 그 만드는 과정이 학습이다. 학습은 간단하다. AI한테 엄청 많은 글을 다 읽힌다. 책, 뉴스, 위키피디아, 인터넷 글, 코드. 진짜 어마어마하게 읽힌다. 그러면서 AI는 외운다. "사과 다음엔 빨갛다가 자주 오네", "이런 질문엔 이렇게 답하는구나". 4편에서 AI는 다음 단어를 맞히는 기계라고 했다. 학습은 그 맞히는 실력을 키우는 시간이다.
학습은 오래 걸리고 돈도 어마어마하게 든다. GPT-4가 약 1000억, Gemini Ultra가 약 2500억, Llama 3가 약 6500억이 들었다고 알려져 있다. 그래서 새 모델 나오는 게 그렇게 큰 뉴스가 되는 거다.
학습이 끝나면 뭐가 남나 = 파라미터
학습이 끝나면 AI 머릿속에 메모가 잔뜩 남는다. 이걸 파라미터라고 한다.
뉴스에서 가끔 보이는 "LLaMA 70B", "DeepSeek 671B" 이런 거. 예를들면 70B는 메모가 700억 개, 671B는 6710억 개라는 뜻이다. 메모가 많을수록 확률적으로 더 잘 답한다고 느낄 수 있다. 큰 모델이 더 똑똑한 이유다.
근데 Claude나 GPT 같은 모델에는 이런 숫자가 안 붙어있다. Anthropic, OpenAI, Google은 자기 모델의 파라미터 수를 공개하지 않는다.
추론 : AI가 답하는 시간
학습이 끝난 AI한테 질문을 던지면, AI가 그 메모를 다 뒤져서 답을 만든다. 이게 추론이다. 비유하면 학습은 공부하는 시간, 추론은 시험 보는 시간. 공부는 몇 달 걸렸지만 시험은 몇 초 만에 끝난다.
근데 시험도 공짜는 아니다. 우리가 던지는 질문마다, AI가 뱉는 답마다 그 메모가 다 한 번 돌아간다. 그래서 토큰을 쓸 때마다 돈이 든다. 10편의 thinking 모드도 결국 추론 시간을 더 쓰는 거다. 학습은 이미 끝나서 못 늘리니까, 추론할 때 시간을 더 쓰는 방식이다.
그럼 우리가 많이 쓰면 이 AI가 똑똑해질까?
여기서 진짜 많이들 헷갈리는 게 있다. "내가 이 AI를 매일 쓰면 얘도 점점 똑똑해지는 거 아니야?" 아니다. 우리가 매일 던지는 질문으로 지금 이 AI가 똑똑해지지는 않는다.
학습은 회사가 한 번에 몰아서 한다고 한다. 나도 이게 왜 한번에 하지? 바로바로 하면 안되나 싶어서 여러번 팩트 체크를 했다. 우리가 쓰는 건 시험 보는 시간(추론)일 뿐이다. 시험 보는 동안에 학생이 더 똑똑해지지는 않잖아. 그거랑 똑같다.
근데 점점 똑똑해 보이는 건 사실이다. 그건 셋 중 하나 때문이다.
1. 같은 채팅 안에서 정보를 줬을 때 내가 채팅에서 "나는 PM이야"라고 한 번 말하면, 그 채팅에서는 그걸 기억한다. 근데 그건 학습이 아니라 컨텍스트다(2편). 채팅 닫으면 다 잊는다.
2. 메모리 기능이 켜져 있을 때 Claude나 ChatGPT의 메모리 기능. 한 번 말하면 다음 채팅에서도 기억한다. 근데 이것도 학습이 아니다. AI가 나에 대한 메모를 따로 적어놓는 것일 뿐, AI 자체가 똑똑해진 게 아니다. 메모를 지우면 다시 모르는 사람이 된다.
3. 회사가 새 모델을 냈을 때 Claude 4.6 → 4.7 이렇게 새 버전이 나오면 더 똑똑해진 것 같다. 맞다. 근데 그건 회사가 학습을 새로 한 결과다. 우리 대화 덕분이 아니라 회사가 돈 들여서 다시 만든 거다.
그럼 대화 내역은 아무데도 쓰이지 않는가? 다음 모델 학습할 때 재료로 쓰일 수 있다. 근데 어쨌든 그건 다음 모델이 바뀌면서 생기는 일이지, 지금 쓰는 AI가 본질적으로똑똑해지는 건 아니다.
그래서 우리가 알면 뭐가 좋나
새 모델 뉴스가 이해된다. 새로운 모델 출시 라는 뉴스가, "공부 한 번 더 시켰구나", "70B 모델"은 "메모 700억 개짜리구나" 감이 온다.
모델은 함부로 안 바뀐다. 학습이 끝난 AI는 고정이다. 어제 답이 오늘 다른 건 모델이 바뀐 게 아니라, 시험 볼 때마다 살짝 다르게 답하는 것이라는 개념을 이해하고 쓰게 된다.
AI가 왜 돈을 받는지 안다. 학습에 수천억을 쓰고, 우리한테 토큰 비용으로 받아 회수하는 구조다.
정리하면
학습 = AI 만드는 시간. 글 엄청 많이 읽힌다. 몇 달 + 수천억이 든다.
파라미터 = 학습 끝나고 남은 메모.
추론 = AI가 답하는 시간. 메모를 뒤져서 답을 만든다.
공부는 몇 달, 시험은 몇 초.
지금 쓰는 이 AI는 우리가 뭘 하든 그대로다. 회사가 새 모델을 내놔야 진짜 바뀐다. (대신 우리 대화는 다음 모델 학습 재료로 쓰일 수 있다.)
다음 편은 AI의 한계 얘기를 해볼까 한다. 그 어마어마한 학습에도 AI가 모르는 게 있다.