지난 편에 에이전트 서비스가 어렵다고 썼다. https://brunch.co.kr/@103ab3ed4f1f4f6/206 확률로 굴러가는 제품이라 설계로 막을 수가 없고, 그래서 모델 바꾸고 프롬프트 깎고 돌려보기를 한 달 넘게 반복하고 있다고. 다 맞는 말이었는데, 쓰면서 뭔가 시원하게 해결되지 않는 느낌.
R&R의 경계가 넓어져야 한다고 주장하는 사람이다.
나는 계속 R&R(역할과 책임)의 경계가 일부는 무너져야 한다고. 아니, 무너진다기보다 각자의 영역이 넓어져야 한다고.
어디까지 넓히는 건지, 어떤 방식인지는 나도 계속 달라졌다. 공부할수록 바뀌었고, 정리된 답이라기보다 유기적으로 붙어 있는 생각들에 가까웠다. 나도 그렇게 행동하려고 많이 노력했다. 제품을 실제로 만들고 구축하는 과정에 계속 같이 들어가 있다. 경계를 넓히겠다고말해놓고, 뭘 알아야 하는지는 안 채우고 있었던 거다. 요즘 하는 건 세 가지다.
첫째, 내가 생각하는 방식을 그대로 에이전트로 만들어보고 있다.
이번엔 단순히 구조만 고민하는게 아니다. 에이전트가 사람처럼 움직이는 구조였다. 뇌가 실제로 어떻게 돌아가 단할 때 내 머릿속에서 실제로 무슨 순서가 돌아가는지. 그걸 워크플로우 형태로 계속 구조 아서 몇 번이고 다시 그렸다.그리고 그렇게 그린 구조로 내 개인 에이전트를 만들었다. 만들어놓고 실제로 돌려본다. 내가 시킨 대로 움직이는지, 성능을 평가하고 고쳐본다.
둘째, 논문을 읽는다.
감사하게도 옆에서 조언해줄 사람이 있다. 단순한 코멘트 한마디도 나에게 도움이 많이 된다. 것과 비슷한 실험 주제를 이미 해본 사람이 있는지 찾아보고 있다. 아직 아주 얕게.
셋째, 다른 에이전트 서비스의 구조를 뜯어본다.
이건 원래도 하던 거다. 서비스 분석 글을 계속 써왔으니까. 근데 보는 눈이 달라졌다. 예전엔 이 서비스가 뭘 안 만들었는지, 어떻 이전트를 몇 개로 쪼갰는지,그것들이 어떤 순서로 붙어 있는지, 기억을 어디에 두는지를 본다.
다만 볼 수 있는 게 많지는 않다. 회사들이 자기 구조를 다 공개하지는 않으니까. IR 자료에 슬쩍 들어간 도식, 논문에 실린 구조. 한테 자신 있게 소개할 만큼이해한 건 아니다. 그래서 일단 여러 개를 읽어보고 있다.
공부를 하니까 질문이 바뀌었다
이게 제일 큰 변화다. 한 달 전에 내가 하던 질문은 이거였다. "이 오류 왜 나지, 어떻게 막지."
요즘 하는 질문은 좀 다르다. 어떤 서비스로 유저들에게 다가가고 있는가. 그렇다면 이 서비스가 찍어야할 상방의 기준은 무엇인가, 그러기 위해서 나는 어느정도의 서비스를 어떻게 만들어야하고 어떻게 작동해야하는가? 유저의 경험만 본게 이전이었다면, 지금은 동작해야하는 이유 큰 설계를 같이 고민해본다. 물론, 잘 못하고 한참 남았다.
예전에 분석해둔 디토(Ditto, 미국의 AI 데이팅 서비스)를 다시 꺼내 봤다.
피치덱에 공개된 도식으로 보면 유저가 올린 사진과 프로필을 읽어서 태그를 붙인다. 다음 에이전트가 그걸로 짝을 맞춘다. 그다음 에이전트가 두 사람이 만나면 대화가 어떻게 흘러갈지를 예측해보고 매칭한다.그다음이 데이트 장소와 시간을 잡고 초대장을 만든다. 마지막 에이전트가 데이트가 끝난 뒤 피드백을 받아서 다음 매칭에 넣는다. 병렬로 에이전트가 줄지어 있고, 다섯을 다 통과하면결과물이 하나 나온다. 수요일 저녁에 도착하는 문자 한 통이다. 유저는 이 다섯 단계를 모른다. 알 필요도 없다.
내 개인 에이전트는 기억이 있다. 그리고 기능들이 기억을 조합해서 쓴다. (아직 연구중이라 실험을 더 해보고 글로 과정과 성과를 남겨보겠다)
얕게 보다가, 결국 제대로 공부를 시작했다.
처음엔 검색하고 요약만 봤다. 제목 훑고, 초록 읽고, 아 이런 게 있구나 하고 넘어갔다. 그렇게 보다 보니 아는 것 같은데 하나도 손에 안 잡혔다. 결국 깊게 알아보고 싶어졌다. 이해할 수 있을지는 모르겠지만 프린트했다.
읽는 순서에 대한 조언도 받았다. AI 논문은 기술 발전 속도가 빨라서 예전 것은 연도별로 대표적인 것만 보고, 최근 것 위주로 보면 좋다고. 그렇게 읽어보려 한다.
솔직히 쓰면 지금 서비스는 멈춰 있다. 유저가 잘 들어오고 있던 중이었다. 나는 일주일 정도 손을 뗐다.사이드 프로젝트에서 일주일은 짧지 않다. 퇴근하고 붙였다 떼는 시간을 모으면 일주일치가 통째로 날아간 거다. 잘 되고 있을 때 멈추는 건 더 그렇다.
그래도 지금은 이게 맞다고 본다. 기능을 하나 더 붙이는 것보다, 이 서비스가 결국 무엇으로 동작하고 작동해야하는건지 아는 게 먼저다. 그리고 이 연구는 유저의 경험에 가까이 맞닿아 있다. 그리고 그건 지금 공부하는 자리에 있다고 믿는다. 여기서 나온 게 코어가 되고 본질이 될 거라고. 그리고 이 과정을 잘 정리하고 남겨보려한다. 어떤 형식에서든. 하지만, 일주일 뒤에 이 판단이 틀렸다고 쓰게 될 수도 있다.
그래도 언제까지나 연구만 할 수는 없다
서비스 만드는 사람이라면 더 그렇다. 결국 내 목표는 유저의 효용, 유저의 좋은 경험이다.
내일까지 바뀐 구조를 서비스에 적용한다. 유저가 조금이라도 더 만족스럽게 쓸 수 있게. 연구가 끝나면 붙이는 게 아니라 병렬로 간다. 어차피 붙여봐야 맞는지 아닌지 안다.
이직을 도와주는 커리어에이전트 쏘냐. 여기서 써보실 수 있습니다.
https://pf.kakao.com/_CMXpn