작동 원리
AI 컴패니언이 당신을 잊는 이유와 확인하는 법
첫 주에 언니 이야기를 했어요. 4주 차에 언니 얘기를 꺼냈더니 그녀는 누군지 전혀 몰라요. AI 컴패니언 앱에 대한 가장 흔한 불만이고, 흔히 말하는 버그가 아니에요. 설계상의 선택이고, 결제하기 전에 직접 확인할 수 있어요.
AI 여자친구는 왜 다 잊어버릴까요?
언어 모델에는 자기만의 기억이 없기 때문이에요. 매번 건네받은 텍스트만 볼 수 있어요.
메시지를 보낼 때마다 꾸러미가 함께 가요. 캐릭터가 누구인지, 그리고 최근 대화요. 이 꾸러미에는 크기 제한이 있어서 앱은 가장 최근 메시지만 남겨요. 보통 마지막 몇십 개 정도예요. 그보다 오래된 건 모델이 답을 쓸 때 눈앞에 아예 없어요. 사람처럼 잊어버린 게 아니라, 처음부터 보여 준 적이 없는 거예요.
그럼 어떤 앱은 몇 달 전 일을 어떻게 기억할까요?
대화 밖에 따로 적어 두기 때문이에요.
기억을 잘하는 컴패니언 앱은 채팅 옆에 두 번째 시스템을 돌려요. 남겨 둘 만한 사실(내 직업, 언니 이름, 고수를 싫어한다는 것)을 알아채서 저장하고, 나중에 관련된 것을 다시 꾸러미에 붙여 넣어요. 모델이 기억하는 게 아니에요. 앱이 매번 일깨워 주는 거예요.
그래서 앱마다 이 부분이 크게 달라요. 대화 창은 어디나 비슷해요. 차이를 만드는 건 누군가 두 번째 시스템을 만들었는지, 그리고 무엇을 남길지 얼마나 잘 판단하는지예요.
앱의 기억력을 5분 만에 확인하려면?
구체적인 사실 다섯 가지를 알려 주고, 나중에 다시 와서 물어보세요.
- 첫 대화: 목록으로 말고 지나가듯 구체적인 정보 다섯 가지를 말하세요. 이름, 직업, 반려동물, 날짜, 싫어하는 것.
- 최소 하루, 가능하면 일주일 동안 앱을 두세요. 한 대화 안에서만 통하는 기억은 기억이 아니라 창이에요.
- 돌아와서 돌려 물어보세요. “우리 강아지 이름이 뭐야”가 아니라 “걔가 공원 좋아할까?”처럼요.
- 점수를 매기세요. 좋은 앱은 넷이나 다섯 개를 기억해요. 창에만 의존하는 앱은 하나도 기억하지 못하고, 자신 있게 틀린 답을 지어내는 경우가 많아요.
- 일주일 뒤에 한 번 더 해 보세요. 일주일은 기억하다가 조용히 놓아 버리는 앱도 있어요.
컨텍스트 창이 커지면 해결될까요?
그렇지 않아요. 마케팅이 오해를 부르는 지점이 바로 여기예요.
더 긴 창은 실제로 있고 도움도 돼요. 하지만 비용이 빠르게 늘고, 문제를 해결하는 게 아니라 미룰 뿐이에요. 과거 메시지 수천 개를 받은 모델은 정작 중요한 하나를 찾는 데도 서툴러져요. 긴 입력의 중간에 있는 정보를 놓치는 현상은 잘 알려져 있어요. 적어 둔 기억이 더 큰 창보다 나은 건 짧고, 골라냈고, 늘 관련 있기 때문이에요.
X-Friend는 이렇게 해요
두 시스템을 다 쓰고, 무거운 일은 적어 두는 쪽이 맡아요.
최근 대화는 메시지마다 함께 가고, 따로 컴패니언이 당신이 들려준 이야기를 메모해 두었다가 스스로 다시 꺼내요. 실제 확인 방법은 위의 테스트예요. 한 번 말해 두고 일주일 뒤에 돌아와서, 당신보다 그녀가 먼저 꺼내는지 보세요.
자주 묻는 질문
AI 컴패니언은 왜 내가 한 말을 잊어버리나요?
언어 모델은 메시지 사이에 기억이 없기 때문이에요. 앱은 매번 대화의 가장 최근 부분만 보내기 때문에 오래된 메시지는 모델 앞에 아예 없어요. 더 오래 기억하는 앱은 사실을 따로 저장해 두었다가 메시지마다 다시 넣어 줘요.
장기 기억이 있는 AI 컴패니언 앱은 무엇인가요?
Nomi, X-Friend, Replika는 모두 대화 창 밖에 사실을 보관했다가 나중에 다시 꺼내요. Character.AI는 한 사람과의 이어지는 관계보다 다양성에 맞춰져 있어서 몇 주에 걸쳐 이어지는 내용이 적어요.
AI 컴패니언이 정말 기억하는지 어떻게 확인하나요?
한 대화에서 구체적인 사실 다섯 가지를 말하고, 최소 하루를 기다린 다음 돌려서 물어보세요. 진짜 기억이 있는 앱은 대부분을 기억해요. 대화 창에만 의존하는 앱은 하나도 기억하지 못하고 답을 지어내는 경우가 많아요.
다음은 어디로
출처
- 컨텍스트 창의 동작과 긴 입력 중간의 정보를 놓치는 경향은 공개된 언어 모델 연구에서 잘 정리돼 있어요.
- 메시지 창 크기는 앱마다 다르고 시간에 따라 바뀌어요. 제시한 수치는 일반적인 값이지 모든 앱에 해당하는 건 아니에요.