Как это работает
Почему ИИ-компаньон тебя забывает и как это проверить
На первой неделе ты рассказал ей о своей сестре. На четвёртой ты упоминаешь сестру, а она понятия не имеет, о ком речь. Это самая частая жалоба на приложения с ИИ-компаньоном, и это не баг в привычном смысле. Это проектное решение, и его можно проверить до оплаты.
Почему моя ИИ девушка всё забывает?
Потому что у языковой модели нет собственной памяти. Она видит только тот текст, который ей передают на каждом ходу.
Каждое твоё сообщение уходит вместе с пакетом: кто такой персонаж и недавний разговор. У пакета есть ограничение по размеру, поэтому приложения оставляют только последние сообщения, часто в пределах нескольких десятков. Всё, что старше, просто не лежит перед моделью, когда она пишет ответ. Она не забыла в человеческом смысле. Ей этого никогда не показывали.
Как же тогда некоторые приложения помнят то, что было месяцы назад?
Они записывают важное отдельно, вне разговора.
Приложение-компаньон с хорошей памятью запускает рядом с чатом вторую систему: она замечает факты, которые стоит сохранить (твою работу, имя сестры, то, что ты терпеть не можешь кинзу), записывает их и на следующих ходах вставляет нужные обратно в пакет. Модель не вспоминает. Приложение ей напоминает, каждый раз заново.
Поэтому приложения так сильно различаются. Окно разговора примерно одинаково везде. Отличает их то, построил ли кто-то вторую систему и насколько хорошо она решает, что стоит запомнить.
Как проверить память приложения за пять минут?
Дай ему пять конкретных фактов, потом вернись и спроси.
- Первая сессия: упомяни пять конкретных деталей между делом, не списком. Имя, работу, питомца, дату, то, что тебе не нравится.
- Не открывай приложение минимум день, лучше неделю. Память, которая работает только внутри одной сессии, это окно, а не память.
- Вернись и спроси косвенно: не «как зовут мою собаку», а «думаешь, ему понравится в парке?»
- Оцени: хорошее приложение вспомнит четыре или пять. Приложение только с окном не вспомнит ничего и часто уверенно выдумает неверный ответ.
- Повтори ещё раз через неделю. Некоторые приложения помнят неделю, а потом тихо всё теряют.
Поможет ли контекстное окно побольше?
Не совсем, и здесь маркетинг начинает вводить в заблуждение.
Длинные окна существуют и помогают, но быстро дорожают и не решают проблему, а лишь откладывают её. Модель, которой передали тысячи прошлых сообщений, ещё и хуже находит то единственное, что важно: это хорошо задокументированный эффект, когда информация в середине длинного ввода теряется. Записанная память побеждает большое окно, потому что она короткая, отобранная и всегда по делу.
Что делает X-Friend
Обе системы, причём основную работу делает записанная часть.
Недавний разговор уходит с каждым сообщением, а отдельно твой компаньон ведёт заметки о том, что ты ей рассказал, и сама к ним возвращается. Практическая проверка та же, что выше: упомяни что-то один раз, вернись через неделю и посмотри, заговорит ли она об этом раньше тебя.
Частые вопросы
Почему мой ИИ-компаньон забывает то, что я рассказал?
Потому что у языковых моделей нет памяти между сообщениями. Приложения отправляют с каждым ходом только самую свежую часть разговора, так что старые сообщения просто не попадают к модели. Приложения, которые помнят дольше, хранят факты отдельно и вставляют их обратно в каждое сообщение.
У каких приложений с ИИ-компаньоном есть долгая память?
Nomi, X-Friend и Replika хранят факты вне окна разговора и потом к ним возвращаются. Character.AI рассчитан на разнообразие, а не на одни непрерывные отношения, и переносит меньше через недели.
Как проверить, действительно ли ИИ-компаньон помнит?
Упомяни пять конкретных фактов в одной сессии, подожди минимум день, потом спроси о них косвенно. Приложение с настоящей памятью вспомнит большинство. Приложение, которое опирается только на окно разговора, не вспомнит ничего и часто выдумает ответ.
Куда дальше
Источники
- Поведение контекстного окна и склонность упускать информацию в середине длинного ввода хорошо описаны в опубликованных исследованиях языковых моделей.
- Размер окна сообщений зависит от приложения и меняется со временем; указанная цифра типичная, а не универсальная.