Долговременная Память для ИИ-Ассистента: Превращение Переписок в Telegram в Структурированную Базу Знаний

Большие языковые модели обычно не имеют памяти, полагаясь на контекстное окно, способное обрабатывать лишь ограниченное количество токенов. Как только разговоры выходят за пределы этого лимита, модель теряет след предыдущей информации, что создает серьезные трудности для ассистента, который должен запоминать детали о задачах, контактах и соглашениях на длительный срок. Я разрабатываю персонального ассистента, который анализирует переписки пользователей в Telegram и может отвечать на вопросы, такие как: 'Какой бюджет мы обсуждали для поездки в Турцию?' или 'Что мы решили по поводу контракта с подрядчиком?'. Это требует создания системы долговременной памяти. Хотя первоначальный подход казался простым—сохранение всех сообщений в векторной базе данных и выполнение поиска top-k для нахождения релевантных фрагментов—я быстро понял, что этот наивный метод RAG оказывается недостаточным. В этой статье я объясню, почему этот подход не работает, и опишу архитектуру, которую я разработал как более эффективное решение.