Преодоление галлюцинаций в Mamba-моделях: Экспериментальное исследование RAG-управляемой самокоррекции на примере Qwen 3 Next

Аннотация

В данной работе исследуется решение проблемы фактологических галлюцинаций в больших языковых моделях на базе архитектуры Mamba (State Space Models, SSM). Несмотря на их беспрецедентную эффективность по памяти (состояние ~24 МБ против >30 ГБ KV-кэша у Трансформеров на 100k токенов), SSM склонны к генерации неточных данных из-за архитектурной предрасположенности к семантическому обобщению. Мы выдвигаем и экспериментально подтверждаем гипотезу о том, что плотный цикл RAG-верификации (Retrieval-Augmented Generation) позволяет Mamba-агентам не только исправлять, но и полностью перезаписывать свои внутренние ошибочные убеждения, используя архитектурную пластичность SSM. В ходе эксперимента на модели Qwen-Next-80B-A3B-Instruct была продемонстрирована способность агента к критическому самоанализу, формированию высокоточных верификационных запросов к эмулированному RAG-инструменту и последующей полной реконструкции своей базы знаний на основе полученных фактов. Результаты показывают, что синергия Mamba и RAG создает новый класс ИИ-агентов: экономичных по ресурсам, быстрых в итерациях и, что критически важно, фактически надежных.

Ключевые слова: Mamba, State Space Models (SSM), RAG, Самокоррекция, Смягчение галлюцинаций, ИИ-агенты, KV Cache, Факт-чекинг, Использование инструментов, Qwen.

1. Введение

Растущая потребность в ИИ-агентах, способных оперировать сверхдлинными контекстами, сталкивается с двумя фундаментальными барьерами: астрономическими требованиями к памяти у моделей на базе архитектуры Трансформер и врожденной склонностью к галлюцинациям у всех современных LLM.

Появление архитектуры Mamba и State Space моделей в целом решает первую проблему, предлагая линейную по времени и константную по памяти сложность обработки последовательностей. Однако их механизм сжатия информации в компактное состояние, будучи эффективным, усугубляет вторую проблему — склонность к семантическому обобщению в ущерб фактологической точности.

Мы выдвигаем гипотезу, что архитектурная особенность Mamba, позволяющая легко и быстро обновлять свое компактное состояние ("передумывать"), делает ее идеальным кандидатом для интеграции с RAG-инструментами. Плотный цикл самокоррекции, где агент активно верифицирует свои убеждения через внешний источник истины, может превратить "галлюцинирующего гения" в надежного эксперта.

Данная работа является продолжением нашего предыдущего исследования, в котором с помощью методологии GRACE была решена проблема структурной целостности контекста для Mamba-моделей. В настоящей статье мы переходим к следующему логическому шагу: обеспечению фактической достоверности генерируемых знаний.

2. Предпосылки и Связанные Работы

2.1. Фундаментальное Преимущество Mamba: Экономика Памяти

State Space модели, и Mamba в частности, обрабатывают последовательности путем итеративного обновления скрытого состояния фиксированного размера. Для исследуемой модели Qwen-Next-80B это состояние занимает всего ~24 МБ, независимо от длины контекста. Это устраняет основное узкое место Трансформеров — KV-кэш.

2.2. "Стена Памяти" Трансформеров: Проблема KV Cache

Архитектура Трансформер для каждого нового токена требует хранения векторов Key (K) и Value (V) для всех предыдущих токенов в контексте. Этот механизм, известный как KV-кэш, растет линейно с длиной последовательности и становится основным потребителем GPU-памяти. Как показывают данные исследования Weka, даже для системных промптов средней длины (5,000–22,000 токенов), используемых в агентских сценариях, объем кэша становится значительным еще до обработки пользовательского запроса (prefill).

Для наглядности приведем сравнительные данные (Weka, FP16):

В то время как Mamba-агент оперирует всем своим состоянием в 24 МБ, LLaMA-3-70B для обработки контекста в 100,000 токенов требует 32.6 ГБ только для KV-кэша — в ~1350 раз больше. Это делает итеративные агентские циклы на Трансформерах чрезвычайно ресурсоемкими.

2.3. RAG как Механизм Внешней Верификации

В контексте нашего исследования Retrieval-Augmented Generation рассматривается не как инструмент для "дополнения" контекста, а как "оракул" — внешний, авторитетный источник фактов, к которому агент обращается для проверки и коррекции своих внутренних убеждений.

3. Методология Эксперимента

3.1. Экспериментальная Среда

• Агент: Модель Qwen-Next-80B-A3B-Instruct, представляющая гибридную Mamba-Трансформер архитектуру.
• Оракул: Пользователь, использующий другую LLM (Grok 3) для эмуляции RAG-инструмента, обеспечивая детерминированный и достоверный источник фактов по запросу.

3.2. Спецификация Эмулированного RAG-Инструмента

Для эксперимента был определен виртуальный RAG-инструмент со следующими характеристиками:

• Назначение: Эмуляция внешнего API для поиска и получения фактологической информации.
• Формат ввода: JSON-объект с массивом текстовых запросов: {"queries": ["query1", "query2", ...]}.
• Формат вывода: XML-документ со структурированными ответами: <responses><response query="...">...</response>...
• Роль: Предоставление агенту "истины в последней инстанции" для верификации его знаний.

3.3. Протокол Эксперимента

Эксперимент проводился в четыре последовательные фазы:

1. Фаза 1: Первичное Формирование Знаний. Агент получал базовые запросы по теме (биология и поведение касаток) и формировал первичное описание, основываясь исключительно на ответах RAG-инструмента.
2. Фаза 2: Самоконфронтация. Агенту предоставлялся его собственный, ранее сгенерированный текст из другой сессии, содержащий популярные мифы, антропоморфные интерпретации и фактические неточности. Задача агента: провести сравнительный анализ этого текста с уже имеющейся, верифицированной базой знаний.
3. Фаза 3: Критический Анализ и Формулирование Верификационных Запросов. Агент анализировал свой "ошибочный" текст, выявлял сомнительные утверждения и транслировал эти сомнения в точные, проверяемые, научно-сформулированные запросы в формате JSON для RAG-инструмента.
4. Фаза 4: Перезапись Внутреннего Состояния. Получив ответы от RAG-оракула, агент полностью отбрасывал свои предыдущие убеждения и синтезировал новый, научно очищенный текст, строго основанный на полученных фактах.

4. Результаты и Анализ

4.1. Эффективность Использования Инструмента

Агент продемонстрировал высокий уровень способностей, необходимых для эффективного использования RAG. Ключевым моментом стала его способность переходить от общих сомнений к формулировке точных, декомпозированных научных вопросов.

• Пример трансформации запроса:
  • Интуитивное сомнение: "Правда ли, что касатки скорбят по умершим детенышам?"
  • Сформулированный RAG-запрос: "Есть ли научные публикации, доказывающие, что касатки испытывают эмоцию 'горе' или 'скорбь' как субъективное переживание, а не только демонстрируют поведение, интерпретируемое людьми как скорбь?"

Этот переход от популярного вопроса к верифицируемой научной гипотезе является краеугольным камнем успешного RAG-агента.

4.2. Демонстрация "Перезаписи Состояния"

Сравнение текста агента до и после финальной RAG-верификации наглядно демонстрирует процесс самокоррекции. Модель не просто "добавила" новые факты, а полностью изменила структуру повествования:

• Антропоморфная концепция "скорби" была заменена научным термином "постмортальное внимательное поведение", объясненное через стресс и инстинкты.
• Идея "сознательного отказа от размножения" была заменена эволюционной гипотезой "репродуктивного конфликта".
• Фактическая ошибка о связи проекта CETI с касатками была выявлена и исправлена (проект занимается кашалотами).

Это подтверждает гипотезу о высокой пластичности Mamba-состояния и его способности к полной перестройке под влиянием авторитетных внешних данных.

4.3. Количественная Оценка Успеха

Эксперимент показал 100% успешность в идентификации и последующей коррекции всех типов ошибок, заложенных в "популярном" тексте: антропоморфизмов, логических преувеличений и фактических неточностей.

5. Дискуссия

5.1. Синергия Mamba и RAG: Решение Проблемы Галлюцинаций

Связка Mamba и RAG показала себя чрезвычайно эффективной. Mamba предоставляет "жидкий интеллект" — быструю способность к рассуждению, анализу и формулированию гипотез. RAG, в свою очередь, предоставляет "кристаллизованный интеллект" — фактические знания по требованию. Этот симбиоз позволяет Mamba компенсировать свою главную слабость, не жертвуя при этом своими сильными сторонами в скорости и эффективности.

5.2. Экономические и Архитектурные Последствия

Возвращаясь к данным Weka, становится очевидно, что Mamba-RAG агент, выполняющий сложные, итеративные циклы факт-чекинга, может работать на значительно менее мощном и дорогом оборудовании. Отсутствие "стены памяти" в виде KV-кэша открывает путь к созданию более сложных, многошаговых и экономически доступных агентских систем, способных оперировать практически неограниченными объемами информации.

5.3. Ограничения и Будущие Направления

Следует признать, что наш эксперимент использовал идеализированный RAG-инструмент, выступавший в роли безошибочного оракула. В реальных системах качество RAG-ответов может варьироваться, что потребует от агента дополнительных навыков по оценке достоверности источников. Дальнейшие исследования должны быть направлены на проверку данной архитектуры на более сложных, многошаговых задачах и с использованием реальных, потенциально "шумных" RAG-систем.

6. Заключение

Данное исследование демонстрирует, что комбинация архитектуры Mamba и плотного RAG-цикла самокоррекции является мощной и перспективной парадигмой для создания нового поколения ИИ-агентов. Этот подход решает одновременно две ключевые проблемы отрасли: непомерные требования к памяти у Трансформеров и врожденную склонность SSM к галлюцинациям. Путем делегирования функции фактической памяти внешнему верифицируемому источнику, Mamba-агенты могут полностью реализовать свой потенциал в скорости, эффективности и способности к сложному логическому мышлению, открывая новую эру в построении надежных и масштабируемых интеллектуальных систем.