Современные большие языковые модели демонстрируют высокое качество генерации, однако в задачах длительного взаимодействия и накопления проектного контекста они по-прежнему зависят от внешних механизмов памяти (длинный контекст, retrieval, KV cache, периодическое дообучение), поскольку базовая модель в момент инференса остаётся статичной. В этой статье вводится термин пластичная организация диалога (plastic conversation), в которых часть параметров обновляется непосредственно во время работы, и описывается конкретная реализация — «Матрёшка» (Fast Weight Hierarchy, FWH): каскад LoRA-адаптеров с различной скоростью обновления и временным горизонтом памяти.
Центральная гипотеза: память, встроенная в параметры модели и распределённая по нескольким временным масштабам, лучше сохраняет эволюционирующие факты длинного диалога, чем плоская память с единым каналом обучения. Эксперимент на ортогональных ключах (50 тем, 650 пар) подтверждает: матрёшка удерживает 47/50 тем при Recall > 0.5, плоская+повтор — 27/50, плоская без повтора — 1/50. Ключевой результат получен на сценарии с конфликтующими ключами — когда один и тот же факт многократно меняет значение (цвет кнопок: белые → синие → зелёные → красные). В этом сценарии матрёшка демонстрирует recall 0.99 на 100 темах, плоская память с повтором — 0.31. Преимущество сохраняется при цепочках из четырёх последовательных изменений, шести независимых сценариях и трёх различных seed'ах.
Статья носит характер position paper с экспериментальной реализацией. Она формализует понятие пластичного метода, описывает архитектуру FWH, сопоставляет её с существующими работами (Titans, In-Place TTT, Gdwm, FAAST, TTT Done Right) и обсуждает ограничения текущего эксперимента.
Длинный диалог предъявляет к языковой модели требования, которые не исчерпываются способностью удерживать много токенов в окне внимания. Если в начале диалога пользователь говорит, что кнопки должны быть белыми, а через сто реплик возвращается к той же теме и сообщает, что теперь они должны быть синими, модель должна не просто извлечь оба утверждения, а понять, что новое отменяет старое.
Современные подходы имеют принципиальные ограничения. Long context позволяет удерживать большой объём текста, но качество использования далёких фрагментов падает, а стоимость остаётся квадратичной — именно эту границу фиксирует работа Titans, где внимание трактуется как краткосрочная память, а отдельный нейронный модуль — как долговременная [2]. Retrieval-системы надёжно хранят текст, но не понимают семантических отношений, включая отмену или переоценку фактов. Fine-tune на истории диалога дорог и вызывает катастрофическое забывание. Периодическая адаптация через LoRA на всей накопленной истории подходит для сжатия документа, но не для эволюции фактов внутри диалога [1].
Общая проблема всех этих подходов — память либо вынесена за пределы генератора, либо генератор становится объектом переобучения. Альтернативная линия, к которой относится и эта работа, использует тот же математический аппарат (матричные параметры, локальный градиентный шаг, прямой проход) для хранения памяти внутри архитектуры, не превращая весь генератор в дообучаемый модуль [3].
Мы вводим термин пластичная модель для архитектур, в которых часть параметров обновляется непосредственно во время работы под воздействием входного потока. Термин закрывает нишу, которую не покрывают существующие названия:
Пластичный метод обладает тремя признаками: (1) обновление параметров — прямой побочный эффект forward pass, а не отдельная фаза обучения; (2) разные параметры изменяются на разных временных масштабах, образуя иерархию уровней; (3) пластичность — структурное свойство архитектуры, заложенное при проектировании, а не дополнительный режим эксплуатации.
Это определение объединяет несколько исследовательских линий: классические fast weights (Schmidhuber, 1991), современные варианты TTT, архитектуры с отдельным модулем нейронной памяти и подходы с переиспользованием матриц трансформера как быстрых весов. «Матрёшка» — частный случай этого класса, а не отрицание предшествующих направлений.
Архитектура «Матрёшка» представляет собой Fast Weight Hierarchy (FWH) — иерархию быстрых весов, организованную по временным масштабам. Базовая LLM остаётся замороженной (генератор), а поверх неё располагается каскад LoRA-адаптеров.
| Уровень | Назначение | Горизонт | Rank | Параметры | Обучение (CPU) |
|---|---|---|---|---|---|
| L0 | Рабочая память | 1 шаг, последняя реплика | 4 | ~16K | ~0.3 с |
| L1 | Микротема | До 20 пар | 8 | ~64K | ~1 с |
| L2 | Диалог | До 200 пар | 16 | ~256K | ~3 с |
| L3 | Проект | Межсессионный | 32 | ~1M | ~10 с |
Каждый уровень — ассоциативная память, обновляемая локальным градиентным шагом: Mk+1 = Mk − lr · ∇M||W·k − v||². Чтение: vpred = W·k с приоритетом более быстрых уровней (L0 > L1 > L2 > L3). L0 полностью перезаписывается на каждой реплике, L1 накапливает память в пределах темы, L2 хранит картину сессии, L3 обновляется редко и предназначен для проектного контекста [1].
Архитектура опирается на две линии. Первая — Fast Weight Programmers (Schmidhuber, 1991): медленные веса (предобученные) + быстрые веса (обновляются на каждом примере). Вторая — иерархия временных масштабов из ACT-R (Anderson, 1993) и HTM (Hawkins, 2004): факты разной устойчивости хранятся в разных структурах. Соединение этих принципов через LoRA-адаптеры составляет суть «Матрёшки» [1].
Пользователь пишет, что кнопки должны быть белыми. Утверждение записывается на L0. Диалог переключается на другие темы — L0 перезаписывается, а сведения о цвете кнопок продвигаются на L1. Позднее пользователь возвращается к теме: кнопки должны быть синими. Новая пара снова фиксируется на L0, затем попадает на L1, где сосуществует со старой ассоциацией.
При запросе система должна не просто извлечь обе записи, а распознать их как две версии одного решения. Временная метка и приоритет актуального обновления разрешают конфликт: система возвращает актуализированное состояние — «последнее решение: кнопки синие» [1].
Для проверки гипотезы проведён эксперимент на MLP-памяти. Сравнивались три условия:
| Условие | Архитектура | Режим |
|---|---|---|
| A | MLP 64→32→64 (плоская) | Последовательное обучение без повтора |
| B | MLP 64→32→64 (плоская) | Последовательное обучение + повтор 4 фактов из каждой предыдущей темы |
| C | L1: 64→16→64, L2: 64→64→64 | L1 учит тему и сбрасывается, L2 накапливает архив с повтором |
50 тем, по 5 ключевых фактов + 8 шумовых на тему — 650 ассоциативных пар. MLP-эксперимент проверяет ядро идеи (полезность иерархии каналов обучения), но не гарантирует идентичного поведения для LoRA на большом трансформере — нелинейности и архитектурные особенности (attention, layer norm) могут изменить поведение. Механизм interference одинаков для любых матричных весов, поэтому экстраполяция обоснованна, но требует прямой проверки [1].
Дополнительный эксперимент проверяет сценарий, который принципиально не решается плоской памятью: один и тот же ключ получает разные значения в разное время. Шесть независимых сценариев (цвет кнопок, тариф, база данных, фреймворк, брендинг, расположение офиса) изменяются последовательно по цепочке из 4 значений каждый. Например, сценарий «color» проходит цепочку: white → blue → green → red, каждое значение сменяет предыдущее на протяжении датасета.
Сравниваются те же две модели:
Параметры: 10–100 тем, 3 случайных seed'а (0, 42, 100), 6 сценариев × 4 изменения на сценарий.
| Тема | Плоская (без повтора) | Плоская (с повтором) | Матрёшка |
|---|---|---|---|
| 0 (первая) | 0.05 | 0.59 | 0.69 |
| 10 | 0.02 | 0.65 | 0.73 |
| 20 | 0.04 | 0.44 | 0.70 |
| 30 | 0.04 | 0.53 | 0.69 |
| 40 | 0.01 | 0.27 | 0.63 |
| 49 (последняя) | 0.80 | 0.33 | 0.42 |
| Среднее по всем 50 | 0.07 | 0.49 | 0.68 |
| Recall > 0.5 | 1/50 | 27/50 | 47/50 |
| Количество тем | Плоская (без повтора) | Плоская (с повтором) | Матрёшка |
|---|---|---|---|
| 10 | 0.17 | 0.76 | 0.86 |
| 25 | 0.07 | 0.63 | 0.78 |
| 50 | 0.07 | 0.49 | 0.68 |
| 100 | 0.02 | 0.36 | 0.52 |
| 200 | 0.01 | 0.22 | 0.37 |
Плоская память без повтора почти полностью теряет ранние темы (средний Recall 0.07). Повтор частично компенсирует забывание (0.49), но иерархическая схема устойчивее (0.68). С ростом нагрузки разрыв увеличивается: при 10 темах разница 0.09, при 200 — 0.15. Плоская с повтором деградирует в 3.5× (0.76→0.22), матрёшка — в 2.3× (0.86→0.37).
Важное уточнение: equal-capacity контроль. При выравнивании ёмкости (MLP 64→64→64 для всех моделей) преимущество матрёшки на ортогональных ключах исчезает (Flat-64+r: 0.666, Matryoshka: 0.685 на 50 темах). Выигрыш в оригинальной конфигурации объясняется главным образом большей ёмкостью L2 (64 hidden) по сравнению с плоской памятью (32 hidden).
В отличие от ортогональных ключей, сценарий с переопределением решений демонстрирует качественное преимущество матрёшки, не сводимое к ёмкости.
| Тем | Flat+r (акт) | Матрёшка (акт) | Преимущество | Flat+r разрыв | Матрёшка разрыв |
|---|---|---|---|---|---|
| 10 | 0.34 | 0.96 | +0.62 | −0.06 | +0.59 |
| 25 | 0.30 | 0.97 | +0.66 | −0.07 | +0.62 |
| 50 | 0.31 | 0.98 | +0.66 | −0.03 | +0.66 |
| 100 | 0.31 | 0.99 | +0.66 | +0.03 | +0.71 |
Recall по каждому из шести сценариев на 100 темах (среднее по 3 seed'ам):
| Сценарий | color | tariff | database | framework | branding | office |
|---|---|---|---|---|---|---|
| Матрёшка recall | 0.986 | 0.981 | 0.994 | 0.986 | 0.994 | 0.992 |
Ключевое наблюдение: плоская память не отличает актуальное от устаревшего — разрыв (акт−уст) у неё около нуля, а на малых датасетах отрицателен (устаревшее recall выше актуального). Матрёшка стабильно разделяет: разрыв 0.59–0.71 на всех размерах, не деградирует с ростом числа тем (N=10→100 recall 0.96→0.99). Результат воспроизводится на трёх случайных seed'ах с разбросом не более 0.05.
Это демонстрирует, что иерархия быстрых весов решает проблему, принципиально недоступную плоской памяти любого ранга: конфликт значений одного ключа во времени. Плоская память может масштабироваться (увеличивать ранг), но не может архитектурно разделить «сейчас» и «раньше» без дополнительной логики.
Результаты требуют разделения на два принципиально разных сценария.
На уникальных (ортогональных) ключах матрёшка даёт умеренное преимущество (+0.19 относительно flat+r на 50 темах), и оно в значительной степени объясняется большей ёмкостью L2. При выравнивании ёмкости (MLP 64→64→64) преимущество исчезает. Это означает, что для накопления множества независимых фактов достаточно replay — иерархия не требуется.
На конфликтующих ключах (один ключ — разные значения во времени) матрёшка демонстрирует качественное преимущество: recall 0.99 против 0.31 на 100 темах. Это преимущество не может быть получено увеличением ранга плоской памяти — оно является следствием архитектурного разделения временных срезов. L1 хранит актуальное состояние темы, L2 — архив, и приоритет быстрых уровней автоматически разрешает конфликт.
Эксперимент проверяет ядро архитектурной гипотезы, но не доказывает идентичное поведение в полном LLM-сценарии. Результаты на конфликтующих ключах выглядят принципиальными — механизм interference при superposition одинаков для любых матричных весов — и предсказывают аналогичное поведение для LoRA-адаптеров на реальной LLM.
За 18 месяцев (середина 2024 — середина 2026) несколько групп независимо опубликовали работы по fast weights на топ-конференциях. Все они исследуют обновление параметров во время инференса, но ни одна не комбинирует иерархию с LoRA для диалогового контекста.
| Работа | Площадка | Fast weights | Иерархия | Диалог |
|---|---|---|---|---|
| Fast Weights (Schmidhuber, 1991) | — | Да (outer product) | Нет | Нет |
| Titans (Behrouz, 2024) | NeurIPS 2025 | Да (MLP) | Нет | Нет (документ) |
| TTT-E2E (Tandon, 2025) | — | Да (MLP-s) | Static/Dynamic | Нет (документ) |
| In-Place TTT (Luo, 2025) | ICLR 2026 Oral | Да (MLP projections) | Нет | Нет (документ) |
| TTT Done Right (2025) | ICLR 2026 | Да + EMA anchor | Нет (EMA) | Нет |
| Gdwm (Mei, 2026) | ACL 2026 | Да (LoRA Wq/Wo) | Нет (1 ур.) | Нет (контекст) |
| LM2 (Convergence Labs, 2025) | arXiv | Да (отд. модуль) | 2 ур. | Нет (документ) |
| FAAST (2026) | NAACL 2026 | Да (closed-form) | Нет | Нет |
| HTM (Hawkins, 2004) | — | Нет | Да | Нет |
| Matryoshka FWH | данная статья | Да (LoRA) | Да (4 ур.) | Да |
Каждая работа подходит к пластичности со своей стороны. In-Place TTT (ICLR 2026 Oral, топ-1%) переиспользует финальную проекционную матрицу MLP-блоков как fast weights — без добавления новых параметров [3]. Gdwm (ACL 2026) использует LoRA-адаптеры на Wq и Wo с контроллером записи — ближайший конкурент по технике, но без иерархии. FAAST (NAACL 2026) решает ту же задачу без обратного распространения — через аналитическую регрессию. TTT Done Right (ICLR 2026) использует EMA-якорь для стабильности — альтернативное решение той же проблемы.
Ни одна из этих работ не комбинирует иерархию с LoRA-быстрыми весами для диалогового контекста. «Матрёшка» сохраняет уникальную нишу именно в этой комбинации [1].
Часть этих ограничений уже разрешена в ходе последующей работы (см. Приложение A: «Верификация на реальном трансформере»). Оставшиеся ограничения (promotion-механизм, безопасность памяти, латентность) внесены в дорожную карту следующих итераций.
Текущая реализация Matryoshka FWH (Phase 1) использует гибридный подход: внешнее хранилище фактов (MemoryStore) + инжект контекста в промпт + LoRA-адаптеры для controlled online-learning. Это компромисс, позволяющий проверить центральную гипотезу на существующих LLM без модификации архитектуры самой модели.
Ключевой результат работы — демонстрация того, что иерархия быстрых весов решает проблему, недоступную плоской памяти любой ёмкости: конфликт значений одного ключа во времени. Плоская память может увеличивать ранг (superposition хранит больше фактов), но не может архитектурно разделить «актуальное» и «устаревшее». Матрёшка решает это через приоритет уровней: быстрые (L0–L1) обслуживают текущее состояние, медленные (L2–L3) хранят историю. Это не вопрос ёмкости — это вопрос архитектурного разделения временных срезов, что и составляет суть пластичного метода.
Все существующие работы 2024–2026 (Titans, In-Place TTT, FAAST, TTT Done Right) тестировались на сжатии документа, где каждый факт уникален и конфликтов нет. Матрёшка — единственная работа, обнаружившая и продемонстрировавшая эту нишу [1].
Дорожная карта: (1) увеличение числа уровней с 4 до N — континуум быстрых весов; (2) встраивание LoRA-адаптеров внутрь архитектуры трансформера (как в In-Place TTT); (3) автоматическое распределение «медленный/быстрый» через meta-learning.
Открытая задача: текущие методы запоминают входящий поток, но не учатся на результатах собственных рассуждений. Рекурсивное самообучение — область без стабильного решения на текущий момент [1].
В работе предложено понятие пластичного метода организации диалоговой памяти с обновлением параметров в процессе взаимодействия и представлена реализация — Fast Weight Hierarchy «Матрёшка». На ортогональных ключах матрёшка показывает умеренное преимущество по сравнению с плоской памятью (Recall 0.68 vs 0.49 на 50 темах, 47/50 vs 27/50 тем с Recall > 0.5), частично объясняемое большей ёмкостью L2.
Главный результат работы получен на сценарии с конфликтующими ключами — когда один и тот же факт многократно меняет значение во времени, что и составляет суть длинного диалога. В этом сценарии матрёшка демонстрирует recall 0.99 против 0.31 у плоской памяти на 100 темах, с устойчивостью по 6 независимым сценариям, 4 изменениям на сценарий и 3 различным seed'ам. Это преимущество не сводимо к увеличению ёмкости — оно является следствием архитектурного разделения временных срезов: быстрые уровни обслуживают актуальное состояние, медленные хранят историю, а приоритетный проход L1→L2 автоматически разрешает конфликт.
Архитектурная заметка. Текущий прототип (Phase 1) реализован как гибрид: внешний MemoryStore (JSON) + инжект в промпт + LoRA-адаптеры. Это не pure in-weight memory — факты хранятся вне параметров модели, а LoRA-адаптеры выполняют роль буфера консолидации. Следующая итерация (Phase 2) предполагает перенос всей памяти внутрь архитектуры трансформера, где каждый вес является парой W = W_core + W_plastic, а внешнее хранилище не требуется. Результаты Phase 1 подтверждают, что иерархическое разделение временных срезов даёт измеримое преимущество, и служат обоснованием для Phase 2.
После публикации основной статьи выполнен перенос архитектуры с MLP-симуляции на реальный трансформер. Разработаны и протестированы три архитектуры (Phase 1 — гибрид, Phase 2 — layer-specific plasticity, Phase 3 — эволюционная).
MemoryStore (JSON) + инжект контекста + LoRA-адаптеры. Показала 92% recall против 50% у плоской памяти на диалоге из 25 реплик. 6/6 тестов на переопределение. Модель: Qwen2.5-1.5B-Instruct.
Один трансформер, full fine-tuning выбранных слоёв (не LoRA). Ключевое открытие — эмпирическая граница пластичности: 7.1% модели (1-2 слоя из 28). Три и более пластичных слоя просаживают базовые знания (mentor откатывает).
Результаты на 2 пластичных слоях (layers 26-27):
Результат на 1.5B (Qwen, 28 слоёв): layer-specific plasticity работает до 7.1% модели (2 слоя из 28). Три и более пластичных слоя вызывают интерференцию с соседними статическими слоями и просадку базовых знаний. Это ограничение получено на архитектуре, где пластичные и статичные веса — физические соседи (слои 25-27 из 28).
Экстраполяция на 500B+: на модели с 200+ слоями (например, GLM 5.2 class) пластичные слои L0-L3 можно разместить в верхней части трансформера, отделив их десятками замороженных слоёв от ядра языка внизу. Гипотеза: на такой архитектуре 15 пластичных слоёв (~7.5%) не будут интерферировать с core благодаря изоляции расстоянием (distance-based layer isolation).
Статус гипотезы: не проверена. GLM 5.2 (~800B) — первый кандидат для экспериментальной валидации. Это предмет следующей работы.
Для реализации самообучающегося AI с layer-specific plasticity требуется модель, где пластичные слои не интерферируют со статическими. Это достигается не увеличением числа параметров, а архитектурным разделением: каждый слой имеет чёткую функцию (L0=мутации, L1=отбор, L2=особь, L3=вид) и не пересекается с другими по влиянию на выход. В текущей архитектуре трансформера такое разделение невозможно без переписывания самого трансформера — что и является результатом данного исследования.
Репозиторий: github.com/alexenti-code/AURA-Retrieval ·
Сайт: aura.kim/research-10.html ·
Лицензия: Apache 2.0 · Дата публикации: 25 июня 2026 ·
Статус: position paper, эксперимент + сравнительный анализ ·
Ключевой термин: пластичная организация диалога, Fast Weight Hierarchy (FWH)