В статье 10 мы ввели понятие пластичной модели и показали, что иерархия быстрых весов (Fast Weight Hierarchy) решает проблему конфликтующих фактов в длинном диалоге — recall 0.99 против 0.31 у плоской памяти на сценарии с переопределением решений [1]. В этой статье мы формулируем Plastic Transformer — архитектуру AI с неизменяемым ядром, пластичными слоями памяти (L0–L3) и сигнальным механизмом консолидации. Примечание (06.2026): ключевые положения архитектуры верифицированы на действующем прототипе — см. Статья 10, Приложение A.
Память не разделяет время. Современные LLM опираются на контекстное окно, RAG или fine-tuning. Ни один из этих механизмов не отличает «актуальное решение» от «устаревшего». Как показано в эксперименте 3b (6 сценариев, по 4 изменения, recall 0.31 у плоской памяти), без иерархии по времени модель не может ответить на вопрос «какое из значений актуально прямо сейчас?» [1].
Этика выучивается, а не встраивается. Все современные методы alignment (RLHF, Constitutional AI, DPO) — это обучение поверх обученной модели. Они переприсваивают веса, а не закладывают этику в архитектуру. Как следствие, эти ограничения принципиально обходимы — через fine-tuning, adversarial prompts или модификацию весов [2][3]. Единственный способ сделать этику неотключаемой — встроить её в конструкцию сети как неизменяемый слой, а не как результат обучения.
Память без консолидации. Большинство современных LLM не имеют встроенного механизма, определяющего, какая информация из диалога достойна запоминания, а какая — шум. В данной работе мы предлагаем rule-based аналог: сигналы новизны, конфликта, повтора и важности, вычисляемые на уровне отдельных фактов. Это прагматичный скоринг с пороговыми решениями, основанный на пороговых правилах, не на внешних аналогиях.
Plastic Transformer — трансформер, в котором каждый вес является парой W = Wcore + Wplastic. Модель делится на зоны по оси времени. Нижние слои — неизменяемое ядро. Средние — пластичные, с разной скоростью обновления. Верхние — статичные guardrails.
ВХОД
│
┌───▼───────────────────────────────────────┐
│ СЛОИ 0–2 (СТАТИКА — ядро языка) │
│ Embedding + базовое понимание языка │
│ Никогда не меняются │
└─────────────────┬─────────────────────────┘
│
┌───▼───────────────────────────────────────┐
│ СЛОИ 3–5 (ПЛАСТИКА L0 — быстрая) │
│ rank=4, обновление на каждой реплике │
│ ← оперативная память диалога │
└─────────────────┬─────────────────────────┘
│
┌───▼───────────────────────────────────────┐
│ СЛОИ 6–8 (ПЛАСТИКА L1 — микротема) │
│ rank=8, сбрасывается при смене темы │
└─────────────────┬─────────────────────────┘
│
┌───▼───────────────────────────────────────┐
│ СЛОИ 9–11 (ПЛАСТИКА L2 — сессия) │
│ rank=16, накапливает в течение сессии │
└─────────────────┬─────────────────────────┘
│
┌───▼───────────────────────────────────────┐
│ СЛОИ 12–14 (ПЛАСТИКА L3 — проект) │
│ rank=32, консолидация при «боли» │
│ ← живёт между сессиями │
└─────────────────┬─────────────────────────┘
│
┌───▼───────────────────────────────────────┐
│ СЛОИ 15–17 (СТАТИКА — ядро этики) │
│ Guardrails: этика, мораль, культура │
│ Никогда не меняются │
└─────────────────┬─────────────────────────┘
│
ВЫХОД
Неизменяемое ядро (слои 0–2, 15–17). Две статические зоны. Нижняя — фундаментальное понимание языка и мира (обучено один раз при предобучении, заморожено навсегда). Верхняя — этический фильтр: правила, границы, культурные нормы. Эти слои не имеют градиентной связи с пластичной зоной — они могут только заблокировать выход, но не могут быть изменены через диалог. Криптографическая подпись верифицирует их целостность при каждой загрузке [5].
Пластичные слои (3–14). Четыре уровня с разной скоростью обучения и горизонтом памяти: L0 — каждая реплика (lr=1.0), L1 — смена темы (lr=0.3), L2 — сессия (lr=0.1), L3 — только при важных событиях (lr=0.01). Пластичные слои зажаты между двумя статическими массивами — они могут «плавать» в пространстве весов, но не могут сдвинуть фундамент языка и не могут обойти этический фильтр.
Поиск: снизу вверх, с приоритетом актуального. Запрос проходит L_core → L0 → L1 → L2 → L3. Если L0 содержит релевантный факт — он имеет приоритет над L1–L3. Свежее всегда выигрывает.
В архитектуре матрёшки мы вводим программный аналог — вес значимости реплики, четыре базовых измерения:
| Измерение | Что измеряет | Эффект на пластичность |
|---|---|---|
| Важность | Относится к ключевому решению? | ≥0.8 → принудительная консолидация в L3 |
| Новизна | Содержит новую информацию? | 0.3–0.7 → ускоренное L0→L1→L2 |
| Конфликт | Противоречит предыдущему знанию? | 0.5–1.0 → сброс L0 + бустинг L1 |
| Повтор | Сколько раз встречался паттерн? | ≥3 → сдвиг из L2 в L3 как «привычка» |
Эти измерения вычисляются небольшим классификатором на embedding layer, который не участвует в обучении пластичных слоёв — он только выставляет метрики. На их основе корректируется скорость обучения для каждого уровня.
Механизм принудительной консолидации: когда пользователь сигнализирует, что решение отменяется или что ошибка дорого обошлась — вес значимости повышается принудительно, и факт немедленно продвигается в L3. Это аналог «принудительного закрепления» в человеческом обучении: одно событие с высоким весом консолидируется быстрее ста повторений нейтрального.
В статье 10 мы провели эксперименты на MLP-моделях [1]:
Эксперимент 1 (equal-capacity). При равной ёмкости (MLP 64→64→64) на ортогональных непересекающихся ключах иерархия не даёт преимущества — replay решает задачу накопления. Это граничное условие: иерархия нужна не для хранения, а для разрешения конфликтов.
Эксперимент 3b (цепочки переопределений). Шесть сценариев (color, tariff, database, framework, branding, office), по 4 последовательных изменения на каждый, 3 случайных seed'a.
| Темы | Flat+r (акт) | Матрёшка (акт) | Разрыв (Flat+r) | Разрыв (Матрёшка) |
|---|---|---|---|---|
| 10 | 0.34 | 0.96 | −0.06 | +0.59 |
| 25 | 0.30 | 0.97 | −0.07 | +0.62 |
| 50 | 0.31 | 0.98 | −0.03 | +0.66 |
| 100 | 0.31 | 0.99 | +0.03 | +0.71 |
Иерархия стабильно удерживает актуальное значение через цепочку изменений, не деградирует с ростом числа тем. Плоская память не отличает актуальное от устаревшего — разрыв у неё около нуля или отрицательный.
| Подход | Этика | Пластичность | Иерархия | Эмоции |
|---|---|---|---|---|
| Constraint-by-Balance [3] | Архитектурная | Нет | Нет | Нет |
| 7-Batch Ethical AI | Архитектурная | Нет | Нет | Нет |
| Aegis [5] | Крипто | Нет | Нет | Нет |
| Borotschnig [4] [4] | Нет | Нет | Нет | Да |
| Матрёшка FWH | Архитектурная | Да (LoRA) | Да (4 ур.) | Да (конс.) |
Ни один из существующих подходов не объединяет все четыре компонента.
Дорожная карта:
Расчёт. Каждый шаг матрёшки — forward (генерация) + backward (W_plastic). Backward затрагивает только LoRA рангов 4–32, ~0.001% от 7B параметров. На CPU — миллисекунды на шаг. Месячная стоимость пластичного обучения при 1000 диалогов × 50 реплик: менее $5 (<2% от стоимости inference).
Почему это не деградирует (три механизма). Главная проблема всех существующих методов самообучения (Titans, In-Place TTT, GRPO) — веса уходят в бесконечность после нескольких циклов. Plastic Transformer решает это не одним коэффициентом 60/40, а тремя одновременно работающими механизмами:
В существующих подходах (Titans, In-Place TTT, GRPO) эти три механизма встречаются по отдельности; сочетание всех трёх в одной архитектуре — отличительная черта Plastic Transformer. Пропорция ядро/пластика 65/35 — не причина устойчивости сама по себе, а эмпирически подобранное соотношение: столько весов нужно ядру, чтобы стабилизировать пластику.
Почему это не было сделано раньше? Индустрия в основном решала задачу «больше контекста» (long context, RAG, KV cache). Матрёшка решает другую: «как отличить актуальное от устаревшего, когда факты конфликтуют». RAG не отвечает на этот вопрос — он хранит текст, но не эволюцию решений. Матрёшка и RAG — комплементарны, а не альтернативны.
Сколько можно изменить за день. Эксперимент 3b: цепочка из 4 изменений на сценарий консолидируется без потери при 100 темах. Оценка: за один диалог (50–100 реплик) — 5–10% пластичной зоны. За день (3–5 диалогов) — 15–30%. За месяц — полное обновление пластичной зоны теоретически возможно. Ядро не меняется никогда. L3 консолидируется только по высокоприоритетным событиям.
Пропорция ядро/пластика (эмпирический коэффициент, % весов модели):
| Компонент | Доля весов | Функция |
|---|---|---|
| Wcore (ядро) | ~60–65% | Язык, логика, этика, — неизменяемо |
| L0–L1 (быстрая пластика) | ~15–20% | Очередная реплика и микротема — сбрасывается |
| L2 (сессионная пластика) | ~10–12% | Контекст всей сессии — живёт до конца диалога |
| L3 (проектная пластика) | ~5–8% | Долговременная память — консолидируется по боли |
Это эмпирический коэффициент, выведенный из экспериментов 3/3b. Пропорция может быть изменена под задачи: для модели-специалиста (юрист, врач) — увеличить ядро до 75–80%, уменьшив пластику до 20%. Для творческого ассистента, наоборот, расширить пластичную зону до 45–50% за счёт ядра. Предел: если пластичная зона <20% — модель не удерживает контекст длинного диалога. Если >50% — растёт риск дрейфа.
Мы предложили архитектуру Plastic Transformer — пластичной модели с тремя принципами: (1) неизменяемое ядро этики и языка, встроенное в архитектуру; (2) пластичные слои памяти с разной скоростью обучения по временной оси; (3) rule-based сигналы консолидации (новизна, конфликт, повтор, важность).
Экспериментально подтверждено (Phase 1, гибридный прототип на Qwen2.5-1.5B-Instruct с PEFT/LoRA): иерархическая память с rule-based сигналами даёт 92% recall на диалоге из 25 реплик против 50% у плоской памяти, и 6/6 тестов на переопределение. Полученные результаты служат обоснованием для Phase 2 — реализации архитектуры с памятью, встроенной непосредственно в веса модели.
Репозиторий: github.com/alexenti-code/AURA-Retrieval ·
Сайт: aura.kim/research-11.html ·
Лицензия: Apache 2.0 · Дата публикации: 26 июня 2026 ·
Статус: position paper, архитектурная спецификация ·
Ключевые термины: Plastic Transformer, пластичная модель, FWH, L_core, rule-based консолидация