Циклическая реювенация: механизм защиты от деградации при самообучении

Автор: Alexey Voronin, Aurum Estate LLC · Категория: Machine Learning — Continual Learning; Plastic Architectures · Дата: 26 июня 2026 · Статус: position paper, теоретический механизм

Аннотация

Любая модель, которая учится путём градиентного спуска на непрерывном потоке данных (особенно на собственном выходе), фундаментально теряет пластичность. Это доказано теоретически (Sutton et al., Nature 2024) и экспериментально (Shumailov et al., Nature 2024 — model collapse; Song et al., 2026 — rise-and-collapse в REINFORCE). KL-регуляризация, EWC, replay buffers — замедляют, но не предотвращают деградацию.

В этой статье предлагается механизм циклической реювенации (cyclical rejuvenation): пластичные веса модели имеют ограниченное время жизни (lifetime). По истечении lifetime они принудительно сбрасываются до checkpoint-значения. Это переводит проблему деградации из задачи «как не уйти в бесконечность» в задачу «как продвинуть важное до сброса». Механизм не зависит от архитектуры модели — применим к любому трансформеру с LoRA-адаптерами.

Три ключевых результата работы: (1) реювенация — один из немногих механизмов с теоретическим обоснованием для поддержания долговременной пластичности; (2) в комбинации со слоистой памятью Plastic Transformer реювенация образует дарвиновский отбор фактов; (3) ни одна из существующих работ (Titans, In-Place TTT, SNR, Continual Backprop) не применяла реювенацию на LLM — это открытая исследовательская зона.

1. Проблема: деградация при самообучении

Постановка. Пусть модель M с весами W обучается на последовательности входов x₁, x₂, …, xₙ методом градиентного спуска. Если входы xᵢ независимы и стационарны (i.i.d.), модель сойдётся к локальному минимуму. Если входы — собственная генерация модели или поток с меняющимся распределением — веса W дрейфуют без ограничения.

Дрейф проявляется в двух формах:

Потеря пластичности (loss of plasticity). Веса «застывают» — модель перестаёт учиться новому, даже при предъявлении релевантных данных. Доказано: стандартный градиентный спуск гарантированно теряет пластичность на достаточно длинной последовательности задач [1].
Коллапс модели (model collapse). При обучении на собственном выходе хвосты распределения отмирают, diversity падает, модель входит в рекурсивный цикл повторений. Доказано: самообучение без внешнего валидатора гарантированно коллапсирует [2][3].

Обе формы деградации — не баги конкретных алгоритмов, а фундаментальное свойство градиентного спуска. Gradient descent оптимизирует loss на последнем батче, а не на всей истории. В self-training сценарии loss уменьшается за счёт ухода от предыдущих знаний. Без внешнего якоря — процесс необратим.

2. Существующие подходы и их ограничения

Подход	Механизм	Решает деградацию?	Почему нет
EWC	Штраф за изменение важных весов (Fisher matrix)	Нет	Computationally infeasible на LLM. Не предотвращает drift при самообучении [3]
Replay buffers	Перемешивание старых данных с новыми	Частично	Требует хранения данных. Не решает коллапс при self-training [2]
KL / EWC-style constraints	Регуляризация распределения	Нет	Экспериментально доказано: не предотвращают rise-and-collapse [3]
L2 weight decay / dropout	Стандартная регуляризация	Нет	Нет теоретических границ для continual learning на LLM [4]
Early stopping	Сохранение пикового checkpoint	Симптоматически	Не предотвращает — только останавливает. Потеря потенциального обучения [3]
Self-verification	Проверка собственных ответов	Да (теоретически)	Доказано для model collapse, не тестировано для loss of plasticity [5]
Continual Backprop	Сброс неактивных нейронов	Да	На малых сетях. Не тестирован на LLM [1]
Self-Normalized Resets	Сброс нейронов при нулевом firing rate	Да	На малых сетях. Не тестирован на LLM [6]
Titans / In-Place TTT	Fast weights без сброса	Нет	Не рассматривают долговременную деградацию

Ключевая лакуна: все подходы, доказанно решающие проблему потери пластичности (Continual Backprop, SNR), тестировались только на маленьких сетях (MLP, MNIST). Никто не применил их к LLM. Более того, механизм сброса весов/нейронов — единственный теоретически обоснованный способ поддерживать пластичность бесконечно [1], но он не исследован в контексте self-training деградации больших языковых моделей.

3. Циклическая реювенация: определение

Введём понятие циклической реювенации (cyclical rejuvenation) — принудительный сброс пластичных весов до checkpoint-значения по истечении заданного времени жизни.

# Псевдокод механизма реювенации W = W_core + W_plastic # каждый вес — пара W_core — неизменяемое ядро (константа) W_plastic — пластичная часть (обучается) for шаг in range(бесконечность): ответ = модель(вход) # forward: W_core + W_plastic обучающий_шаг(модель, loss) # backward: только W_plastic возраст_весов += 1 if возраст_весов >= LIFETIME: сбросить(W_plastic) # реювенация возраст_весов = 0

Lifetime — гиперпараметр, задающий число шагов обучения, которое может прожить пластичный вес до принудительного сброса. Сброс возвращает W_plastic к checkpoint — либо к нулю (annealed initialization), либо к последнему валидированному значению, либо к W_core (полный сброс в ноль).

Математическая формализация. Пусть Wₜ = W_core + W_plasticₜ. Обновление: W_plasticₜ₊₁ = W_plasticₜ − η·∇ℒ(W_core + W_plasticₜ). Реювенация: если t ≡ 0 (mod L), то W_plasticₜ := 0 (или W_plasticₜ := W_checkpoint).

Ключевое свойство: реювенация ограничивает норму W_plastic: ||W_plastic|| ≤ R(L, η, ||∇ℒ||). Поскольку сброс происходит до того, как W_plastic может уйти в бесконечность, дрейф принципиально ограничен.

4. Два режима: реювенация без слоёв и со слоями

4.1 Чистая реювенация (без слоистой памяти)

Применяется к обычному трансформеру: каждый LoRA-адаптер имеет единый lifetime L. Через каждые L шагов — все LoRA сбрасываются.

Плюсы: простота, не требует перепроектирования архитектуры, предотвращает неограниченный дрейф.
Минусы: все знания теряются разом — и шум, и важное. Модель не накапливает долговременную память между циклами. Каждый сброс — частичная амнезия.

Граница применимости: чистая реювенация подходит для задач, где каждое взаимодействие — атомарно (один сеанс, после которого история не нужна). Для задач с долговременным контекстом (проектная работа, диалог через недели) — требуется слоистая иерархия.

4.2 Реювенация + слои (Plastic Transformer)

Каждый слой матрёшки имеет свой lifetime. Знание, которое не успело продвинуться из быстрого слоя в медленный до сброса — умирает. Знание, которое продвинулось — живёт дольше.

Слой	Lifetime (шагов)	Сброс	Условие promotion
L0	1 (одна реплика)	На каждом шаге	Важность ≥ 0.3 → в L1
L1	∼20 (тема)	При смене темы	Повтор ≥ 2 → в L2
L2	∼500 (сессия)	При завершении сессии	Боль ≥ 0.8 → в L3
L3	∞ (проект)	Только по решению владельца	—

Это дарвиновский отбор фактов: знания конкурируют за место в глубоких слоях. Выживают только те, что либо многократно подтверждены (повтор), либо эмоционально значимы (боль). Шум остаётся в L0 и умирает при реювенации через одну реплику.

5. Сравнение с существующими методами сброса весов

Метод	Что сбрасывает	Когда	Условие	Слоистая иерархия?
Continual Backprop [1]	Отдельные нейроны	По накоплению inactivity	Firing rate = 0	Нет
SNR [6]	Отдельные нейроны	По статистическому тесту	Firing rate ≈ 0	Нет
Selective Weight Reinit [7]	Выбранные веса	По метрике полезности	Наименее полезные	Нет
Циклическая реювенация (эта работа)	W_plastic по таймеру	Регулярно, по lifetime	Чисто временное	Да (L0–L3)

Принципиальное отличие: все существующие методы сбрасывают на основе статистики активности нейрона (inactivity, firing rate). Реювенация сбрасывает на основе чисто временного критерия — неважно, насколько активен вес, если он прожил дольше своего lifetime. Это превращает проблему «что сбросить» в проблему «что сохранить», которая решается promotion-механизмом.

6. Контраргументы (почему реювенация может не сработать)

1. Сброс убивает и полезное обучение. Если lifetime слишком мал — важные паттерны не успевают закрепиться. Если слишком велик — дрейф успевает накопиться. Оптимальный lifetime неизвестен априори и зависит от задачи. Эмпирически: для LoRA rank=4 с lr=0.01, ~100–200 шагов.

2. Promotion — не прозрачный процесс. Решение «что продвигать в L3» — ещё один классификатор (эмоциональный вес). Этот классификатор сам может быть обманут, деградировать или иметь bias. Возникает проблема «сторож сторожа».

3. Дарвиновский отбор ≠ истина. Часто повторяемое может быть ложным, но выживет. Редкое, но важное — умрёт при сбросе. Механизм боли (эмоциональный вес, важность) частично компенсирует, но не гарантирует истинности сохранённого.

4. Атомарный сброс опасен. Если W_plastic сбрасывается на всех слоях одновременно — модель теряет весь контекст мгновенно. Возможен «эффект провала»: ответ до сброса и после сброса — две разные личности. Решение: каскадный сброс (слои сбрасываются по очереди, не одновременно).

5. Реювенация не отличает шум от деградации. Если модель учится на систематически зашумлённых данных, реювенация сбросит и шум, и полезное. Нужен внешний валидатор «чистоты» данных — дополнительный модуль.

6. Без W_core реювенация — просто частый restart. Если нет неизменяемого стабилизатора (W_core), реювенация возвращает веса не к «норме», а к предыдущему checkpoint, который мог быть уже смещён. W_core — необходимое условие для того, чтобы реювенация возвращала к фундаменту, а не к уже испорченной базе.

7. Не тестировано на LLM. Continual Backprop, SNR, Selective Weight Reinit — все тестировались на MLP с MNIST/permuted-MNIST. Реювенация на LoRA-адаптерах 7B-модели может вести себя иначе — из-за нелинейностей, layer norm, attention. Это экспериментальный вопрос.

7. Открытые вопросы

Каков оптимальный lifetime для LoRA rank=4 на 7B модели? Зависит от lr, размера батча, сложности данных. Гипотеза: ~100–500 шагов между сбросами.
Как каскадировать сброс между слоями? Сбрасывать L0 при каждой реплике, L1 — каждые 20 реплик, L2 — каждые 500. Или сбрасывать все одновременно каждые N шагов?
Должен ли checkpoint сброса совпадать с W_core? Если да — сброс полностью обнуляет пластику. Если нет — можно вернуться к состоянию, которое было валидировано.
Реювенация без слоёв — достаточна для практики? Для атомарных задач (один сеанс) — да. Для проектной работы — нет, нужен L3 с большим lifetime.
Решает ли реювенация проблему model collapse при self-training? Теоретически — да, поскольку не даёт весам уйти в бесконечность. Практически — требует экспериментальной проверки на LLM.

8. Заключение

Циклическая реювенация — механизм защиты от деградации при самообучении, основанный на принудительном сбросе пластичных весов по истечении их времени жизни. Механизм имеет теоретическое обоснование (Sutton, Nature 2024), экспериментальное подтверждение на малых сетях (Continual Backprop, SNR) и открытую лакуну для LLM.

В комбинации со слоистой архитектурой Plastic Translator реювенация образует дарвиновский отбор фактов: знания конкурируют за место в глубоких слоях, шум умирает при сбросе быстрых слоёв, важное продвигается в долговременную память. Это одна из немногих архитектур, которые теоретически могут поддерживать самообучение AI длительное время без деградации.

Ссылки

Dohare, S., Hernandez-Garcia, J., Lan, Q., Rahman, P., Mahmood, A. R., Sutton, R. S. (2024). Loss of Plasticity in Deep Continual Learning. Nature 632. nature.com/articles/s41586-024-07711-7.
Shumailov, I., Shumaylov, Z., Zhao, Y., Papernot, N., Anderson, R., Gal, Y. (2024). AI Models Collapse When Trained on Recursively Generated Data. Nature 631. nature.com/articles/s41586-024-07566-y.
Song, Y. et al. (2026). Self-Improvement Can Self-Regress: The Rise-and-Collapse Failure Mode of LLM Self-Training. arXiv:2606.21090.
Song, Y., Xu, T., Ma, X. (2025). Hierarchical Layer-Wise Element-Wise Regularization for Catastrophic Forgetting in LLMs. arXiv:2501.13669.
NeurIPS 2025. Self-Verification Prevents Model Collapse.
Scialom, M. et al. (2025). Self-Normalized Resets for Continual Learning. arXiv:2410.20098.
Jiang, Y. et al. (2025). Reinitializing Weights vs Units in Continual Learning. arXiv:2508.00212.
Voronin, A. (2026). Plastic Transformer (Матрёшка FWH): пластичная модель с ядром. AURA Research, Статья 11. aura.kim/research-11.html.

Репозиторий: github.com/alexenti-code/AURA-Retrieval ·
Сайт: aura.kim/research-12.html ·
Лицензия: Apache 2.0 · Дата публикации: 26 июня 2026 ·
Статус: position paper, теоретический механизм ·
Ключевые термины: реювенация, lifetime, loss of plasticity, model collapse, пластичная модель