Recurrent Looped Transformer: рекурентний декодер для кожного токена

Looped Transformer зараз є однією з найобговорюваніших архітектурних ідей.

У новому технічному звіті пропонують розтягнути цикл вже між токенами.

Recurrent Looped Transformer робить декодер рекурентним для кожного токена, включаючи і запит, і відповідь.

Каузальний енкодер формує загальну KV‑пам’ять. Для кожного нового токена декодер об’єднує:

> представлення цього токена з енкодера
> власний фінальний прихований стан від попереднього токена
> кеш недавніх активацій з ковзним вікном

У декодері з 48 шарів шлях обчислень після t токенів проходить вже через 48 t блоків декодера, хоча кожен окремий токен усе одно виконує фіксовану кількість блоків.

Тобто глибина обчислень зростає разом із довжиною послідовності, а вартість обробки одного токена залишається постійною.

Той самий перехід між станами використовується для попереднього навчання, SFT, генерації та повторного відтворення в RL. На межі між запитом і відповіддю стан не скидається.

Під час RL replay стани заново будуються з поточними вагами моделі, замість повторного використання застарілих станів з попередніх запусків.

Поки це саме архітектурна пропозиція. Автор прямо пише, що приріст у роздумах, прискорення на апаратурі та масштабування RL — це цілі, які ще не були виміряні.

Стаття: yifanzhang-pro/recurrent-looped-tranformergithub.com/yifanzhang-pro/recurrent-looped-tranformer