Recurrent Looped Transformer: рекурентний декодер для кожного токена
Looped Transformer зараз є однією з найобговорюваніших архітектурних ідей.
У новому технічному звіті пропонують розтягнути цикл вже між токенами.
Recurrent Looped Transformer робить декодер рекурентним для кожного токена, включаючи і запит, і відповідь.
Каузальний енкодер формує загальну KV‑пам’ять. Для кожного нового токена декодер об’єднує:
> представлення цього токена з енкодера
> власний фінальний прихований стан від попереднього токена
> кеш недавніх активацій з ковзним вікном
У декодері з 48 шарів шлях обчислень після t токенів проходить вже через 48 t блоків декодера, хоча кожен окремий токен усе одно виконує фіксовану кількість блоків.
Тобто глибина обчислень зростає разом із довжиною послідовності, а вартість обробки одного токена залишається постійною.
Той самий перехід між станами використовується для попереднього навчання, SFT, генерації та повторного відтворення в RL. На межі між запитом і відповіддю стан не скидається.
Під час RL replay стани заново будуються з поточними вагами моделі, замість повторного використання застарілих станів з попередніх запусків.
Поки це саме архітектурна пропозиція. Автор прямо пише, що приріст у роздумах, прискорення на апаратурі та масштабування RL — це цілі, які ще не були виміряні.