Модель
Входной слой. Моноаудио с частотой 16 кГц разбивается на окна по 25 мс с шагом 10 мс на 80 mel-спектральных коэффициентов, полосой пропускания 250–3500 Гц с нормализацией по каналам. Тридцать секунд — это 3000 кадров. Сверточный фронтенд с 128 каналами и ядром размера 9 уменьшает это количество в три раза, оставляя 375 кадров по одному на 80 мс. Все последующие слои работают на этой частоте, и функция embed возвращает по одной строке на кадр.
Энкодер. Восемь блоков Simple Attention: четыре остаточных линии mHC и сетевой слой Monarch Hadamard вместо традиционной полносвязной сети — такие же блоки использует Needle. Внимание здесь не является каузальным: кадр на 3-й секунде может обращать внимание на кадр на 12-й секунде.
Декодер. Восемь слоистых блоков Simple Attention шириной 512, 8 голов запросов к 2 головам ключей/значений, 48-мерные запросы и ключи, 64-мерные значения, 3-отвод каузальной свертки на Q, K и V, и поиски engram на слоях 3 и 7 по 18 432 ячейкам. Это список блоков Needle с другим количеством слоев.