Может ли модель эмбеддингов распознавать речь?
EmbeddingGemma 2 — мультимодальная модель эмбеддингов: текст, изображения, аудио и видео в одном общем пространстве. Произносишь слово вслух — его аудио оказывается рядом с написанным словом.
Разработчики попробовали читать слова прямо из этого пространства.
Как это работает
- Аудио-кодировщик EmbeddingGemma 2 остаётся без изменений.
- Небольшой ридер перемещает каждый короткий отрезок аудио в текстовое пространство модели.
- Из примерно 229 000 английских слов побеждает ближайшее, отрезки становятся транскриптом.
- Крошечная дополнительная модель добавляет пунктуацию и заглавные буквы.
Обучают только ридер: менее двух часов на 8×H100, на открыто лицензированной англоязычной речи. Базовую модель никогда не обучали распознаванию речи.
Скорость
| Модель | Работает на | Устройство | Скорость |
|---|---|---|---|
| Embedding Gemma Transcribe | Neural Engine | базовый M3 MacBook Air, 8 ГБ | 288× час аудио за 12,6 с |
| IBM Granite Speech 5.0 TurboCTC | GPU (MLX) | базовый M3 MacBook Air, 8 ГБ | ~150× час аудио за 25,7 с |
| NVIDIA Parakeet TDT 0.6B v3 (FluidAudio) | Neural Engine | M4 Pro | 156× |
| NVIDIA Parakeet TDT 0.6B v3 (FluidAudio) | Neural Engine | M5 Pro | 335× |
| Phonon-2, доработка Parakeet v3 (FluidAudio) | Neural Engine | M5 Pro | 480× |
× реального времени: секунды аудио в секунду обработки. Строки 1–2: тесты на одном базовом M3 MacBook Air. Строки 3–5: открытые бенчмарки FluidAudio на более мощных Мак и другом аудио. Приблизительный ориентир, не прямое сравнение.
Текущее состояние
Уровень ошибок (WER) около 5%, в то время как лидирующие модели показывают 2–3%. Разработчики считают, что лучше обученный ридер сможет закрыть этот разрыв — это следующая итерация.
Использование
Загружаешь аудиофайл или удерживаешь Right Option, говоришь и отпускаешь, чтобы продиктовать в любое приложение. Работает на Neural Engine Мака; аудио не покидает устройство.