Философия разработки
Команда TypeSafe AI долгое время обсуждала баланс между надежностью и творческим потенциалом.
Чтобы действительно заботиться о разработчиках, работающих с production-кодом, необходимо поставлять модели, которые соответствуют высочайшим стандартам качества интеллекта и прошли тестирование в экстремальных условиях. С другой стороны, команда не может полностью предугадать, что необходимо для создания инновационных и амбициозных проектов. Не хотелось бы навязывать требование абсолютной надежности тем, кто экспериментирует и рискует.
Решение: предоставить экспериментальные возможности через флаги "danger zone" в заголовках API. Это функции, которые останутся в будущих версиях, по всем имеющимся данным превосходят существующие аналоги и будут постоянно улучшаться. Но нужно предупредить: в них слишком много несовершенств, чтобы гарантировать использование в production.
Эти новые возможности — продолжение двухлетней работы команды. Они менее готовы к автоматизации, но очень интересны для экспериментов и служат ранним взглядом на то, над чем сейчас работают разработчики, чтобы достичь стандартов надежности TypeSafe.
Composable Images
TypeSafe AI не только включила поддержку multimodality для будущих версий Jev, но и активировала её для текущей версии, которая уже давно используется. Сюрприз: jev-1.13.0 была multimodal с самого начала!
Поддержка изображений полностью интегрирована через find-and-replace в assets. Их можно размещать везде, где это поддерживает JSON интерфейс: в state, instructions или даже в criteria! Экспериментируйте, расширяйте границы технологии и рассказывайте о возможностях улучшения.
Важное уточнение: все модели, включая Jev, показывают худшие результаты на multimodality по сравнению с чистым текстом. Разложение вопросов на максимально простые составляющие помогает значительно.
TypeSafe-Danger-Zone-Images: true
Документация: docs.typesafe.ai/go/images
Типы за пределами условных операторов
Представляется новый тип данных: box. Возвращает один bounding box без ошибок типизации. Это первый тип, который не предназначен исключительно для условных операторов, и служит превью исследований за пределами простых логических решений — в область, где System One Models могут быть применены шире.
Недавно произошел значительный прорыв, поэтому эта функция включена только для jev-1.14.0.
Документация: docs.typesafe.ai/go/box
Размер контекста имеет значение 💅
Разработчики активно просили поддержку более длинного контекста. Jev фактически поддерживает гораздо больший размер контекста, чем включено в production. Ограничение было сделано намеренно, потому что Jev, как и все модели, менее надежен на длинных контекстах, а это ограничение стимулирует более эффективные паттерны использования.
Но команда не хочет быть надзирающей силой, поэтому, хотя настоятельно рекомендуется ограничивать длину контекста, теперь это необязательно:
TypeSafe-Danger-Zone-Long-Context: true
Документация: docs.typesafe.ai/models#context-length
Добровольный opt-in для улучшений
TypeSafe AI ценит желание сообщества помочь улучшить модели. Добавлена возможность добровольного согласия, позволяющая отследить нестабильность модели на реальных запросах. Данные не будут использоваться для обучения, но это облегчит поиск проблем и отладку случаев использования.
jev-1.14.0
Также выпускается новая версия Jev под меткой jev-preview! Она не рассчитана на впечатляющие улучшения, а сосредоточена на маленьких, незаметных оптимизациях всего. Большинство аспектов должны работать немного лучше, но наиболее значительное улучшение ожидается в многоязычной поддержке.
Выпуски моделей обычно должны быть строгим улучшением, но разработчики часто неохотно обновляют зависимости. jev-latest будет обновлён до jev-1.14.0 через неделю. jev-1.13.0 останется доступной некоторое время.
Планируется дать 60 дней уведомления перед официальной deprecation jev-1.13.0 и 30 дней для jev-1.14.0. Политика deprecation будет опубликована заранее.
Измерение интеллекта
Как известно, TypeSafe AI скептически относится к публичным бенчмаркам. Однако есть собственные внутренние представления о том, как измерить форму интеллекта, наиболее важную для разработчиков.
Впервые решили относиться к сообществу как к взрослым разработчикам и поделиться этими данными.
Важные уточнения
Это измерение — лучшее предположение команды, которое будет эволюционировать. Если когда-либо снова покажутся внутренние числа, не ожидайте их согласованности.
Не верьте полностью. Всегда отдавайте предпочтение собственным экспериментам и тестированию на примерах вашего use case.
Включены только open weight модели, потому что валидационный набор тщательно охраняется, и есть опасения по поводу политик данных провайдеров моделей.
Это вероятно смещено в сторону собственных моделей. Спокойно игнорируйте Jev и сосредоточьтесь на относительном рейтинге open source моделей.
Что дальше
Много кто любит спрашивать о следующих научно-фантастических релизах. Хотя команда работает над впечатляющими вещами, ожидайте, что большинство релизов будут «красиво скучными» (как и должен быть AI): небольшие улучшения по всему, лучшая стабильность и функции для реального развёртывания.