IT Herald

Benchmark

StarSkirmish Bench v0.2: тестирование ИИ-ботов для StarCraft

StarSkirmish — бенчмарк, где большие языковые модели пишут ботов для StarCraft: Brood War за час. Новая версия v0.2 тестирует GPT-6 Astra, Claude Opus 5.5, Gemini 4 Argon и другие модели, оценивая их способность к долгосрочному планированию и итеративному улучшению кода.

90% рабочего времени американцев приходится на задачи, не покрытые AI-бенчмарками

Исследование Mercor показало, что из 923 профессий в США только 208 имеют задачи, покрытые современными AI-бенчмарками. При этом 90% американского рабочего времени приходится на задачи, которые практически не представлены в существующих тестах для моделей.

Почему индустрия не паникует насчёт DeepSeek 4.1 Flash?

DeepSeek 4.1 Flash демонстрирует производительность уровня frontier-моделей при цене на порядки ниже. Месяц интенсивного использования показал, что качество работает не хуже Claude Opus, а экономия на кэшировании меняет подход к разработке.

Представляем Ember-1: половина токенов, такие же ответы

Fireworks Research представила Ember-1 — специализированный LLM, который доставляет качество Kimi K3, но использует на 40% меньше токенов. Модель обучена генерировать более эффективные цепочки рассуждений, сохраняя точность на бенчмарках и в production-тестах.

Pentium II на 600 МГц с Voodoo 3, эмулируемые на 86Box с M6 Mac Mini

M6 Mac Mini обеспечивает стабильную эмуляцию Pentium II на частоте 600 МГц в 86Box — на 20% выше, чем у M4, благодаря превосходной производительности одного ядра. Тестирование показало, что для эмуляции ретро-ПК критична скорость отдельного потока, где Apple Silicon выгодно выделяется среди конкурентов.

Как мы делаем Tailscale быстрее

Tailscale развивает инфраструктуру для работы с высокими нагрузками: оптимизирует буферизацию пакетов, вводит многоочередную обработку для маршрутизаторов подсетей и узлов выхода, внедряет кеширование сетевых карт для быстрого запуска в условиях плохого соединения.

Съедят ли OpenAI обед Jev?

TypeSafe представила Jev — новый подход к LLM, который пропускает генерацию текста и возвращает калиброванные вероятности прямо из распределения одного токена. OpenAI может быстро повторить эту идею, но лучший ход — встроить классификацию в собственные модели для более умного рассуждения и дешёвого роутинга.

Claude Opus 5.5

Anthropic представила Claude Opus 5.5 — первую модель из нового семейства Claude 5.5. Она достигает производительности Claude Fable 5.1 на большинстве задач, но стоит на 40% дешевле. Модель прошла предварительную оценку внешних проверяющих и показывает лучшие результаты в тестировании поведения и безопасности.

Тестирование камеры Apple iPhone 18 Pro

Apple iPhone 18 Pro получил оценку 172 балла за качество фотокамеры, продемонстрировав отличное общее производство с широким динамическим диапазоном, улучшенной контрастностью и стабилизацией. Переменная диафрагма позволяет камере поддерживать резкость в сложных сценах с несколькими объектами съёмки.

Brood War Bench: тестирование AI моделей в стратегии реального времени

Исследование показало, как различные языковые модели (Codex, Claude, Grok) играют в StarCraft: Brood War. Codex Astra продемонстрировала самые сильные результаты с 100% победой в одной конфигурации, тогда как Grok оказалась неспособна построить армию. Все модели пока не выходят за уровень новичка.

Needle 3: модели автоматизации размером 8–29 МБ соответствуют DeepSeek V4 Flash

Cactus представила Needle 3 — фундаментальную модель для автоматизации на миниатюрных устройствах. За счёт архитектуры с масштабируемыми подсетями один набор весов обеспечивает модели от 2 до 20 слоёв, работающие на Raspberry Pi и смартфонах, при этом 4-слойная версия после тонкой настройки соответствует по производительности DeepSeek V4 Flash.

Проектирование каркаса для AI-кодировщиков: эмпирическое исследование компонентов

Исследователи провели систематическое изучение того, как отдельные компоненты каркаса (harness) влияют на производительность автономных агентов при написании кода. Тестирование 176 конфигураций на бенчмарках SWE-Bench и Terminal-Bench показало, что управление контекстом, планирование и выбор действий по-разному влияют на эффективность в зависимости от способностей модели.

Новости и дайджесты — в Telegram @it_herald