Решение для дефицита GPU-ресурсов
Растущий спрос на GPU-ускоренные вычисления для ML-инференса выявил проблемы централизованных GPU-инфраструктур: высокая стоимость, низкая эластичность и длительные очереди при ограниченных ресурсах. При этом современные устройства macOS на базе Apple Silicon оборудованы мощными GPU, которые большую часть времени остаются неиспользованными.
Исследователи Apple разработали Minions — динамическое распределённое облако виртуальных GPU, которое объединяет простаивающие процессоры Apple Silicon с макропроцессоров устройств для выполнения крупномасштабных задач ML-инференса. Система позволяет командам использовать имеющееся оборудование без дополнительных капитальных затрат на GPU.
Ключевые особенности
Minions предоставляет:
- гибкое выполнение GPU-инференс задач;
- отказоустойчивость и восстановление при сбоях;
- эффективное распределение ресурсов между узлами.
Опыт разработчиков показал, что неиспользованные macOS-устройства можно преобразовать в практичную распределённую GPU-инференс платформу в окружениях, где централизованные GPU-ресурсы ограничены. Это особенно актуально для организаций, которые уже располагают парком Mac-компьютеров и хотят максимизировать их использование для вычислительных нагрузок.
Материал опубликован как исследовательская работа авторами Jianhua Li, Yun Xing, Girisha De Silva, Ryan Flint, Kai Yuan и Sean Suchter.