Amazon Mechanical Turk закроется 30 сентября 2026 года

Что такое Amazon Mechanical Turk

Amazon Mechanical Turk (MTurk) — краудсорсинговая площадка, которая позволяла компаниям и частным лицам передавать часть процессов и задач распределённой рабочей силе, выполняющей их удалённо. Спектр задач был широким: от простой валидации и сбора данных до более субъективных вещей вроде опросов, модерации контента и других форм ручной работы. MTurk давал компаниям возможность использовать коллективный интеллект, навыки и опыт работников по всему миру для упрощения бизнес-процессов, расширения сбора и анализа данных, а также ускорения разработки моделей машинного обучения.

Несмотря на прогресс технологий, многие задачи люди по-прежнему выполняют эффективнее компьютеров — модерацию контента, дедупликацию данных, исследовательскую работу. Традиционно такие задачи решались за счёт найма большого временного штата, что требовало времени, денег и плохо масштабировалось, либо оставались невыполненными. Краудсорсинг позволял разбить объёмный ручной проект на небольшие управляемые задачи («микрозадачи»), которые выполнялись распределёнными исполнителями через интернет.

Преимущества платформы

Оптимизация эффективности

MTurk хорошо подходил для простых и повторяющихся задач в рабочих процессах, которые требовали ручной обработки. Аутсорсинг микрозадач на платформе позволял выполнять работу быстро, освобождая время и ресурсы компании для более важных внутренних задач.

Повышение гибкости

Масштабировать штат сотрудников вверх и вниз — задача не из простых. Доступ к глобальной рабочей силе в режиме 24/7 позволял бизнесу и организациям получать результат быстро и по мере необходимости, без сложностей, связанных с динамическим масштабированием внутренней команды.

Снижение затрат

MTurk давал возможность эффективно управлять трудовыми и накладными расходами, связанными с наймом временного персонала. Используя навыки распределённых работников по модели оплаты за задачу, компании могли существенно снижать издержки, добиваясь результатов, недостижимых силами одной штатной команды.

Как это работало

MTurk предоставлял разработчикам доступ к разнообразной рабочей силе по запросу через гибкий пользовательский интерфейс или прямую интеграцию по простому API. Организации использовали краудсорсинг через MTurk для широкого круга задач — микроработы, сбора человеческих оценок и разработки моделей машинного обучения.

Сценарии использования

Построение, управление и оценка ML-процессов

MTurk помогал минимизировать затраты времени и денег на каждом этапе разработки машинного обучения. Платформа упрощала сбор и разметку больших объёмов данных, необходимых для обучения ML-моделей. Построение эффективной модели также требует постоянных итераций и корректировок — ещё один сценарий применения MTurk в ML называется human-in-the-loop (HITL), когда обратная связь от людей используется для проверки и переобучения модели. Пример — разметка ограничивающих рамок (bounding boxes) для построения качественных датасетов в задачах компьютерного зрения, где задача слишком неоднозначна для чисто механического решения и слишком велика даже для команды экспертов.

«В AI2 мы продвигаем границы искусственного интеллекта, а для этого часто требуются данные с человеческой разметкой — чтобы обучать новые системы и измерять прогресс. В частности, мы используем краудсорсинговые платформы вроде Amazon Mechanical Turk для построения датасетов, которые помогают нашим моделям осваивать здравый смысл — знания, необходимые для ответа на базовые вопросы, простые для человека, но всё ещё сложные для машин. Amazon Mechanical Turk даёт гибкую платформу, которая позволяет нам использовать человеческие знания для развития исследований в области машинного обучения».

— Майкл Шмитц, директор по инжинирингу, Allen Institute for AI

Аутсорсинг бизнес-процессов

Большая, на первый взгляд неподъёмная задача часто может быть разбита на набор небольших, управляемых микрозадач, каждую из которых можно выполнить независимо. Краудсорсинг служил эффективной организационной стратегией для использования инноваций и гибкости за счёт распределения работы среди интернет-пользователей. Бизнес и разработчики могли обращаться к тысячам исполнителей на MTurk по запросу, а затем интегрировать результаты их работы напрямую в свои бизнес-процессы и системы. Типичные примеры — модерация контента в вебе и соцсетях, категоризация товаров или изображений, сбор данных с сайтов и других источников.

«Индустрия питания всегда зависела от изменчивых вкусов и предпочтений потребителей. Наша цель — выявлять потребительские инсайты и замечать зарождающиеся тренды, чтобы клиенты могли эффективно на них реагировать. Работники Amazon Mechanical Turk отвечают на наши запросы по сбору информации из меню, сайтов и других каналов. Мы используем эти коллективные человеческие инсайты, чтобы лучше понимать потребности клиентов и выявлять важные рыночные тренды».

— Дэвид Фальк, исполнительный директор, Food Genius / US Foods Data Science