Руки, ловкость и координация
Человеческая кисть — инженерное чудо. Противопоставленный большой палец и примерно два десятка степеней свободы (отдельных суставов и направлений их изгиба), плюс около 17 000 тактильных датчиков. Мозг управляет кистями с феноменальной точностью, используя осязание, зрение и даже слух для выполнения тончайших задач с надёжностью и совершенством.
Нынешние роботические манипуляторы — бледная тень оригинала. Некоторые существующие роботические кисти могут соответствовать человеческим по отдельным физическим параметрам. Например, у некоторых есть 27 степеней свободы. Однако ни одна не приближается к общему пакету гибкости, чувствительности, прочности и надёжности. Комбинация этих факторов — особенно сложна для воспроизведения, несмотря на всё более впечатляющие демонстрации. Например, некоторым компаниям удалось внедрить тысячи тактильных датчиков в роботический палец, но никому не удалось сделать эти миниатюрные датчики достаточно устойчивыми к интенсивному использованию.
Проблема управления может быть столь же сложна, как и проблема физического конструирования. Компетентный робот должен уметь найти нужный набор положений суставов для захвата сложного предмета; спланировать последовательность движений для складывания рубашки, переворачивания омлета или затягивания болта в стеснённом пространстве; и справляться с мягкими или вялыми материалами (которые могут потребовать мгновенной реакции на неожиданный сдвиг).
Визуальное восприятие
Компьютерное зрение за последние десятилетие или два сделало невероятные успехи (и именно оно спровоцировало взрыв глубокого обучения, который привёл к возникновению LLM). Но разобраться в сложных визуальных сценах — выделить предмет из загромождённой окружающей среды, понять, как его хватать, определить, где безопасно ступить и как избежать опрокидывания чего-то — остаётся нерешённой проблемой.
Планирование и реакция
Универсальный робот должен разложить задачу на отдельные этапы и соотнести эти этапы с окружающей средой. Как манипулировать рукой, чтобы поместить отвёртку в механизм? Какой самый быстрый способ очистить путь к баночке со специей в глубине полки? В каком порядке подобрать предметы с пола в гостиной?