Недавно умер отец автора этих строк — он был вдвое старше. Сейчас автор находится примерно в том же возрасте, в котором отец был на момент его рождения, и фактически стал «старшим поколением» — никого старше в семье уже не осталось.
Одновременно с этим произошёл переход в компанию, где сотрудники в среднем моложе. Когда в 2011 году он пришёл в Google, ему только исполнилось 30 — вполне типичный возраст для компании того времени. Рядом работало немало более старших коллег, самые опытные из которых были за пятьдесят и успели поработать в Bell Labs. Многих из этих «седобородых» он искренне уважал (хотя термин и звучит сексистски — какой аналог подошёл бы для женщин-инженеров того же уровня? А таких тоже хватало).
Возможно, поэтому естественным образом возникает вопрос: какие прозрения, случившиеся после двадцати с небольшим лет, по-настоящему изменили взгляд на мир? Иначе говоря — что сделало мышление «более зрелым», если вкладывать в это слово позитивный смысл?
Далее — три таких прозрения.
1. Важность понимания собственной системы мотивации и недоверия ко всему, что приходит в голову.
Недавно в Twitter была опубликована ветка на эту тему. Оппенгеймер публично мучился чувством вины за создание атомной бомбы, а фон Нейман в какой-то момент заметил: «некоторые люди исповедуют вину, чтобы претендовать на признание греха». В молодости, особенно в ситуациях, когда в руках оказывался 0day, которого не было ни у кого другого, приходилось мучительно взвешивать ответственность за обладание таким знанием. Стоит ли его исправлять? Использовать во благо? Причинит ли это вред миру тем или иным способом?
В итоге выяснилось: хотя отдельные люди действительно имеют значение, у многих идей есть «момент созревания», и поступки конкретного человека влияют на итог куда меньше, чем ему кажется в моменте. Предсказать, как именно твои действия отразятся на мире в целом, практически невозможно.
Если спросить: «Хорошо ли, что этот 0day помог поймать террориста?» — большинство ответит «да». Если спросить: «Хорошо ли, что этот же 0day помог арестовать человека, а затем подвергнуть его пытке водой 183 раза?» — большинство ответит «нет». Так если конкретный 0day использовали для поимки KSM — это хорошо или плохо? Всё быстро становится очень сложным.
Закрывать 0day полезно для общества, потому что это делает системы безопаснее? Или это способствует угнетению, ведь уязвимые системы легче обойти тем, кто борется с несправедливостью?
Однозначных ответов нет, и собственная система мотивации сильно влияет на то, какие убеждения человек в итоге выбирает. В конечном счёте люди хотят быть героями собственной истории, одновременно испытывая базовые потребности в признании, материальных благах и прочем — и потому выстраивают нарратив, который позволяет удовлетворить эти потребности, оставаясь при этом героем своей саги.
Тревога о влиянии собственной работы льстит самолюбию, и это важно распознавать и держать под контролем — это сахар для эго, тогда как история в основном идёт своим путём в обход конкретного человека: отдельные решения важны в частных ситуациях, но общий ход истории куда менее чувствителен к личности, чем кажется самой этой личности. Более широкий урок таков: не стоит верить всему, что приходит в голову. Нужно тщательно изучать собственные мотивы. Стоит спрашивать себя, какие альтернативные объяснения могли бы стоять за твоим поведением и убеждениями — особенно если они противоречат героическому нарративу, который выстраивается о самом себе. Умение честно задать вопрос «а не выступаю ли я в этой истории злодеем?» — ценный и важный навык.
Схожим образом полезно развивать метапознание — способность отстранённо наблюдать за собственными мыслями, а затем интерпретировать и контекстуализировать их с учётом собственных мотивов.
2. Монопричинный детерминизм — иллюзия, которая почти не встречается за пределами отладки программ.
Монопричинный детерминизм, к которому привыкают молодые компьютерные энтузиасты, — иллюзия, которую поколения инженеров-электронщиков и технологов годами оттачивали и поддерживали. Именно благодаря их труду специалисты по информатике долгое время могли обходиться без вероятностного мышления и эмпирической проверки. Есть аргумент в пользу того, что многие учёные-естественники перешли в область ИИ именно потому, что образование в CS слишком долго строилось на рассуждениях внутри этой детерминированной монопричинной иллюзии.
Реальность такова: вычислительные машины — это физические устройства, подверженные износу, различиям в качестве между отдельными экземплярами и «вероятностно-детерминированному поведению» — то есть система выглядит детерминированной, пока её не «трясут» слишком сильно. Стоит немного надавить — температурой, напряжением, электромагнитными полями или даже быстрыми обращениями к соседним строкам DRAM — и детерминизм обычно рассыпается, иллюзия исчезает, и перед нами оказывается совсем другой зверь.
Кстати, это заставляет задуматься и о выравнивании (alignment) моделей: даже идеально выровненная модель подвержена случайным сбоям битов при инференсе, и трудно представить, как можно сохранить разумные гарантии при возможности сбоя бита в неудачное значение в неудачный момент.
В реальном мире очень немногое имеет единственную причину, и очень немногие механизмы передачи причинности по-настоящему детерминированы. Всё вероятностно, всё многопричинно.
Шум измерений реален, а грамотно спроектировать эксперимент — трудная задача.
Любопытно, что при внимательном рассмотрении становится ясно: научный метод сам по себе — это классификатор, намеренно смещённый в сторону отказа признавать что-либо истинным, чтобы истинным признавалось только то, что не вызывает разумных сомнений.
Довольно занятное следствие этого — существование целого класса истинных утверждений, которые никогда не будут доказаны научным методом.
3. Противопоставление разума и эмоций — культурная конструкция, не имеющая опоры ни в нейронауке, ни в логике.
При более пристальном изучении оказывается, что западное убеждение, будто разум и эмоции — это два полюса одного спектра, — чисто культурная конструкция, как и представление о том, что «высшему» разуму нужно обуздывать «низменные» эмоции, или что «эмоции» мешают «рациональности».
В большинстве незападных культур куда более распространено стремление к интеграции рационального размышления с импульсами и эмоциями, и, как выясняется, это гораздо ближе к биологической реальности.
С точки зрения нейронауки очевидно, что эмоциональная оценка — часть более крупного механизма принятия решений, который обычно перестаёт нормально работать при повреждении или удалении компонента, отвечающего за эмоции. Значительная часть информации, которую мозг с трудом облекает в слова, передаётся через эмоции, а также через реальную обратную связь от органов чувств тела. Забавный факт: энтеральная нервная система кишечника содержит столько же нейронов, сколько вся кора головного мозга собаки. Тело также «выносит» нейроны в мышцы и конечности — своего рода оптимизация задержки. Организм постоянно подаёт дополнительную информацию, и значительная её часть проявляется именно в форме эмоций.
Отсюда логический аргумент против попыток «убрать» эмоции из процесса принятия решений: очевидно, что возможность опираться на больше источников информации улучшает качество решений. Попытка исключить конкретный источник информации почти наверняка ухудшает это качество.
Это не значит, что действовать нужно исключительно по импульсу, но интегрировать в решения весь спектр доступной информации — включая эмоции — определённо разумная стратегия.
При более внимательном размышлении наверняка можно найти и другие подобные прозрения, но именно эти три оказываются настолько важными, что проявляются в жизни с поразительной регулярностью.
Надежда в том, что это окажется полезным кому-то ещё.