Как отказывают сложные системы (1998)

Сложные системы изначально опасны

Все интересные системы — транспорт, здравоохранение, генерация электроэнергии — по своей природе неизбежно опасны. Частоту столкновения с опасностью иногда можно менять, но сами процессы внутри системы неустранимо и по своей сути рискованны. Именно наличие этих опасностей заставляет создавать защиту от них — защиту, которая и характеризует такие системы.

Сложные системы серьёзно и успешно защищены от отказов

Высокая цена отказа со временем приводит к появлению множества слоёв защиты. Сюда входят очевидные технические компоненты (резервные системы, «защитные» функции оборудования), человеческий фактор (обучение, знания), а также разнообразные организационные, институциональные и регуляторные механизмы (политики и процедуры, сертификация, регламенты работы, командное обучение). Эффект этих мер — серия щитов, которые обычно уводят работу системы в сторону от аварии.

Катастрофа требует множества сбоев — одного недостаточно

Набор защит работает: система в целом функционирует успешно. Явная катастрофическая авария случается, когда несколько мелких, на вид безобидных сбоев складываются вместе и создают возможность для системного отказа. Каждый из этих мелких сбоев необходим для катастрофы, но только их сочетание оказывается достаточным. Иначе говоря, возможностей для сбоя гораздо больше, чем явных системных аварий. Большинство траекторий отказа блокируются заложенными в систему компонентами безопасности. Те траектории, что доходят до операционного уровня, чаще всего блокируются самими операторами.

Сложные системы содержат меняющуюся смесь скрытых сбоев

Сложность таких систем делает невозможной их работу без множества присутствующих изъянов. Поскольку по отдельности они недостаточны для отказа, во время работы их считают незначительными факторами. Полное искоренение всех скрытых сбоев ограничено в первую очередь экономическими издержками, а также тем, что заранее трудно понять, как именно такой сбой может внести вклад в аварию. Набор сбоев постоянно меняется — из-за смены технологий, организации труда и усилий по их устранению.

Сложные системы работают в деградированном режиме

Из предыдущего пункта следует, что сложные системы функционируют как «сломанные». Система продолжает работать благодаря множеству резервов и тому, что люди заставляют её работать, несмотря на присутствие множества изъянов. После разборов аварий почти всегда обнаруживается история предыдущих «прото-аварий», едва не приведших к катастрофе. Утверждения о том, что деградированные условия следовало распознать ещё до явной аварии, обычно основаны на наивных представлениях о работе системы. Работа системы динамична: компоненты — организационные, человеческие, технические — постоянно отказывают и заменяются.

Катастрофа всегда рядом

Сложные системы несут в себе потенциал катастрофического отказа. Операторы почти всегда находятся в физической и временной близости к этим потенциальным сбоям — беда может случиться в любой момент и почти в любом месте. Потенциал катастрофического исхода — визитная карточка сложных систем. Устранить этот потенциал невозможно; он присутствует всегда, в силу самой природы системы.

Поиск «корневой причины» после аварии в корне ошибочен

Поскольку для явного отказа нужно несколько сбоев, у аварии нет изолированной «причины». У аварий множество вкладчиков, и каждый из них сам по себе недостаточен для её возникновения. Только вместе эти причины оказываются достаточными. Собственно, именно их сцепление друг с другом и создаёт условия, необходимые для аварии. Поэтому выделить «корневую причину» аварии невозможно. Оценки, построенные на подобных рассуждениях о «корневой причине», отражают не техническое понимание природы отказа, а социальную и культурную потребность обвинить конкретные, локализованные силы или события в произошедшем.¹

¹ Полевые антропологические исследования наиболее ясно демонстрируют социальную сконструированность понятия «причины» (см. Goldman L. (1993), The Culture of Coincidence: accident and absolute liability in Huli, New York: Clarendon Press; а также Tasca L. (1990), The Social Construction of Human Error, неопубликованная докторская диссертация, кафедра социологии, Государственный университет Нью-Йорка в Стоуни-Брук).

Ретроспективное искажение смещает оценки действий людей после аварии

Знание исхода создаёт впечатление, что события, ведущие к нему, должны были казаться операторам более заметными в момент происходящего, чем это было на самом деле. Из-за этого анализ действий людей задним числом оказывается неточным. Знание исхода отравляет способность наблюдателей воссоздать взгляд оператора на те же самые факторы до аварии. Кажется, что оператор «должен был знать», что эти факторы «неизбежно» приведут к аварии.² Ретроспективное искажение остаётся главным препятствием для расследования аварий, особенно когда речь идёт о действиях опытных специалистов.

² Это свойственно не только медицинским или техническим суждениям, а вообще всякому человеческому мышлению о прошлых событиях и их причинах.

У операторов двойная роль: производитель и защитник от отказа

Операторы системы управляют ею, чтобы производить нужный продукт, и одновременно работают на предотвращение аварий. Эта динамика — баланс между требованиями производства и возможностью зарождающегося сбоя — неизбежна. Посторонние редко признают эту двойственность роли. В спокойные периоды акцент делается на производственной функции. После аварий — на защитной. В обоих случаях взгляд со стороны неверно понимает постоянную, одновременную вовлечённость оператора в обе роли.

Все действия оператора — это ставки

После аварии явный отказ часто выглядит неизбежным, а действия оператора — как ошибки или сознательное игнорирование надвигающейся беды. Но на самом деле все действия операторов — это ставки, то есть акты, совершаемые в условиях неопределённого исхода. Степень неопределённости может меняться от момента к моменту. То, что действия оператора — ставки, становится очевидным после аварий; при этом апостериорный анализ обычно считает эти ставки неудачными. Но обратное — что успешные исходы тоже являются результатом ставок — признаётся редко.

Действия на переднем крае разрешают всю неопределённость

Организации, часто намеренно, сохраняют неопределённость в отношении баланса между целями производства, эффективным использованием ресурсов, экономикой затрат на операции и приемлемым риском аварий с низкими и высокими последствиями. Всю эту неопределённость разрешают действия операторов на переднем крае системы. После аварии их действия могут быть расценены как «ошибки» или «нарушения», но такие оценки сильно искажены задним числом и игнорируют другие движущие силы, в первую очередь давление производственного плана.

Люди — адаптивный элемент сложных систем

Операторы и линейные руководители активно адаптируют систему, чтобы максимизировать производство и минимизировать аварии. Эти адаптации часто происходят от момента к моменту. Некоторые из них: (1) перестройка системы для снижения уязвимости отдельных частей к сбоям; (2) концентрация критических ресурсов в зонах ожидаемого высокого спроса; (3) обеспечение путей отступления или восстановления после ожидаемых и неожиданных сбоев; (4) создание средств раннего обнаружения изменений в работе системы, позволяющих плавно сокращать производство или иными способами повышать устойчивость.

Человеческая экспертиза в сложных системах постоянно меняется

Сложные системы требуют значительной человеческой экспертизы для эксплуатации и управления. Эта экспертиза меняется по мере смены технологий, а также из-за необходимости заменять уходящих специалистов. В любом случае обучение и совершенствование навыков и знаний — часть функции самой системы. Поэтому в любой момент времени в сложной системе присутствуют операторы и стажёры с разным уровнем экспертизы. Ключевые вопросы, связанные с экспертизой, возникают из (1) необходимости использовать дефицитную экспертизу как ресурс для самых сложных и требовательных производственных задач и (2) необходимости развивать экспертизу на будущее.

Изменения порождают новые формы отказа

Низкая частота явных аварий в надёжных системах может поощрять изменения — особенно внедрение новых технологий — направленные на снижение числа сбоев с низкими последствиями, но высокой частотой. Такие изменения на деле могут создавать возможности для новых, редких, но крайне тяжёлых по последствиям сбоев. Когда новые технологии применяют для устранения хорошо понятных сбоев системы или ради высокой точности работы, они нередко открывают новые пути к масштабным катастрофическим отказам. Нередко эти новые, редкие катастрофы имеют даже больший эффект, чем те, что были устранены новой технологией. Такие новые формы отказа трудно увидеть заранее — внимание сосредоточено в основном на предполагаемых преимуществах изменений. А поскольку эти новые аварии с тяжёлыми последствиями случаются редко, до момента аварии система может успеть претерпеть множество изменений, что затрудняет отслеживание вклада конкретной технологии в отказ.

Взгляд на «причину» ограничивает эффективность защиты от будущих событий

Меры, принимаемые после аварии против «человеческой ошибки», обычно направлены на блокирование действий, которые могут «вызвать» аварию. Такие меры, применяемые в конце цепочки, мало снижают вероятность дальнейших аварий. На деле вероятность повторения именно такой же аварии и так крайне мала, поскольку набор скрытых сбоев постоянно меняется. Вместо повышения безопасности послеаварийные меры обычно увеличивают связанность и сложность системы. Это увеличивает потенциальное число скрытых сбоев и одновременно усложняет обнаружение и блокировку траекторий, ведущих к аварии.

Безопасность — свойство системы, а не её компонентов

Безопасность — эмерджентное свойство системы; она не находится в человеке, устройстве или подразделении организации. Безопасность нельзя купить или произвести — это не отдельная функция, обособленная от прочих компонентов системы. Значит, ею нельзя манипулировать как сырьём. Состояние безопасности любой системы всегда динамично: непрерывные системные изменения гарантируют, что опасность и управление ею постоянно меняются.

Люди непрерывно создают безопасность

Безаварийная работа — результат деятельности людей, которые удерживают систему в границах допустимой производительности. По большей части эта деятельность — часть нормальной работы и внешне выглядит несложной. Но поскольку работа системы никогда не бывает беспроблемной, адаптация операторов к меняющимся условиям фактически создаёт безопасность от момента к моменту. Часто такие адаптации сводятся просто к выбору отработанного шаблона действий из имеющегося набора реакций; иногда же это новые комбинации или создание совершенно новых подходов с нуля.

Безаварийная работа требует опыта столкновения с отказами

Чтобы распознавать опасность и успешно управлять работой системы, оставаясь в границах допустимой производительности, нужен непосредственный контакт со сбоями. Более устойчивая работа системы вероятнее возникает там, где операторы способны различить «край диапазона» — точку, где производительность системы начинает ухудшаться, становится труднопредсказуемой или её уже нелегко восстановить. В изначально опасных системах ожидается, что операторы будут сталкиваться с опасностями и осознавать их таким образом, чтобы это вело к желаемой общей эффективности работы. Повышение безопасности зависит от того, насколько операторам предоставлено откалиброванное представление об опасностях. А также от того, насколько им ясно, как их собственные действия приближают работу системы к краю диапазона или отдаляют от него.