Принцип «черного ящика» [заметки]

1

Все имена сотрудников больницы изменены, чтобы сохранить их анонимность. – Здесь и далее прим. автора, за исключением особо оговоренных.

2

Сегодня «черные ящики» делают ярко-оранжевыми, чтобы их было легче обнаружить, и часто два «ящика» совмещают в одном.

3

Многие историки сходятся в том, что первое клиническое исследование в современном смысле провел в 1747 г. шотландский врач Джеймс Линд. Он искал средство от цинги и во время длительного путешествия на корабле Ост-Индской компании провел эксперимент по лечению болезни, включив в рацион матросов цитрусовые.

4

Игра слов: по-английски «операционная» – operating theatre. – Прим. пер.

5

Некоторые врачи доказывали, что в сокрытии ошибок есть разумное зерно. В конце концов, если пациенты обнаружат, сколь часто медики ошибаются, они могут вообще отказаться от лечения – и общая ситуация усугубится. Но этот довод следует отвергнуть. Проблема не в том, что пациенты не знают об ошибках; проблема в том, что ошибок не признают сами врачи – и, следовательно, упускают возможность на них учиться. Кроме того, утаивая от пациента информацию о неудачах, врачи тем самым лишают его возможности сделать рациональный выбор. Пациент имеет право знать о соответствующих рисках до того, как лечение началось.

6

Для авиакомпаний жизненно важно осознавать и мелкие ошибки. «К большинству крупных неудач приводит много причин, – пишет Эми Эдмондсон, профессор Гарвардской школы бизнеса, – и часть из них является следствием системы организации… Мелкие неудачи – сигналы раннего предупреждения, играющие ключевую роль в предотвращении будущих катастроф».

7

Во множестве ситуаций сосредоточиться на конкретном задании – эффективный способ справиться с работой. Проблема возникает, когда это наносит ущерб целостности восприятия. В этом случае излишнее сосредоточение вредит работе и, если говорить об авиации, безопасности.

8

Можно представить, как этот принцип применялся бы в медицине. Вот что медсестра Джейн могла сказать, если бы она использовала данный подход во время операции Илэйн Бромили:

ПРОВЕРКА – «Доктор, какие варианты вы рассматриваете на случай, если мы не сможем вставить трубку?»

ОПОВЕЩЕНИЕ – «Доктор, уровень кислорода 40 %, он продолжает падать, трубка не входит, может, применим трахеостомию?»

ПОБУЖДЕНИЕ – «Доктор, нам нужен набор для трахеостомии – или мы потеряем пациента».

ЧРЕЗВЫЧАЙНАЯ СИТУАЦИЯ – «Я прошу реанимационную команду сделать трахеостомию».

9

Иногда «черным ящиком» называют систему, внутреннее устройство которой неясно, она просто преобразует нечто на входе в конечный результат. В этой книге мы используем термин в чуть другом, хоть и близком значении: «черный ящик» – регистратор данных, используемый при расследовании катастрофы.

10

Из отчета особого комитета британского парламента (2015): «Ресурсы, которые направляются на расследования и обучение с целью увеличить безопасность медицинской деятельности, позволяют сэкономить на ненужных издержках и уменьшить причиняемый пациентам вред».

11

В высшем проявлении (фр.).

12

Фальсифицируемость – критерий научности эмпирической теории, сформулированный К. Р. Поппером в 1935 г. Теория является фальсифицируемой и, соответственно, научной в том случае, если существует методологическая возможность ее опровержения путем постановки того или иного эксперимента. – Прим. ред.

13

Отношения между неудачей и прогрессом в науке можно описать как сложные. Идет немало споров о том, могут ли и должны ли ученые предлагать новые теории и парадигмы в свете новых данных. Об этом много писал философ Томас Кун. С основным принципом – научные теории должны быть проверяемы, а значит, уязвимы – согласен весь научный мир. Исправление ошибок – главный аспект научного прогресса.

14

В своей книге «Скачок» (Bounce, 2010) я детально изучаю эту область знаний. В данном разделе я не полагаюсь на идеи, высказанные в «Скачке». Здесь я говорю только о том, что обширная практика, судя по всему, является предпосылкой для компетентных действий в предсказуемых условиях.

15

Единственное, что меняется со временем, – вовсе не результативность, а уверенность в себе. В одном исследовании 25 % психотерапевтов относят себя к 10 % лучших в своей профессии, при этом ни один психотерапевт не считает себя хуже среднего уровня.

16

Даниэль Канеман иллюстрирует эту идею, призывая нас поразмыслить о том, как быстро мы учимся водить машину. Обратная связь в этом случае оперативна и объективна. Корабли мы учимся водить куда дольше – между действием и наблюдаемым результатом проходит больше времени.

17

Возможно, данное обстоятельство объясняет и тот факт, что конференции по заболеваемости и смертности – собрания медиков, проводимые с целью улучшить заботу о здоровье пациентов, – почти не снижают количество ошибок, которых можно было бы избежать. Конференции регулярно организуются медицинскими центрами и должны предоставлять врачам возможность учиться на ошибках. Однако врачи часто боятся высказываться или сообщать о промахах коллег. Что еще важнее, мало кто пытается осознать проблемы системы.

18

В июне 2015 г. сообщалось, что ежегодно более тысячи детей умирают до, во время или после родов из-за предотвратимых ошибок НСЗ. Одна простая ошибка – неправильное измерение пульса новорожденного – влечет четверть выплат компенсаций по халатности.

19

В Англии и Уэльсе вскрытие проводится, когда причина смерти официально не установлена или когда человек умирает в подозрительных обстоятельствах. В 2013 г. аутопсии потребовали около 20 % смертей.

20

Эта глава написана по материалам проекта «Невиновность» (Innocence Project), бесед с Хуаном Риверой и с адвокатами Риверы и Барри Шекком, а также по газетным статьям и сообщениям СМИ, включая электронную переписку с Эндрю Мартином, писавшим об этом деле для New York Times.

21

В действительности женщину звали Дороти Мартин, однако для сохранения анонимности Фестингер изменил ее имя в своей книге «Когда не сбылось пророчество».

22

Судья Энтонин Скалья пошел еще дальше. В 2009 г. он заявил на судебном слушании: «Данный суд никогда не считал, что конституция запрещает осуждать подзащитного, если приговор ему выносится в результате справедливого и полного судебного разбирательства, даже если позднее он способен убедить… суд в том, что “на самом деле” невиновен».

23

У сужения определения ошибки есть аналог – «ошибочный» научный подход. В третьей главе мы привели пример гипотезы: вода закипает при 100 °C. Как заметил философ Брайан Мэджи, спасти честь этой гипотезы легче легкого, если сузить исходное утверждение. Переформулируем ее следующим образом: «Вода закипает при 100 °C при атмосферном давлении на уровне моря». А когда мы обнаруживаем, что вода не кипит при 100 °C в закрытых емкостях, нужно переформулировать гипотезу еще раз: «Вода закипает при 100 °C при атмосферном давлении на уровне моря в открытых емкостях». Но если идти этим путем до конца и всякий раз ограничивать гипотезу новыми условиями, которые последовательно сужают ее эмпирическую ценность, в конце концов гипотеза перестанет быть полезной. Кроме того, мы упустим из виду самое важное обстоятельство: ошибочность исходного утверждения предоставляла нам возможность не спасти это утверждение, а перейти к новому, более правильному. В итоге мы должны породить теорию, которая объясняет и кипение воды при 100 °C на уровне моря, и тот факт, что вода кипит при другой температуре в горах и в закрытых емкостях. Наука не просто выявляет ошибки, она должна также реагировать на них и тем самым способствовать прогрессу.

24

Действительно ли это было необходимо? О некоторых решениях не так-то просто сказать, верны они или нет. С этой войной все сложно, и мы не в состоянии вернуться в прошлое и посмотреть, как развивалась бы ситуация в случае иного решения. Иногда аргументы, начинающиеся со слов «если бы…», называют контрфактическими. В следующем разделе мы обсудим, как учиться на ошибках в подобных случаях.

25

Запрещенная в РФ террористическая организация. – Прим. ред.

26

Некоторые отказались отвечать на вопросы агентства или вообще не отозвались. Один из авторов письма за это время умер.

27

Автор опросил 12 экономистов – три из них преподают в вузах, девять работают в финансовых организациях.

28

На рус. яз.: Сойфер В.Н. Власть и наука. История разгрома генетики в СССР. М.: Радуга, 1993.

29

В последние годы ученые вновь заговорили о ламаркизме в связи с достижениями эпигенетики, которая занимается изменениями в организмах, вызванными модификациями экспрессии генов, а не самого генетического кода. Но это не значит, что Лысенко был в чем-либо прав. Сейчас те же самые явления обсуждают, приводя в качестве аргументов эксперименты и научные данные, а не угрозы. И уж определенно это не значит, что основой науки может быть идеология, а не научные доказательства.

30

Недавние исследования утверждают, что это свойство памяти полезно для нашего воображения. Например, мы все можем представить себе, что сидим в кафе с Дэвидом Бекхэмом и пьем капучино. Мы попросту вспоминаем о последнем походе в кафе и вставляем образ Бекхэма в эпизод, где мы пьем кофе.

31

На известной газетной карикатуре такой ряд подозреваемых состоит из холодильника, курицы и человека с прической афро.

32

Некоторые считают, что присяжные важны независимо от того, насколько правильные приговоры они выносят, наличие гражданского компонента в юриспруденции – существенный аспект демократии, легитимизирующий систему. Даже если и так, этот аргумент никак не может повлиять на наши попытки улучшить эффективность судов присяжных. В конце концов, правосудие должно быть справедливым.

33

Тут можно провести аналогию и со спортом. Первоклассный футболист может пробить штрафной с тридцати метров и отправить мяч в верхний угол ворот. Для того чтобы это сделать, ему нужно решить дифференциальные уравнения и различные задачи из области аэродинамики. Однако он не решает математических уравнений. Его знание практично, он решает проблемы опосредованно. Откуда берется такое знание? Опять же, оно базируется на пробах и ошибках (то есть практике). Футболист бил по мячу несколько тысяч часов и, изменяя и улучшая технику удара, постепенно уменьшал расстояние между местом, куда попадал мяч, и своей целью.

34

Философ Фрэнсис Бэкон описал это динамическое взаимодействие еще в XVII в. в трактате «Новый органон»: «Между тем пусть никто не ждет большого прогресса в науках, особенно в их действенной части, если естественная философия не будет доведена до отдельных наук или же если отдельные науки не будут возвращены к естественной философии». (Перевод С. Красильщикова.)

35

Фамилию Houston чаще передают как «Хьюстон», но в данном случае она произносится «Хаустон». – Прим. пер.

36

Случайное распределение (по жребию) очень важно: благодаря ему группы с большой вероятностью будут одинаковыми – при условии, что они достаточно многочисленны. Между ними есть единственное системное отличие: одних пациентов лечат, других нет.

37

Статистикой наблюдений называют все статистические данные, полученные из наблюдений за тем, что происходит. РКИ отличаются тем, что показывают не только то, что происходит, но вдобавок дают для сравнения контрфактические данные.

38

Провести РКИ оказалось намного сложнее, чем Финкенауэр изначально предполагал. Представители программы отказывались сотрудничать. Судья Никола, поддерживавший программу своим авторитетом, пытался уничтожить возможность проведения РКИ в зародыше. «Он не видел нужды оценивать эффективность программы, поскольку уже получил сотни писем, утверждавших, что она успешна», – говорил Финкенауэр.

39

В конечном счете программы, использовавшие методологию «Испугаться и исправиться», были лишены федерального финансирования. Однако они по-прежнему процветают, и не только в США, но и по всему миру. И будут процветать, пока информация значит меньше, чем нарратив.

40

Термин «marginal gains», переведенный здесь как «минимальные успехи», в контексте бизнеса может означать и «предельный доход». – Прим. пер.

41

Для того чтобы перенять уникальный опыт пит-стопов «Формулы-1», с командой связывались врачи из детской больницы Ормонд-стрит. Они хотели понять, как более эффективно перемещать пациентов из операционной в реанимацию. В результате число ошибок резко уменьшилось. См. http://asq. org/healthcare-use/why-quality/great-ormond-street-hospital.html.

42

В первой части книги мы видели, как учатся на своих ошибках авиакомпании, разбирая все катастрофы и потенциально опасные ситуации. Нежелательные события используются, чтобы вырабатывать гипотезы о том, что пошло не так, и по возможности совершенствовать систему. Но это еще не все. Предлагаемые изменения, какими бы верными они ни казались, могут повлечь за собой непредвиденные последствия. Потому все предложения тестируются на симуляторах (при разных условиях и разными пилотами) и только потом применяются на практике. Иными словами, авиация учится на своих ошибках на многих уровнях – и добивается успеха.

43

Для того чтобы проводить РКИ эффективно, важно создать правильную методологию, включая достаточно большой объем выборки. См. http://www.evanmiller.org/how-not-to-run-an-ab-test.html.

44

Это скорее оценка, чем точная сумма, – после перекрашивания панели на прибыль компании влияло слишком много переменных.

45

Иногда данную проблему называют «проблемой внешней валидности»: насколько результаты данного РКИ можно применять в других контекстах? Этот вопрос важен в области фармакогенетики. Эффективность многих лекарств зависит от генотипа (и, следовательно, этнического происхождения) пациента. Отсюда следует, что большая часть лекарств сегодня эффективно действует на европейцев и белых американцев – именно они составляют большинство в тестируемых группах.

46

В 2000 г. Blockbuster решил не покупать только что появившуюся компанию Netflix за 50 млн долларов.

47

В ряде случаев генетическая эволюция – тоже стратегия для локальной оптимизации. Во многих оптимизационных алгоритмах – компьютерных программах, более-менее точно имитирующих процесс эволюции, – предусмотрены крупные изменения с регулярными интервалами, позволяющие уходить от узкой области параметров и уводящие процесс от локального оптимума в сторону более высокой горы.

48

Вспомните, например, про экономистов, которые перетолковывают свои прогнозы так, что оказываются всегда правы. Такое поведение систематически подрывает творческий процесс. Без неудачи, без провала, без раздражения экономисты лишены не только мотивации, но и концептуального топлива, нужного для переосмысления экономических моделей. Они используют свой замечательный интеллект, чтобы защищать собственные идеи, а не перерабатывать их.

49

Есть немало захватывающих книг о войне ученых за свой приоритет в конкретном открытии. Некоторые битвы были жестокими, например между Ньютоном и Лейбницем, которые спорили о том, кто из них первым придумал дифференциальное исчисление. Куда реже такие дискуссии разрешались полюбовно, как между Уоллесом и Дарвином. Тори Рив в книге «Даун-хаус: дом Чарльза Дарвина» (Down House: The Home of Charles Darwin) пишет, что Уоллесу, «замечательно свободному от зависти и ревности», ничуть не претило оставаться в тени Дарвина.

50

Для того чтобы наладить производственный процесс, часто нужно ликвидировать все нежелательные отклонения. Управляя различными процессами, бизнес уменьшает вариативность на выходе. Творческий процесс, напротив, приветствует эксперименты, то есть увеличение вариативности. Более подробно о разнице между этими подходами и о том, как их примирить, см. http:// www.forbes.com/sites/ricksmith/2014/06/11/is-six-sigma-killing-your-com-panys-future/.

51

Одна из загадок рейса LN 114 – почему, если верить пилоту «фантома», шторки всех иллюминаторов в пассажирском салоне были опущены? Можно быть почти уверенным в том, что пилот, испытывая стресс и обладая ограниченным запасом времени, не заметил, что часть шторок была поднята.

52

«Эффект знания задним числом», еще одно хорошо изученное когнитивное искажение, также играет здесь свою роль. Когда мы знаем итог события – пациент умер, самолет разбился, ИТ-система дала сбой, – перестать думать о конкретной причинно-следственной связи очень трудно. Сложно влезть в шкуру совершившего ошибку человека – тот часто действует в состоянии стресса, пытаясь примирить различные требования и не понимая, чем может обернуться данное решение.

53

В здравоохранении в аналогичных случаях говорят о «перестраховочной медицине» – когда медики назначают множество ненужных анализов, чтобы в случае чего уйти от ответственности, и увеличивают тем самым стоимость процедур.

54

Перевод А. В. Лебедева.

55

По словам исследователя творчества Милля Шарлан Немет, «присутствие инакомыслящего меньшинства, судя по всему, стимулирует появление оригинальных идей».

56

Перевод А. Н. Неведомского.

57

Чтобы понять, как метод обучения на ошибках менялся в авиации в прошлом и как он может меняться в будущем, см. лекцию Сидни Деккера: https://vimeo.com/102167635.