Гибель "Челленджера", или о важности грамотной визуализации данных
Сегодня 35-и летняя годовщина гибели Шаттла "Челленджер". Тем, кто не знает об этой катастрофе, стоит прочесть краткий дайджест у kiri2ll или вики.
Небольшое введение. Есть на белом свете такой Эдвард Тафти, широко известный в узких кругах специалист по информационному дизайну. Его книги на эту тему весьма уважаемы как в научном сообществе, так и среди всяких там UX-еров; скажем, у моей бывшей научной руководительницы таких книг было три, и она в свое время попросила меня их прочесть, когда я готовил мою работу к печати. В одной из тех книг, Visual Explanations: Images and Quantities, Evidence and Narrative, Тафти критикует предпусковой меморандум компании Thiokol -- производителя твердотопливных ускорителей Шаттла (ТТУ), нештатная работа одного из которых и привела к катастрофе.
За день до старта тамошние инженеры попытались убедить НАСА отложить пуск, опасаясь прогара уплотнительного кольца из-за низкой температуры воздуха -- но, к сожалению, не преуспели в этом. Тафти приводит часть таблиц из того отчета, и затем критикует авторов за неубедительную визуализацию данных, которая помешала менеджменту НАСА осознать всю опасность пуска. В интернете нашлась часть этой главы (английский), если кому вопрос интересен, то лучше прочесть пдфку целиком -- но под катом я приведу краткий пересказ ключевой части оной.
Для старта челнока использовались два ТТУ Thiokol, состоящих из семи секций, шесть из которых попарно соединялись ещё на этапе изготовления. Полученные четыре части собирались воедино уже на космодроме Космического центра им. Джона Кеннеди. Соединения, осуществлявшиеся на космодроме, закрывались двумя резиновыми уплотнительными кольцами ("o-rings"):
Обратите внимание на primary и secondary O-Ring на схеме соединения секций ТТУ:
За день до пуска "Челленджера" инженеры Thiokol забили тревогу из-за того, что на стартовом комплексе ожидалась минусовая температура. Они опасались, что уплотнительные кольца затвердеют, не смогут сделать соединения секций ТТУ герметичными, и прорыв горячих газов в районе бака с водородом может привести к взрыву -- собственно, именно это и произошло на следующий день. Вдобавок к здравому смыслу (на морозе резина твердеет), в Thiokol ещё и знали, что у уплотнительных колец ТТУ Шаттла уже бывали повреждения колец и даже полные прогары первого кольца во время стартов при низкой температуре окружающего воздуха. НАСА был выслан по факсу отчет, в котором инженеры просили НАСА отложить пуск, и приводили доводы за это решение. Но убедить функционеров НАСА в опасности пуска в холодную погоду им не удалось -- несмотря на то, что это была первая просьба Thiokol отложить пуск за 12 лет их работы с космическим агентством.
Глянем теперь на то, как именно инженеры Thiokol представили свои данные в отчете. Остановлюсь на паре ключевых таблиц, основное представление они дадут.
1) Таблица, которая описывает предыдущие повреждения кольцевых уплотнителей при прошлых стартах:
Отметим, что тут не указаны температуры воздуха при стартах -- хотя вся задача отчета была убедить НАСА в опасности пуска в холодную погоду. Далее, по повреждениям кольцевых уплотнителей дана масса деталей, которые трудно сравнить в комплексе. Далее, даты стартов неряшливо добавлены от руки, что также добавляет сложности при попытке сравнить пуски.
2) Слева -- краткое описание двух случаев, когда за кольцевыми уплотнителями нашли сажу ("blow-by"). Справа -- таблица, где дана информация по проблематичным ТТУ и наконец-то приведены данные по температуре:
Для начала отметим, что DM и QM это испытания. Реальных полетов тут только два, SRM-15 и SRM-22 (SRM-25 это предстоящий пуск "Челленджера"). И обратите внимание, какую свинью авторы отчета тут подложили себе же! Они выделили всего два "боевых" пуска, с ТТУ SRM-15 и SRM-22. Если обратиться к таблице справа, то становится понятно, что у SRM-15 температура была довольной низкой, 53F (11C), но SRM-22-то был пущен при температуре в 75F (24С)! Это немедленно дало противникам отмены предстоящего пуска легкую мишень, мол сами же пишете, что прогары бывают при любой погоде, так что нет смысла отменять завтрашний пуск только из-за холода.
А ведь на деле на SRM-15 были значительные повреждения кольцевых уплотнителей, а на SRM-22 их не было, был только "blow-by" сажи. Но чтобы это понять надо обратиться к первой таблице, и сравнить соответствующие колонки с информацией об эрозии уплотнителя. Далее, вдобавок к SRM-15 и SRM-22 были и другие случаи повреждения кольцевых уплотнителей ТТУ при низких температурах во время старта (причем они приводятся в первой таблице) -- но тут, в таблице где есть температура, они не упомянуты!
Плюс обращаем внимание на кучу визуального шума. Например, зачем слева-снизу дана информация о повреждениях сопел ТТУ, какое отношение она имеет к прогарам кольцевых уплотнителей при низких температурах воздуха? В первой таблице тоже визуального шума масса, к слову.
И дабы не ограничиваться только критикой, Тафти приводит свой вариант того, каким бы он сделал ключевой график этого отчета:
Три важных детали:
- Повреждения кольцевых уплотнителей приведены к единому абстрактному значению (ось ординат).
- Температура указана на оси абсцисс.
- Приведены все пуски -- не только все проблемные, но и все беспроблемные.
Вкупе, график дает читателю информацию по всем пускам и всем повреждениям в одном информационном массиве. Это дает возможность качественно понять, что между вероятностью проблем с кольцевыми уплотнителем и температурой оных имеется корреляция. Плюс масштаб оси абсцисс ещё и дает наглядное представление насколько температура предстоящего пуска ниже всех прошлых. Вся остальная информация (типа повреждений сопел) выкинута за ненадобностью.
История не терпит сослагательного наклонения, так что нельзя утверждать, что пуск точно отменили бы если бы инженеры Thiokol представили свои данные в гораздо более удобоваримом виде -- то, что на менеджмент НАСА тогда оказывалось давление пускать челноки как можно чаще, общеизвестно. Но мне всё же кажется, что если они убедительней смогли бы продемонстрировать связь между холодной погодой и серьезными повреждениями уплотнительных колец, то решение о переносе пуска могло быть принято. Как ни крути, а отмена старта неизмеримо лучше катастрофы.
Небольшое введение. Есть на белом свете такой Эдвард Тафти, широко известный в узких кругах специалист по информационному дизайну. Его книги на эту тему весьма уважаемы как в научном сообществе, так и среди всяких там UX-еров; скажем, у моей бывшей научной руководительницы таких книг было три, и она в свое время попросила меня их прочесть, когда я готовил мою работу к печати. В одной из тех книг, Visual Explanations: Images and Quantities, Evidence and Narrative, Тафти критикует предпусковой меморандум компании Thiokol -- производителя твердотопливных ускорителей Шаттла (ТТУ), нештатная работа одного из которых и привела к катастрофе.
За день до старта тамошние инженеры попытались убедить НАСА отложить пуск, опасаясь прогара уплотнительного кольца из-за низкой температуры воздуха -- но, к сожалению, не преуспели в этом. Тафти приводит часть таблиц из того отчета, и затем критикует авторов за неубедительную визуализацию данных, которая помешала менеджменту НАСА осознать всю опасность пуска. В интернете нашлась часть этой главы (английский), если кому вопрос интересен, то лучше прочесть пдфку целиком -- но под катом я приведу краткий пересказ ключевой части оной.
Для старта челнока использовались два ТТУ Thiokol, состоящих из семи секций, шесть из которых попарно соединялись ещё на этапе изготовления. Полученные четыре части собирались воедино уже на космодроме Космического центра им. Джона Кеннеди. Соединения, осуществлявшиеся на космодроме, закрывались двумя резиновыми уплотнительными кольцами ("o-rings"):
Обратите внимание на primary и secondary O-Ring на схеме соединения секций ТТУ:
За день до пуска "Челленджера" инженеры Thiokol забили тревогу из-за того, что на стартовом комплексе ожидалась минусовая температура. Они опасались, что уплотнительные кольца затвердеют, не смогут сделать соединения секций ТТУ герметичными, и прорыв горячих газов в районе бака с водородом может привести к взрыву -- собственно, именно это и произошло на следующий день. Вдобавок к здравому смыслу (на морозе резина твердеет), в Thiokol ещё и знали, что у уплотнительных колец ТТУ Шаттла уже бывали повреждения колец и даже полные прогары первого кольца во время стартов при низкой температуре окружающего воздуха. НАСА был выслан по факсу отчет, в котором инженеры просили НАСА отложить пуск, и приводили доводы за это решение. Но убедить функционеров НАСА в опасности пуска в холодную погоду им не удалось -- несмотря на то, что это была первая просьба Thiokol отложить пуск за 12 лет их работы с космическим агентством.
Глянем теперь на то, как именно инженеры Thiokol представили свои данные в отчете. Остановлюсь на паре ключевых таблиц, основное представление они дадут.
1) Таблица, которая описывает предыдущие повреждения кольцевых уплотнителей при прошлых стартах:
Отметим, что тут не указаны температуры воздуха при стартах -- хотя вся задача отчета была убедить НАСА в опасности пуска в холодную погоду. Далее, по повреждениям кольцевых уплотнителей дана масса деталей, которые трудно сравнить в комплексе. Далее, даты стартов неряшливо добавлены от руки, что также добавляет сложности при попытке сравнить пуски.
2) Слева -- краткое описание двух случаев, когда за кольцевыми уплотнителями нашли сажу ("blow-by"). Справа -- таблица, где дана информация по проблематичным ТТУ и наконец-то приведены данные по температуре:
Для начала отметим, что DM и QM это испытания. Реальных полетов тут только два, SRM-15 и SRM-22 (SRM-25 это предстоящий пуск "Челленджера"). И обратите внимание, какую свинью авторы отчета тут подложили себе же! Они выделили всего два "боевых" пуска, с ТТУ SRM-15 и SRM-22. Если обратиться к таблице справа, то становится понятно, что у SRM-15 температура была довольной низкой, 53F (11C), но SRM-22-то был пущен при температуре в 75F (24С)! Это немедленно дало противникам отмены предстоящего пуска легкую мишень, мол сами же пишете, что прогары бывают при любой погоде, так что нет смысла отменять завтрашний пуск только из-за холода.
А ведь на деле на SRM-15 были значительные повреждения кольцевых уплотнителей, а на SRM-22 их не было, был только "blow-by" сажи. Но чтобы это понять надо обратиться к первой таблице, и сравнить соответствующие колонки с информацией об эрозии уплотнителя. Далее, вдобавок к SRM-15 и SRM-22 были и другие случаи повреждения кольцевых уплотнителей ТТУ при низких температурах во время старта (причем они приводятся в первой таблице) -- но тут, в таблице где есть температура, они не упомянуты!
Плюс обращаем внимание на кучу визуального шума. Например, зачем слева-снизу дана информация о повреждениях сопел ТТУ, какое отношение она имеет к прогарам кольцевых уплотнителей при низких температурах воздуха? В первой таблице тоже визуального шума масса, к слову.
И дабы не ограничиваться только критикой, Тафти приводит свой вариант того, каким бы он сделал ключевой график этого отчета:
Три важных детали:
- Повреждения кольцевых уплотнителей приведены к единому абстрактному значению (ось ординат).
- Температура указана на оси абсцисс.
- Приведены все пуски -- не только все проблемные, но и все беспроблемные.
Вкупе, график дает читателю информацию по всем пускам и всем повреждениям в одном информационном массиве. Это дает возможность качественно понять, что между вероятностью проблем с кольцевыми уплотнителем и температурой оных имеется корреляция. Плюс масштаб оси абсцисс ещё и дает наглядное представление насколько температура предстоящего пуска ниже всех прошлых. Вся остальная информация (типа повреждений сопел) выкинута за ненадобностью.
История не терпит сослагательного наклонения, так что нельзя утверждать, что пуск точно отменили бы если бы инженеры Thiokol представили свои данные в гораздо более удобоваримом виде -- то, что на менеджмент НАСА тогда оказывалось давление пускать челноки как можно чаще, общеизвестно. Но мне всё же кажется, что если они убедительней смогли бы продемонстрировать связь между холодной погодой и серьезными повреждениями уплотнительных колец, то решение о переносе пуска могло быть принято. Как ни крути, а отмена старта неизмеримо лучше катастрофы.