Мета-анализ: искусство неверной трактовки
Отличный перевод. Джона знаю лично, очень импозантный мужчина. Говорит об этих проблемах давно и настойчиво, но мета-анализы с ошибочными выводами, как публиковались, так и продолжают публиковаться. Как, впрочем, и отпуливание статей с негативными результатами (главная причина публикационного искажения) остается нормой в научных исследованиях. А кому это интересно?
Originally posted by dok_zlo at Мета-анализ: искусство неверной трактовки
Мета-анализ - вершина доказательной пирамиды и святой грааль для многих исследователей, выводы которого зачастую воспринимаются как жирная точка в рассматриваемом научном вопросе. Но несмотря на все достоинства, мета-анализ может содержать ложные выводы и ошибки. В представленной статье Джон Иоаннидис говорит о подводных камнях в области мета-исследований: систематических ошибках, приводящих к искажению результата, в том числе о таких известных явлениях, как публикационное смещение, выборочное предоставление результатов и выборочный анализ данных.
У мета-анализа есть масса достоинств, но нередко он приводит к неверным и обманчивым результатам. В этом обращении к председателю SRSM (Society for Research Synthesis Methodology) я привожу примеры, иллюстрирующие данные проблемы, включая примеры мета-анализа как клинических, так и неэкспериментальных исследований. Я также затрагиваю проблемы определения величины эффекта, смещения (в частности, погоню за значимостью исследования) и достоверности мета-исследований. Я рассматриваю факторы, повлиявшие на достоверность мета-анализа, включая величину эффекта, множественность анализа, шкалу измерения данных, гибкость анализа, представление данных и конфликты интересов. В сложившихся обстоятельствах опрос экспертов мета-аналитиков, принявших участие во встрече SRSM, показал, что большинство из них полагают, что реальный эффект может с равной вероятностью находиться как в пределах 95% доверительного интервала мета-анализа, так и вне его. И, наконец, я расскажу о включении мета-анализа в более обширный нынешний план исследований и предложу несколько новых моделей мета-анализа. Во многих/большинстве/всех областях все первичные исследования могут быть спланированы, выполнены и интерпретированы как потенциальный мета-анализ.
Вступление
Я хотел бы начать с отказа от ответственности. Мне кажется, что как мета-аналитик я совершил слишком много ошибок. Возможно, почти всё в моей карьере было ошибкой, и большая часть того, что я не считаю ошибкой, тоже ошибочно. На этот доклад меня главным образом вдохновили мои собственные ошибки, убедившие меня в том, что мета-анализ - это великолепный дизайн исследования, в особенности если его результаты ошибочны, и нам повезло понять эти ошибки. В этом обзоре причин, по которым мета-анализ может быть ошибочным, я сначала приведу два конкретных примера из личного опыта, которые иллюстрируют некоторые противоречия и трудности, возникающие в ходе мета-исследования. Затем я приведу теоретические размышления и эмпирические подтверждения тому, что мета-анализ - это прекрасный способ наломать дров, и расскажу, как это можно и нужно исправить, если это вообще возможно. Это обращение к председателю, а не систематическая экспертная оценка, поэтому будьте внимательны: я могу снова оказаться не прав!
Случай первый: кортикостероиды при остром бактериальном менингите
Использование кортикостероидов для лечения пациентов с острым бактериальным менингитом было изучено по меньшей мере на 3883 пациентах в ходе 23 исследований, опубликованных начиная с 1963 года (согласно данным последнего мета-анализа). Здесь мы видим пример типичной ситуации, в которой мета-анализ, как предполагалось на протяжении многих десятилетий, может быть полезен: когда имеется много небольших испытаний, не позволяющих сделать определённые выводы (Sacks et al., 1987), и когда вам, возможно, хотелось бы выяснить и объяснить причины их неоднородности (Olkin, 1995). Количество доступных исследований и общий объём выборки немного больше, чем то, что мы в среднем видим в текущих медицинских мета-анализах (Moher et al., 2007), но не значительно.
Как и во многих других областях, количество опубликованных обзоров применения стероидов в лечении острого бактериального менингита значительно превосходит число опубликованных исследований. Поиск на PubMed по запросу «Обзор ИЛИ Мета-анализ» с (стероид ИЛИ кортикостероид ИЛИ дексаметазон) И менингит [‘Review OR Meta-analysis’ (steroid OR corticosteroid OR dexamethasone) AND meningitis] выдаёт 424 результата на июль 2010 г. Большинство из них - несистематические обзоры. Не все из них напрямую связаны с лечением острого менингита стероидами, но не будет ошибкой сказать, что в целом количество обзоров будет по меньшей мере в десяток раз превосходить число статей. Судя по их огромному количеству, несистематические обзоры остаются одним из наиболее популярных и весомых способов засорения научной литературы. К тому же, они по-прежнему получают безоговорочную поддержку самых престижных журналов и ведущих учёных. Например, Nature, Science и New England Journal of Medicine до сих пор практически полностью полагаются на несистематические экспертные обзоры при кратком изложении и популяризации науки.
Мы надеемся, что мета-анализ помогает в борьбе с несистематическими обзорами и предложит достоверные данные. Однако, не всё так просто. Для начала, у нас нет ни одного мета-анализа. Тринадцать из 424 результатов поиска отмечены тегом «мета-анализ». При ближайшем рассмотрении оказалось, что 11 из них действительно имеют отношение к применению стероидов при лечении острого менингита (Assiri et al., 2009; Coyle, 1999; Geiman and Smith, 1992; Ioannidis et al., 1994; McIntyre et al., 1997; Prasad and Haines, 1995; van de Beek et al., 2003, 2007, 2010; Vardakas et al., 2009; Yurkowski and Plaisance, 1993). Но приводят ли результаты этих мета-анализов к одному и тому же выводу?
В блоке 1 я привёл некоторые дословные цитаты из шести мета-анализов (Ioannidis et al., 1994; McIntyre et al., 1997; van de Beek et al., 2003, 2007, 2010; Vardakas et al., 2009), начиная с того, автором которого стал я в 1994 г. Я привожу только 6 из 11 мета-анализов простоты ради, и поверьте мне, ситуация была бы схожей, если не ещё более запутанной, приведи я все 11 анализов. Вот некоторые критерии включения/невключения работ: «Я не включил два мета-анализа потому, что они были опубликованы раньше, чем мой мета-анализ, а мне хотелось всем показать, что я был первым; один я пропустил в ходе первоначального отбора; в одном были слишком мудрёные данные; и ещё один я пропустил, потому что мне стало скучно, и к тому же оставалось мало времени на завершение этого обращения». Если эти критерии покажутся вам немного субъективными и недостаточно научными, вот вам ещё одно, более формальное (но не обязательно более честное) заявление, у которого больше шансов пройти экспертную оценку: «Я выбрал мета-анализы, опубликованные в ведущих медицинских журналах и библиотеке Кокрейновского сотрудничества, так как они с большей вероятностью будут отличаться высоким качеством, а также два недавно опубликованных анализа». Критерии включения/невключения - волшебный инструмент для выбора понравившихся нам данных и достижения результатов, к которым мы пришли ещё до проведения анализа. Давайте не будем забывать об этом, когда будем говорить о самом мета-анализе и о том, как выбирают, какие же данные и исследования в него включить.
В 1994 году, во время прохождения специализированной подготовки, я столкнулся со случаем сильного желудочно-кишечного кровотечения у ребёнка, получавшего дексаметазон для лечения острого бактериального менингита. При поддержке Джозефа Лау я провёл мета-анализ, в котором во всех комплексных испытаниях рассматривались четыре события (Ioannidis et al., 1994). Общее число свидетельств было очень мало (обычное дело для свидетельств существенного вреда вследствие медицинского вмешательства (Hernandez et al., 2008; Papanikolaou and Ioannidis, 2004)), но я пришёл к заключению, что эти негативные последствия нужно подвергнуть серьёзному рассмотрению и сопоставить с пользой (Ioannidis et al., 1994). Я не посмел тогда засомневаться в пользе стероидов. В то время её принимали как само собой разумеющееся. И не потому, что об этом свидетельствовали два предыдущих мета-анализа - в 1994 году мало кого волновали систематические обзоры. Её принимали как данность, потому что так утверждали все эксперты, а два маленьких исследования, опубликованных вNew England Journal of Medicine в 1988 и 1991 годах, показали невероятно огромный номинально статистически значимый лечебный эффект (относительный риск значительно выраженного снижения слуха или глухоты - 0,07 и относительный риск неврологических и слуховых осложнений - 0,36), основываясь на ряде событий у 200 и 101 случайного выбранных пациентов соответственно (Lebel et al., 1988; Odio et al., 1991).
В 1997 году обновлённый мета-анализ (McIntyre et al., 1997) продемонстрировал более скромные результаты, и был сделан вывод, что стероиды действительно помогали справиться с некоторыми бактериями, но далеко не со всеми. В нём также говорилось о том, что сокращение продолжительности лечения до двух дней может уменьшить наносимый вред, хотя существенной разницы в случае серьёзных повреждений не наблюдалось. База данных систематических обзоров Кокрейнского сотрудничества впервые опубликовала систематический обзор на данную тему в 2003 году (van de Beek et al., 2003). В нём говорилось о существенной пользе дексаметазона при лечении детей и о том, что неблагоприятный эффект не увеличился, в то время, как о взрослых пациентах было предоставлено недостаточно данных. Так как Кокрейновский обзор отправляли в (электронные онлайн) издания, в конце работы авторы добавили список дополнений, потому что было опубликовано новое исследование, в котором утверждалось, что дексаметазон в два раза снижал смертность среди взрослых, и, следовательно, его нужно принимать всем взрослым (van de Beek et al., 2003). Кокрейновский обзор обновили в 2007 году (van de Beek et al., 2007). В то время несколько новых исследований не показали никакой пользы от стероидов. Авторы обзора заметили, что отличительной особенностью этих исследований было то, что они проводились среди детей из стран c низким уровнем дохода. Поэтому авторы обзора пришли к заключению, что применение стероидов эффективно в лечении детей из стран с высоким, а не низким уровнем дохода. Никого больше не волновал вред стероидов. В мета-анализе данных о взрослых пациентах, опубликованном в 2009 году, особо подчёркивалось, что стероиды нужно давать всем пациентам (Vardakas et al., 2009). Казалось бы, конец истории. Но затем в 2010 году (van de Beek et al., 2010) был опубликован детальный мета-анализ данных индивидуального уровня, в котором говорилось о том, что нет никаких подтверждений существенной пользы от стероидов в лечении менингита, независимо от того, какая группа была исследована. Добавление опубликованных групповых данных, которое не было доступно на индивидуальном уровне, не повлияло на данное заключение (van de Beek et al., 2010).
Блок I. Дословные выдержки из шести мета-анализов об использовании кортикостероидов в лечении острого менингита.
Lancet 1994.
JAMA 1997.
Cochrane 2003.
Cochrane 2007.
European Journal of Neurology 2009.
Lancet 2010.
Подведём итог развития событий:
1994: вопрос о пользе не стоит, но следует остерегаться негативных последствий;
1997: однозначная польза при борьбе с определёнными видами бактерий, ограничить применение до 2 дней во избежание негативных последствий;
2003: однозначная польза лишь для детей; негативные последствия не увеличились;
2003, поправка: наблюдается польза и для взрослых;
2007: польза только в странах с высоким уровнем доходов населения;
2009: явная польза, принимать всем, точка;
2010: вообще никакой пользы.
Итак, к чему мы пришли после полувека рандомизированных исследований стероидов в лечении острого менингита? Скорее всего, к тому, что стероиды не оказывают существенного влияния - положительного или отрицательного - на исход событий при лечении острого менингита. Пожалуй, это хорошее предположение почти для каждого случая медицинского вмешательства, которое можно сделать ещё до того, как были получены какие-либо данные. Однако, согласно последним полученным результатам и доверительным интервалам недавнего мета-анализа (van de Beek et al., 2010), следующие альтернативные сценарии пока исключать нельзя.
1. Стероиды умеренно полезны.
2. Стероиды умеренно вредны.
3. Стероиды и умеренно полезны, и умеренно вредны.
Само собой разумеется, результаты и выводы мета-анализов по данной теме использовались во множестве исследований. Другие авторы тоже пытались понять причины, по которым результаты мета-анализов противоречивы, и их рассуждения также отчасти противоречивы (Jadad et al., 1997; Katerndahl and Lawler, 1999; Linde and Willich, 2003), но некоторые сходства всё же есть. Я отметил некоторые причины в Таблице 1 и включил своё видение проблемы. Довольно опрометчиво делать выводы о том, какие же причины смогут объяснить противоречие по вопросу использования стероидов, в частности. Я подозреваю, что как и в большинстве случаев, это многофакторный процесс, в котором взаимодействует множество причин. Однако больше всего меня тревожит то, что и по сегодняшний день мета-анализ остаётся ретроспективным занятием. Почти все выводы из Таблицы 1 могут быть сделаны постфактум после просмотра данных или фрагментов первоначальных исследований. Разные данные, разные анализы и разные интерпретации дают возможность прийти к любому желаемому заключению.
Таблица 1. Некоторые причины противоречий в мета-анализах на одну и ту же тему.
Прежде чем перейти к рассмотрению следующего случая, я хотел бы представить вам информацию о том, какие из статей о стероидах и менингите стали наиболее авторитетными. В целом, в последнее десятилетие именно на мета-анализ чаще всего ссылаются в медицинской литературе (Patsopoulos et al., 2005). Это может быть как благом, так и проклятием. Однако это не проблема для литературы о стероидах и менингите. Согласно ISI Web of Science, четырьмя наиболее цитируемыми работами остаются два ранних исследования, в которых был выявлен огромный лечебный эффект, что явно несопоставимо с медицинской реальностью (словом, с любой реальностью), ещё одно исследование, которое обнаружило невероятный лечебный эффект среди взрослых, и несистематический обзор, одобряющий использование стероидов, - все 4 были опубликованы в New England Journal of Medicine. Возможно, мета-анализ и не привёл к каким-то общим выводам, однако обнадёживает тот факт, что 4 другие самые цитируемые работы также были ошибочными.
Случай второй: в поисках генов болезни Паркинсона......
Статья большая для полной публикации в жж, читать тут - http://brights-russia.org/article/meta-analysis-the-art-of-getting-it-wrong.html
но кое что еще вынесу.
Таблица 3. Организации, которые могут быть заинтересованы в мета-анализе не только как в способе поиска истины.
(страховые компании конечно входят в пункт "все что связанно с финансированием", однако я бы их вынес отдельно dok-zlo)
По наводке А. Водовозова.
Джон П.А. Иоаннидис (John P. A. Ioannidis). Meta-research: The art of getting it wrong. Res. Syn. Meth. 2010, 1 169-184.
Originally posted by dok_zlo at Мета-анализ: искусство неверной трактовки
Мета-анализ - вершина доказательной пирамиды и святой грааль для многих исследователей, выводы которого зачастую воспринимаются как жирная точка в рассматриваемом научном вопросе. Но несмотря на все достоинства, мета-анализ может содержать ложные выводы и ошибки. В представленной статье Джон Иоаннидис говорит о подводных камнях в области мета-исследований: систематических ошибках, приводящих к искажению результата, в том числе о таких известных явлениях, как публикационное смещение, выборочное предоставление результатов и выборочный анализ данных.
У мета-анализа есть масса достоинств, но нередко он приводит к неверным и обманчивым результатам. В этом обращении к председателю SRSM (Society for Research Synthesis Methodology) я привожу примеры, иллюстрирующие данные проблемы, включая примеры мета-анализа как клинических, так и неэкспериментальных исследований. Я также затрагиваю проблемы определения величины эффекта, смещения (в частности, погоню за значимостью исследования) и достоверности мета-исследований. Я рассматриваю факторы, повлиявшие на достоверность мета-анализа, включая величину эффекта, множественность анализа, шкалу измерения данных, гибкость анализа, представление данных и конфликты интересов. В сложившихся обстоятельствах опрос экспертов мета-аналитиков, принявших участие во встрече SRSM, показал, что большинство из них полагают, что реальный эффект может с равной вероятностью находиться как в пределах 95% доверительного интервала мета-анализа, так и вне его. И, наконец, я расскажу о включении мета-анализа в более обширный нынешний план исследований и предложу несколько новых моделей мета-анализа. Во многих/большинстве/всех областях все первичные исследования могут быть спланированы, выполнены и интерпретированы как потенциальный мета-анализ.
Вступление
Я хотел бы начать с отказа от ответственности. Мне кажется, что как мета-аналитик я совершил слишком много ошибок. Возможно, почти всё в моей карьере было ошибкой, и большая часть того, что я не считаю ошибкой, тоже ошибочно. На этот доклад меня главным образом вдохновили мои собственные ошибки, убедившие меня в том, что мета-анализ - это великолепный дизайн исследования, в особенности если его результаты ошибочны, и нам повезло понять эти ошибки. В этом обзоре причин, по которым мета-анализ может быть ошибочным, я сначала приведу два конкретных примера из личного опыта, которые иллюстрируют некоторые противоречия и трудности, возникающие в ходе мета-исследования. Затем я приведу теоретические размышления и эмпирические подтверждения тому, что мета-анализ - это прекрасный способ наломать дров, и расскажу, как это можно и нужно исправить, если это вообще возможно. Это обращение к председателю, а не систематическая экспертная оценка, поэтому будьте внимательны: я могу снова оказаться не прав!
Случай первый: кортикостероиды при остром бактериальном менингите
Использование кортикостероидов для лечения пациентов с острым бактериальным менингитом было изучено по меньшей мере на 3883 пациентах в ходе 23 исследований, опубликованных начиная с 1963 года (согласно данным последнего мета-анализа). Здесь мы видим пример типичной ситуации, в которой мета-анализ, как предполагалось на протяжении многих десятилетий, может быть полезен: когда имеется много небольших испытаний, не позволяющих сделать определённые выводы (Sacks et al., 1987), и когда вам, возможно, хотелось бы выяснить и объяснить причины их неоднородности (Olkin, 1995). Количество доступных исследований и общий объём выборки немного больше, чем то, что мы в среднем видим в текущих медицинских мета-анализах (Moher et al., 2007), но не значительно.
Как и во многих других областях, количество опубликованных обзоров применения стероидов в лечении острого бактериального менингита значительно превосходит число опубликованных исследований. Поиск на PubMed по запросу «Обзор ИЛИ Мета-анализ» с (стероид ИЛИ кортикостероид ИЛИ дексаметазон) И менингит [‘Review OR Meta-analysis’ (steroid OR corticosteroid OR dexamethasone) AND meningitis] выдаёт 424 результата на июль 2010 г. Большинство из них - несистематические обзоры. Не все из них напрямую связаны с лечением острого менингита стероидами, но не будет ошибкой сказать, что в целом количество обзоров будет по меньшей мере в десяток раз превосходить число статей. Судя по их огромному количеству, несистематические обзоры остаются одним из наиболее популярных и весомых способов засорения научной литературы. К тому же, они по-прежнему получают безоговорочную поддержку самых престижных журналов и ведущих учёных. Например, Nature, Science и New England Journal of Medicine до сих пор практически полностью полагаются на несистематические экспертные обзоры при кратком изложении и популяризации науки.
Мы надеемся, что мета-анализ помогает в борьбе с несистематическими обзорами и предложит достоверные данные. Однако, не всё так просто. Для начала, у нас нет ни одного мета-анализа. Тринадцать из 424 результатов поиска отмечены тегом «мета-анализ». При ближайшем рассмотрении оказалось, что 11 из них действительно имеют отношение к применению стероидов при лечении острого менингита (Assiri et al., 2009; Coyle, 1999; Geiman and Smith, 1992; Ioannidis et al., 1994; McIntyre et al., 1997; Prasad and Haines, 1995; van de Beek et al., 2003, 2007, 2010; Vardakas et al., 2009; Yurkowski and Plaisance, 1993). Но приводят ли результаты этих мета-анализов к одному и тому же выводу?
В блоке 1 я привёл некоторые дословные цитаты из шести мета-анализов (Ioannidis et al., 1994; McIntyre et al., 1997; van de Beek et al., 2003, 2007, 2010; Vardakas et al., 2009), начиная с того, автором которого стал я в 1994 г. Я привожу только 6 из 11 мета-анализов простоты ради, и поверьте мне, ситуация была бы схожей, если не ещё более запутанной, приведи я все 11 анализов. Вот некоторые критерии включения/невключения работ: «Я не включил два мета-анализа потому, что они были опубликованы раньше, чем мой мета-анализ, а мне хотелось всем показать, что я был первым; один я пропустил в ходе первоначального отбора; в одном были слишком мудрёные данные; и ещё один я пропустил, потому что мне стало скучно, и к тому же оставалось мало времени на завершение этого обращения». Если эти критерии покажутся вам немного субъективными и недостаточно научными, вот вам ещё одно, более формальное (но не обязательно более честное) заявление, у которого больше шансов пройти экспертную оценку: «Я выбрал мета-анализы, опубликованные в ведущих медицинских журналах и библиотеке Кокрейновского сотрудничества, так как они с большей вероятностью будут отличаться высоким качеством, а также два недавно опубликованных анализа». Критерии включения/невключения - волшебный инструмент для выбора понравившихся нам данных и достижения результатов, к которым мы пришли ещё до проведения анализа. Давайте не будем забывать об этом, когда будем говорить о самом мета-анализе и о том, как выбирают, какие же данные и исследования в него включить.
В 1994 году, во время прохождения специализированной подготовки, я столкнулся со случаем сильного желудочно-кишечного кровотечения у ребёнка, получавшего дексаметазон для лечения острого бактериального менингита. При поддержке Джозефа Лау я провёл мета-анализ, в котором во всех комплексных испытаниях рассматривались четыре события (Ioannidis et al., 1994). Общее число свидетельств было очень мало (обычное дело для свидетельств существенного вреда вследствие медицинского вмешательства (Hernandez et al., 2008; Papanikolaou and Ioannidis, 2004)), но я пришёл к заключению, что эти негативные последствия нужно подвергнуть серьёзному рассмотрению и сопоставить с пользой (Ioannidis et al., 1994). Я не посмел тогда засомневаться в пользе стероидов. В то время её принимали как само собой разумеющееся. И не потому, что об этом свидетельствовали два предыдущих мета-анализа - в 1994 году мало кого волновали систематические обзоры. Её принимали как данность, потому что так утверждали все эксперты, а два маленьких исследования, опубликованных вNew England Journal of Medicine в 1988 и 1991 годах, показали невероятно огромный номинально статистически значимый лечебный эффект (относительный риск значительно выраженного снижения слуха или глухоты - 0,07 и относительный риск неврологических и слуховых осложнений - 0,36), основываясь на ряде событий у 200 и 101 случайного выбранных пациентов соответственно (Lebel et al., 1988; Odio et al., 1991).
В 1997 году обновлённый мета-анализ (McIntyre et al., 1997) продемонстрировал более скромные результаты, и был сделан вывод, что стероиды действительно помогали справиться с некоторыми бактериями, но далеко не со всеми. В нём также говорилось о том, что сокращение продолжительности лечения до двух дней может уменьшить наносимый вред, хотя существенной разницы в случае серьёзных повреждений не наблюдалось. База данных систематических обзоров Кокрейнского сотрудничества впервые опубликовала систематический обзор на данную тему в 2003 году (van de Beek et al., 2003). В нём говорилось о существенной пользе дексаметазона при лечении детей и о том, что неблагоприятный эффект не увеличился, в то время, как о взрослых пациентах было предоставлено недостаточно данных. Так как Кокрейновский обзор отправляли в (электронные онлайн) издания, в конце работы авторы добавили список дополнений, потому что было опубликовано новое исследование, в котором утверждалось, что дексаметазон в два раза снижал смертность среди взрослых, и, следовательно, его нужно принимать всем взрослым (van de Beek et al., 2003). Кокрейновский обзор обновили в 2007 году (van de Beek et al., 2007). В то время несколько новых исследований не показали никакой пользы от стероидов. Авторы обзора заметили, что отличительной особенностью этих исследований было то, что они проводились среди детей из стран c низким уровнем дохода. Поэтому авторы обзора пришли к заключению, что применение стероидов эффективно в лечении детей из стран с высоким, а не низким уровнем дохода. Никого больше не волновал вред стероидов. В мета-анализе данных о взрослых пациентах, опубликованном в 2009 году, особо подчёркивалось, что стероиды нужно давать всем пациентам (Vardakas et al., 2009). Казалось бы, конец истории. Но затем в 2010 году (van de Beek et al., 2010) был опубликован детальный мета-анализ данных индивидуального уровня, в котором говорилось о том, что нет никаких подтверждений существенной пользы от стероидов в лечении менингита, независимо от того, какая группа была исследована. Добавление опубликованных групповых данных, которое не было доступно на индивидуальном уровне, не повлияло на данное заключение (van de Beek et al., 2010).
Блок I. Дословные выдержки из шести мета-анализов об использовании кортикостероидов в лечении острого менингита.
Lancet 1994.
- Общее число случаев кровотечения при отсутствии коагулопатии составило 4 из 803 (0,5%). Среди пациентов, принимающих плацебо (n=397), таких случаев не наблюдалось, в сравнении с 4 случаями среди принимавших стероиды (n=406) пациентов. Разность рисков составила 0,71% c 95% доверительным интервалом от −0,65 до 2,08% (метод Дерсимоняна-Лейрда (DerSimonian and Laird model), 2p=0,31) и вероятностью 3,96 с 95% доверительным интервалом 0,85-18,48 (метод Мантеля-Хенцеля (Mantel-Haenszel model), 2p=0,08).
- В целом, клинически значимые случаи желудочно-кишечных кровотечений редки среди детей с бактериальным менингитом. Избыточная частота возникновения, связанная со стероидами, вероятно, ниже 1%. Однако, данный эффект может быть серьёзным… Небольшое увеличение… могло быть клинически значимым и, возможно, его стоило сравнить с благоприятным неврологическим действием.
JAMA 1997.
- При лечении менингита, вызванного гемофильной палочкой типа b, дексаметазон в целом уменьшает значительно выраженное снижение слуха (комбинированное отношение шансов (ОШ), 0,31; 95% доверительный интервал, 0,14-0,69).
- Что касается пневмококкового менингита, то только исследования, в которых дексаметазон принимали на ранних стадиях, продемонстрировали существенную защиту от значительно выраженного снижения слуха (комбинированное ОШ, 0,09; 95% доверительный интервал, 0,0-0,71).
- Дексаметазон не привёл к существенному увеличению негативных побочных эффектов, за исключением повторной лихорадки.
- Доля пациентов с желудочно-кишечным кровотечением увеличилась при длительном лечении дексаметазоном (0,5% в контрольной группе, 0,8% при лечении в течение 2 дней и 3,0% при лечении в течение 4 дней).
- ВЫВОДЫ: Доступные данные о вспомогательном лечении дексаметазоном подтверждают его пользу в лечении менингита, вызванного гемофильной палочкой типа b, и, если его принимают совместно с парентеральными антибиотиками или перед их приёмом, помогает в лечении пневококкового менингита у детей. Оптимальным может быть ограничение приёма дексаметазона до 2 дней.
Cochrane 2003.
- При использовании кортикостероидов число нежелательных явлений не увеличилось в значительной мере.
- ВЫВОДЫ ЭКСПЕРТА. Вспомогательное лечение кортикостероидами эффективно при остром бактериальном менингите у детей. Ограниченные данные о лечении взрослых демонстрируют пользу от вспомогательного лечения кортикостероидами, но для окончательных выводов необходимо проведение дополнительных исследований.
- ДОПОЛНЕНИЯ. В процессе проверки данного систематического обзора были опубликованы результаты Европейского исследования дексаметазона при лечении бактериального менингита у взрослых. Из него следует, что в ходе рандомизированного двойного слепого многоцентрового исследования, в котором участвовал 301 взрослый, страдающий бактериальным менингитом, было выявлено снижение смертности, связанное с дексаметазоном (относительный риск смерти, 0,48; 95% доверительный интервал от 0,24 до 0,96; p=0,04). Следовательно, всем взрослым, страдающим бактериальным менингитом, следует принимать дексаметазон перед первой дозой антибиотиков или вместе с ней.
Cochrane 2007.
- ЗАКЛЮЧЕНИЕ АВТОРА. В целом, кортикостероиды существенно снизили уровень смертности, значительно выраженное снижение слуха и неврологические осложнения. Взрослым с внебольничным бактериальным менингитом кортикостероиды нужно давать в сочетании с первой дозой антибиотиков. Данные также подтверждают эффективность использования кортикостероидов при лечении детей в странах с высоким уровнем доходов населения. Мы не обнаружили положительного эффекта при лечении кортикостероидами детей из стран с низким уровнем доходов населения.
European Journal of Neurology 2009.
- Доступные на данный момент сведения говорят о том, что все взрослые, страдающие бактериальным менингитом, должны принимать дексаметазон.
Lancet 2010.
- Дексаметазон не был связан с существенным снижением смертности (270 из 1019 [26,5%] принимавших дексаметазон по сравнению с 275 из 1010 [27,2%] принимавших плацебо; ОШ 0,97, 95% доверительный интервал 0,79-1,19), смертности или серьёзных неврологических последствий или двусторонней глухоты (42,3 по сравнению с 44,3%; 0,92, 0,76-1,11), смертности или любых неврологических последствий или любой степени потери слуха (54,2 в сравнении с 57,4%; 0,89, 0,74-1,07), или смерти или двустороннего значительно выраженного снижения слуха (36,4 по сравнению с 38,9%; 0,89, 0,73-1,69).
- Дексаметазон никак не повлиял ни на одну из ранее указанных подгрупп (включая особые болезнетворные микроорганизмы), предшествующее лечению дексаметазоном лечение антибиотиками, ВИЧ-статус или возраст.
- Объединение данных по смертности с данными всех других опубликованных исследований не оказало существенного влияния на результаты.
- ИНТЕРПРЕТАЦИЯ. Дополнительное использование дексаметазона при лечении острого бактериального менингита не оказывает существенного влияния на снижение смертности или неврологических последствий. Существенного эффекта не наблюдалось ни в одной из указанных подгрупп. Таким образом, польза от применения дексаметазона в качестве дополнительного лечения для всех или некоторых из подгрупп остаётся недоказанной.
Подведём итог развития событий:
1994: вопрос о пользе не стоит, но следует остерегаться негативных последствий;
1997: однозначная польза при борьбе с определёнными видами бактерий, ограничить применение до 2 дней во избежание негативных последствий;
2003: однозначная польза лишь для детей; негативные последствия не увеличились;
2003, поправка: наблюдается польза и для взрослых;
2007: польза только в странах с высоким уровнем доходов населения;
2009: явная польза, принимать всем, точка;
2010: вообще никакой пользы.
Итак, к чему мы пришли после полувека рандомизированных исследований стероидов в лечении острого менингита? Скорее всего, к тому, что стероиды не оказывают существенного влияния - положительного или отрицательного - на исход событий при лечении острого менингита. Пожалуй, это хорошее предположение почти для каждого случая медицинского вмешательства, которое можно сделать ещё до того, как были получены какие-либо данные. Однако, согласно последним полученным результатам и доверительным интервалам недавнего мета-анализа (van de Beek et al., 2010), следующие альтернативные сценарии пока исключать нельзя.
1. Стероиды умеренно полезны.
2. Стероиды умеренно вредны.
3. Стероиды и умеренно полезны, и умеренно вредны.
Само собой разумеется, результаты и выводы мета-анализов по данной теме использовались во множестве исследований. Другие авторы тоже пытались понять причины, по которым результаты мета-анализов противоречивы, и их рассуждения также отчасти противоречивы (Jadad et al., 1997; Katerndahl and Lawler, 1999; Linde and Willich, 2003), но некоторые сходства всё же есть. Я отметил некоторые причины в Таблице 1 и включил своё видение проблемы. Довольно опрометчиво делать выводы о том, какие же причины смогут объяснить противоречие по вопросу использования стероидов, в частности. Я подозреваю, что как и в большинстве случаев, это многофакторный процесс, в котором взаимодействует множество причин. Однако больше всего меня тревожит то, что и по сегодняшний день мета-анализ остаётся ретроспективным занятием. Почти все выводы из Таблицы 1 могут быть сделаны постфактум после просмотра данных или фрагментов первоначальных исследований. Разные данные, разные анализы и разные интерпретации дают возможность прийти к любому желаемому заключению.
Таблица 1. Некоторые причины противоречий в мета-анализах на одну и ту же тему.
- Разная постановка вопроса исследования
- Разные источники данных
- Разные стратегии поиска
- Разный хронометраж (изменение/накопление данных)
- Разные критерии включения/невключения данных для дизайна исследования
- Разные критерии включения/невключения подходящих популяций
- Разные критерии включения/невключения для параметров, дополнительных вмешательств и других особенностей
- Ошибки в первичных данных
- Ошибки в извлечении данных
- Различия в устранении неопределённости и разрешении конфликтов при выборе исследования и очистке данных
- Различия в извлечении неопубликованных данных
- Различия в определении результатов
- Разные критерии для проведения количественного синтеза
- Разные модели статистического анализа
- Разница в использовании анализа подгрупп, мета-регрессий и других видов исследовательского анализа
- Выборочное представление результатов мета-анализа
- Разное использование и интерпретация неоднородности показателей
- Разница в использовании критериев для определения смещения и интерпретации результатов их применения
- Неуместный акцент на возможных противоречиях, которые не обязательно являются таковыми (не исключено)
Прежде чем перейти к рассмотрению следующего случая, я хотел бы представить вам информацию о том, какие из статей о стероидах и менингите стали наиболее авторитетными. В целом, в последнее десятилетие именно на мета-анализ чаще всего ссылаются в медицинской литературе (Patsopoulos et al., 2005). Это может быть как благом, так и проклятием. Однако это не проблема для литературы о стероидах и менингите. Согласно ISI Web of Science, четырьмя наиболее цитируемыми работами остаются два ранних исследования, в которых был выявлен огромный лечебный эффект, что явно несопоставимо с медицинской реальностью (словом, с любой реальностью), ещё одно исследование, которое обнаружило невероятный лечебный эффект среди взрослых, и несистематический обзор, одобряющий использование стероидов, - все 4 были опубликованы в New England Journal of Medicine. Возможно, мета-анализ и не привёл к каким-то общим выводам, однако обнадёживает тот факт, что 4 другие самые цитируемые работы также были ошибочными.
Случай второй: в поисках генов болезни Паркинсона......
Статья большая для полной публикации в жж, читать тут - http://brights-russia.org/article/meta-analysis-the-art-of-getting-it-wrong.html
но кое что еще вынесу.
Таблица 3. Организации, которые могут быть заинтересованы в мета-анализе не только как в способе поиска истины.
- Промышленность и различные корпоративные бизнес-организации
- Профессиональные ассоциации
- Практикующие врачи
- Учёные
- Сами мета-аналитики
- Всё, что связано с финансированием, даже государственное финансирование на конкурсной основе
- Всё, что связано с повышением, получением должности и признанием среди коллег
- Всё, что связано с догмами, верованиями и спекуляциями
- Всё вышеуказанное
(страховые компании конечно входят в пункт "все что связанно с финансированием", однако я бы их вынес отдельно dok-zlo)
По наводке А. Водовозова.
Джон П.А. Иоаннидис (John P. A. Ioannidis). Meta-research: The art of getting it wrong. Res. Syn. Meth. 2010, 1 169-184.