Не везет в последнее время крысам - то их заставляют спариваться над трупами сотоварищей [1], то кормят кукурузой, которую в норме они не любят. Недавно в прессе появились сообщения примерно такого содержания: “Раковые опухоли у крыс доказали опасность ГМО". Информационным поводом стала статья, опубликованная в рецензируемом научном журнале Food and Chemical Toxicology [2]. Ниже мы покажем, что подобные газетные заголовки следуют из опубликованных экспериментов ученых из Франции и Италии ровно в той же мере, что и (намеренно провокационный) заголовок нашей статьи.
Посмотрим, как делалась экспериментальная работа, и подумаем, какой комментарий мог бы написать внимательный рецензент, немного знающий статистику.
1. Взяли 200 крыс: 100 самцов, 100 самок. Каждую сотню случайным образом разбили на 10 групп.
2. Шесть групп каждого пола получали в свой рацион по 11, 22, 33% генетически модифицированной (ГМ) кукурузы (устойчивой к гербициду R), которая выращивалась в присутствии или в отсутствии гербицида R. Одна группа получала обычную диету с обычной (не ГМО) кукурузой и обычную воду. Еще три группы получали обычную диету с простой (не ГМО) кукурузой и воду с разной концентрацией гербицида R.
3. За животными наблюдали два года. Животных, которые потеряли 25% массы тела, имели большие опухоли (более 25% массы тела) или кровоизлияния, а также впавших в состояние прострации усыпляли до истечения этого срока.
4. При вскрытии крыс изучались следующие органы: мозг, кишечник, сердце, почки, печень, легкие, яичники, селезенка, яички, надпочечники, придатка яичка, предстательная железа, вилочковая железа, матка, аорта, мочевой пузырь, кости, двенадцатиперстная кишки, пищевод, глаза, узлы подвздошной кишки, тощая кишка, лимфатические узлы, лимфоретикулярная система, молочные железы, поджелудочная железа, паращитовидная железа, патчи Пейера, гипофиз, слюнные железы, седалищный нерв, кожа, спинной мозг, желудок, щитовидная железа и трахеи.
Авторы отмечают, что в контрольной группе (которая получала обычную диету и обычную воду) средняя продолжительность жизни самцов составила 624±21 дней, а самок 701±20 дней, плюс 5 недель (возраст животных на начало эксперимента), плюс 3 недели (стабилизационный период).
Авторы считают, что все крысы, которые умерли после этого “среднего” возраста умерли от естественных причин (от старости), а вот смертельные случаи, которые произошли раньше, преждевременны и, по всей видимости, наступили от патологий. Здесь есть свои нюансы, но давайте считать, что до сих пор все сделано и сказано правильно.
До указанного “среднего” возраста погибло 30% самцов и 20% самок из контрольной группы. Но, пишут авторы, в некоторых группах крыс, которые ели ГМО, смертность достигала 50% для самцов и 70% для самок.
Простите, но ведь ГМО-диету получали шесть групп крыс каждого пола! Естественно высока вероятность, что среди этих шести групп найдется хотя бы одна такая группа, что в ней будет "на глаз" заметно выше смертность, чем в контроле, если разницу выражать в процентах. Возьмем случай с самками, где разница между контролем и одной из групп, поедавших ГМО наибольшая. В контрольной группе, мы имеем: 2 крысы умерли, 8 крыс выжили.
Для рассматриваемой группы с ГМО: 7 крыс умерли, 3 выжили. Двунаправленный точный тест Фишера говорит, что вероятность таких или больших отличий в количестве смертей между двумя группами равна 0.0698. Эта вероятность не позволяет преодолеть даже самый мягкий порог статистической значимости, принятый в научном мире (0.05). Для одностороннего теста Фишера (если важно, чтобы именно в группе с ГМО диетой была выше смертность) статистическая значимость равна 0.0349, что несколько лучше. Но групп крыс, которые ели ГМО, было шесть (на самом деле даже 12 ведь есть самцы и самки). Конструкция фразы, предложенная авторами, требует того, чтобы хотя бы в одной из шести групп была выше смертность. Поэтому нас интересует другая вероятность: вероятность того, что хотя бы в одной группе крыс, поедающих ГМО, разница в смертности по сравнению с контролем была такой же, или еще больше, чем наблюдалось в эксперименте, при предположении, что диета с ГМО никак не влияет на смертность. Эта вероятность, превышает 19%, то есть достаточно велика. Гипотезу о том, что смертность между группами не отличается, отвергнуть на основании упомянутых данных нельзя.
Сравним два верных утверждения:
• В некоторых группах крыс, которые ели ГМО, смертность достигала 50% для самцов и 70% для самок.
• Ни в одной группе крыс, которые ели ГМО, не было статистически значимых отличий в смертности по сравнению с контролем.
То, что влияние ГМО-диеты на смертность неотличимо в поставленном эксперименте от случайных вариаций, подтверждается и тем, что в исследовании отсутствует зависимость смертности крыс от доли ГМО кукурузы в их диете. Для самцов наибольшая смертность была в группе, которая ела корм с 11% ГМО, для самок с 22% ГМО. Кроме того к перечисленным утверждениям можно добавить третье.
• В некоторых группах крыс, которые ели ГМО, смертность достигала 10% для самцов, то есть была в три раза ниже, чем в контроле.
Интересно, почему авторы не включили эту фразу в статью? Группами с 10% смертностью были группы крыс самцов, которые получали 22% и 33% ГМО кукурузы в корме, а также группа самцов, которые не получали ГМО, но получали максимальную концентрацию гербицида R в воде. Все фразы 1, 2 и 3 верны, но с научной точки зрения фраза 1, как и фраза 3 бессмысленны т.к. не говорят о наличии или отсутствии подтвержденной закономерности. Если я честно кину монетку 4 раза, и 3 раза выпадет орел, фраза “орел выпадал в 3 раза чаще” лишь собьет читателя с толку, создавая иллюзию неравнозначности сторон монетки.
Но авторы продолжают порождать великолепный по бессмысленности текст. Например, по их мнению, интересно отметить, что первые два самца, умершие в группах, которые ели ГМО, были диагностированы некоторым типом опухоли почек, с массой большей 25% массы тела. Чтобы оценить это наблюдение, надо знать, что этот тип опухолей свойственен молодым животным и редко встречается у взрослых. А также, что по имеющимся оценкам, 2.2% крыс изучаемой линии болеют этим заболеванием [3].
Учитывая эти обстоятельства, а также то, что всего было 60 крыс, которые ели ГМО и 10 крыс в контрольной группе, нет ничего удивительного в полученных результатах. Вероятность того, что по случайным причинам хотя бы у 2 крыс из 60 возникнет опухоль, вероятность возникновения которой у одиночной крысы составляет 2.2%, равна 38%. Вероятность того, что такая опухоль возникнет хотя бы у одной крысы из контроля примерно в два раза меньше. Вероятность того, что такая опухоль наступит хотя бы у двух крыс из 60, которые ели ГМО, но не наступит ни у одной крысы из контроля, примерно равна 30%. Случилось какое-то чудо? Нет, случилось весьма вероятное событие. А то, что крысы с таким опухолями первыми откидывают лапки, разумеется, связано с тем, что эта опухоль появляется в раннем возрасте. И даже если опухоль будет не смертельна, крысу усыпят, как только ее масса превысит 25% массы тела.
Сравните два верных утверждения:
• Интересно отметить, что первые два самца, умершие в группах, поедавших ГМО, были диагностированы опухолью почек, с массой большей 25% массы тела.
• Количество опухолей почек в группе крыс, которые ели ГМО, не превосходит ожидаемого количества опухолей данного типа для данной линии крыс.
Далее авторы зачем-то пишут, что максимальная разница в смертности между группой крыс, поедавших ГМО, и контролем была такой:
а.) В пять раз больше смертей по сравнению с контролем в течение 17 месяца для группы самцов, которая имела 11% ГМО в диете.
б.) В шесть раз больше смертей по сравнению с контролем в течение 21 месяца для группы самок, которая имела 22% ГМО в диете.
Во-первых, это не правда! Найдутся такие месяца, во время которых ни одна контрольная крысы не умерла, зато умерла хотя бы одна крыса из группы ГМО, а значит, смертность в этом месяце между группами различалась еще больше. Ну, например, в том месяце, в котором погибла одна из крыс с опухолью почек.
Во-вторых, к чему эти цифры? В двух годах 24 месяца. Разумеется, найдутся такие месяцы, где разница между группами будет высокой и такие где ее не будет вовсе.
Сравните два верных утверждения:
• В шесть раз больше смертей в течение 21 месяца для группы самок, которая имела 22% ГМО в диете.
• В некоторые месяца смертность в группе крыс, которые ели ГМО, была выше, чем в контроле, а в другие ниже. Но все эти отличия статистически не значимы.
Далее авторы приводят утверждение, что среди самок, поедавших ГМО, было в 2-3 раза больше смертей, чем в контрольной группе. Какова статистическая значимость этого утверждения? Авторы ее не указывают. Как видно из гистограмм, изображенных на Рисунке 1, среди самок из контрольной группы преждевременно погибло две. В группах, которые ели ГМО, преждевременно погибло 29 из 60 крыс. Если смерть считать “успехом” (да-да, статистика - бездушная наука), то мы имеем таблицу 2×2 для точного теста Фишера: в контрольной группе 2 успеха и 8 не успехов, в группе ГМО 29 успехов и 31 не успехов.
Статистическая значимость различий между группами согласно одностороннему тесту Фишера равна 0.09. Если учесть, что подобный результат мог быть получен как для самок, так и для самцов, то вероятность случайно получить такую или еще большую разницу между группами хотя бы одного пола равна 17%. Аналогично, если рассмотреть всех крыс, которые погибли до конца эксперимента (а не только случаи “преждевременной” смерти), вероятность случайно получить такое или большее различие между группами крыс хотя бы одного пола превышает 5%. Статистически значимой разницы между смертностью в группах нет.
Сравните два верных утверждения:
• Среди самок, которые ели ГМО, было в 2-3 раза больше смертей, чем в контрольной группе.
• Статистически значимых различий между смертностью в группе самок, которые ели ГМО, и группе самок, которые не ели ГМО, не обнаружено. Для самцов, кстати, тоже.
Ну и конечно не обошлось без одной из самых распространенных статистических ошибок - отсутствия поправки на множественные сравнения в ее самом прямом виде. В начале статьи Сералини и др. приводился длинный список органов, которые изучались во время вскрытия крыс. Разумеется, в большом наборе по случайным причинам найдутся такие органы, в которых будет больше опухолей в одной группе, чем в другой. Достаточно выбрать те органы, для которых обнаружатся закономерности, направленные в желаемую сторону. Именно это и было сделано. В таблице результатов авторы приводят только шесть комбинаций органа и пола крысы (из десятков возможных). Подозреваю, что те органы, в которых у крыс, которые ели ГМО, было меньше патологий (не потому, что ГМО предотвращают патологии, а потому, что так велит статистика в силу большого количества сравнений) были выкинуты из рассмотрения, так как “это абсурд!” Хотелось бы взглянуть на данные по всем органам, но авторы их предусмотрительно замели под ковер. Но вот самое большое различие между ГМО и контрольными группами самцов крыс было в количестве крыс с патологиями печени. В контроле две крысы имели патологии печени, а в группах, которые ели ГМО, 30 крыс оказались с патологиями печени (из 60). Численно это ровно та же ситуация, что была со смертностью у самок и это отличие статистически не значимо даже без каких-либо поправок на множественные сравнения. Если бы ГМО в диете не влияло на частоту возникновения патологий печени у самцов крыс, мы бы получили такое же или еще большее различие между группами с 7.6% вероятностью. Если же учесть, что смотрели на десятки органов, причем крыс разного пола рассматривали отдельно, то вероятность того, что найдется орган, в котором хотя бы у представителей одного пола будет такое же или большее различие в частоте патологий близка к единице.
Сравните два верных утверждения:
• Крысы-самцы, которые ели ГМО, в два раза чаще имели патологии печени.
• Статистически достоверных различий в количестве патологий печени или каких-либо других органов между крысами, которые ели или не ели ГМО, не обнаружено.
В конце статьи приводятся страшные картинки крыс, которые ели ГМО. Эти картинки производят впечатление на тех, кто никогда в жизни не видел других крыс, которые выглядят точно также (или даже хуже), но никогда ГМО не ели. Давнее исследование на крысах линии Sprague-Dawley, опубликованное в журнале Cancer research, показало, что в течении 18 месяцев опухоли образуются примерно у 45% крыс [4]. Если бы более частое возникновение опухолей у крыс, которые ели ГМО, подтверждалось статистическим анализом, был бы предмет для опасений. Но этого нет. Создается впечатление, что авторы ставили целью не разобраться в том, как ГМО действует на крыс, а создать качественный ужастик и в этом они преуспели. Разумеется, из 180 крыс с “ненормальной” диетой (содержащей ГМО или гербицид) найдется в 9 раз больше примеров для ужастиков, чем среди 20 крыс в контроле, даже если страшные опухоли, подобные тем, что показаны на картинках, происходят во всех группах с одинаковой частотой, не зависят от наличия в еде ГМО или гербицида R в воде. А если в течении двух лет наблюдать за 180 крысами, примеры страшных опухолей Вы, конечно, найдете.
Недавно в газетах было объявлено: «Роспотребнадзор приостановил ввоз генномодифицированной кукурузы в Россию. Запретом на импорт ГМО-початков Геннадий Онищенко ответил на заявление французских ученых, что ГМО-кукуруза вызывает рак. Теперь российским генетикам предстоит выяснить, насколько обоснованными были выводы французских коллег».
Сравните два верных утверждения:
• Запретом на импорт ГМ-початков Геннадий Онищенко ответил на заявление французских ученых, что ГМ-кукуруза вызывает рак.
• Некоторые российские чиновники порой верят в полную ерунду.
Также не ясно, почему задачу проверки обсуждаемой работы условно поручили генетикам? Достаточно попросить любого математика проверить изложенные в работе цифры на статистическую достоверность. Ее там нет. Хотя, кажется, что авторы проделали огромный труд, пытаясь ее найти и создавая видимость того, что достоверность достигнута.
Напоследок хочу отметить, что хотя обсуждаемая статья, вопреки заявлениям авторов, не доказывает вред данной ГМ-кукурузы, она и не подтверждает ее безопасность. Главная проблема работы - малый размер контрольной выборки. Из-за этого не удается сделать никаких достоверных выводов о влиянии или невлиянии ГМ-кукурузы на основании данного исследования. Безопасность генетически модифицированных вариантов продуктов питания следует из совершенно других соображений, но это тема для отдельной статьи.
1. А. Тимошенко. Вспомнить всё. Троицкий вариант № 17 (111) (28.08.2012).
2. G. E. Séralini et al. Long term toxicity of a Roundup herbicide and a Rounduptolerant genetically modified maize. Food Chem Toxicol. pii: S0278-6915(12)00563-7 (2012).
3. G.M.Mesfin, K.T.Breech. Heritable nephroblastoma (Wilms' tumor) in the Upjohn Sprague Dawley rat. Lab Anim Sci. 46: 321-326 (1996).
4. J. D. Prejean et al. Spontaneous tumors in Sprague-Dawley rats and Swiss mice. Cancer Res. 33: 2768-2773 (1973).
Статья опубликована в ТрВ-наука
http://trv-science.ru/114N.pdf Опубликована моя статья в Food Chem Toxicology про эту работу Сералини
http://www.sciencedirect.com/science/article/pii/S0278691512007843 Подробней про проблемы множественных сравнений и не только в сборнике научных анекдотов:
http://scinquisitor.livejournal.com/9724.html