Опять об невоспроизводимость
Слухи о том, что результаты био-медицинских исследований плохо воспроизводятся, докатились и до главы NIH Френсиса Коллинза. Вот тут он пишет о том, как они эту проблему будут решать.
Конкретных идей пока всего две:
1. Будем учить студентов и постдоков правильно ставить эксперименты и правильно их анализировать. Выложим обучающие материалы в интернет.
2. Сделаем список важных вещей, о которых должны будут помнить рецензенты грантов: контрольная группа, рандомизация, статистический анализ, и т.д.
И еще несколько не очень конкретных:
3. Создадим систему цитирования данных (как альтернативу цитирования статей).
4. Сделаем (уже сделали) форум для обсуждения уже опубликованных статей.
5. В CV будем просить не просто указывать опубликованные статьи, а писать пояснения о том, какой вклад сделал человек в каждую статью.
6. Попробуем сделать так, чтобы рецензенты не знали кто написал рецензируемый грант.
7. Попробуем сделать финансирование проектов более стабильным и долгосрочным.
Еще есть идеи о том, что другие должны делать для того, чтобы исправить ситуацию:
8. Журналы должны публиковать исследования с отрицательными результатами, не ограничивать размер секции с Материалами и Методами, опять же создать "список важных вещей", помогать авторам выкладывать сырые данные.
9. Университеты при решении о теньюр должны меньше внимания уделять импакт-фактору журналов, в которых были опубликованы статьи.
Хорошие новости тут в том, что в целом идеи неплохие и даже полезные. "Плохие" новости в том, что на невоспроизводимости результатов они скорее всего никак не скажутся. Кавычки я тут поставил потому, что не считаю невоспроизводимость такой уж серьезной проблемой, и поэтому не вижу ничего страшного в том, что эти меры не сработают. Мы уже много раз это обсуждали, так что повторюсь вкратце: На 25% эта проблема высосана из пальца и раздута. На 25% это неизбежный побочный эффект огромных размеров этой области исследований. И на 50% - это нормальная ситуация если люди действительно изучают что-то новое и неизвестное.
Конкретных идей пока всего две:
1. Будем учить студентов и постдоков правильно ставить эксперименты и правильно их анализировать. Выложим обучающие материалы в интернет.
2. Сделаем список важных вещей, о которых должны будут помнить рецензенты грантов: контрольная группа, рандомизация, статистический анализ, и т.д.
И еще несколько не очень конкретных:
3. Создадим систему цитирования данных (как альтернативу цитирования статей).
4. Сделаем (уже сделали) форум для обсуждения уже опубликованных статей.
5. В CV будем просить не просто указывать опубликованные статьи, а писать пояснения о том, какой вклад сделал человек в каждую статью.
6. Попробуем сделать так, чтобы рецензенты не знали кто написал рецензируемый грант.
7. Попробуем сделать финансирование проектов более стабильным и долгосрочным.
Еще есть идеи о том, что другие должны делать для того, чтобы исправить ситуацию:
8. Журналы должны публиковать исследования с отрицательными результатами, не ограничивать размер секции с Материалами и Методами, опять же создать "список важных вещей", помогать авторам выкладывать сырые данные.
9. Университеты при решении о теньюр должны меньше внимания уделять импакт-фактору журналов, в которых были опубликованы статьи.
Хорошие новости тут в том, что в целом идеи неплохие и даже полезные. "Плохие" новости в том, что на невоспроизводимости результатов они скорее всего никак не скажутся. Кавычки я тут поставил потому, что не считаю невоспроизводимость такой уж серьезной проблемой, и поэтому не вижу ничего страшного в том, что эти меры не сработают. Мы уже много раз это обсуждали, так что повторюсь вкратце: На 25% эта проблема высосана из пальца и раздута. На 25% это неизбежный побочный эффект огромных размеров этой области исследований. И на 50% - это нормальная ситуация если люди действительно изучают что-то новое и неизвестное.