Как распознать псевдонаучную статью
С ростом количества малоэффективных и хищнических журналов, находящихся в открытом доступе, информированному читателю стало значительно труднее ориентироваться в журнальных джунглях.
Существуют даже издания, основанные обществами, которые продвигают лженауку: у младоземельных креационистов есть журнал «Поиск ответов», у сторонников теории разумного замысла имеется журнал «БИО-сложность», у гомеопатов — «Гомеопатический журнал», у сторонников акупунктуры — «Журнал китайской медицины и терапии» и т.д. Еще тревожнее то, что качественные журналы (такие как «Журнал американской медицинской ассоциации») иногда публикуют то, что на поверку оказывается рекламой шарлатанских снадобий. По этой причине сейчас важнее уметь отделять зёрна от плевел и скептически смотреть на публикуемые научные статьи.
Этот пост изобличает многие обычные уловки, используемые сторонниками псевдонауки, чтобы сделать свои статьи правдоподобнее, чем они есть на самом деле.
Аннотация
В настоящих научно-исследовательских статьях аннотация содержит обзор каждого основного раздела статьи. Это позволяет научным работникам быстро понять основные методы и заключения без чтения полной версии текста. В идеальном случае аннотация точно отражает содержание научной публикации.
Однако поборники псевдонауки могут искажать аннотацию разными способами. В ней они могут обманчиво делать утверждения, не представленные в публикации, использовать неподтвержденные данные, могут выбрать самый впечатляющий вывод, игнорируя или преуменьшая остальные. Поскольку аннотацию читают чаще, чем весь текст, это создает неправильную интерпретацию всей статьи. А ведь нужно учитывать тот факт, что большинство неспециалистов не имеют доступа к полному тексту публикации. Таким образом способность критически оценить содержание публикации невелика. Это обстоятельство способствует тому, что всякие «маньяки» от псевдонауки создают и постят длинные списки аннотаций и ссылок по всему интернету. Они знают, что мало людей смогут найти и получить доступ к научным статьям, не говоря уже о том, чтобы тратить часы, доказывая их несостоятельность.
Обращайте внимание на:
1. Утверждения, не обнаруженные в статье;
2. Заявления, не подтверждаемые результатами;
3. Подтасованные и/или искаженные результаты.
Введение
Хорошее введение делает последовательный, обдуманный и полный анализ первоисточников. Оно стремится обеспечить качественный обзор проведённого исследования. Обычно введение идёт от широкой перспективы до концентрированной направленности на конкретную тему исследования, которая интересует авторов. Оно освещает области, в которых наши знания имеют пробелы, а также объясняет, как настоящее исследование способствует устранению этих пробелов (фактически цель исследования).
С другой стороны, статья, написанная сторонниками псевдонауки, содержит введение, в котором справочная информация, как правило, подтасована. Это делается для того, чтобы представить свою область исследования более солидной, повысить важность собственных исследований и затруднить получение читателями критической информации. Обратите внимание на любую произвольно выбранную публикацию по гомеопатии или о лечении гипнозом. Более того лживые статьи исказят проведённое ранее исследование, которое идёт вразрез с их утверждениями. Псевдонаучные статьи обычно имеют очень запутанную или неясную задачу. Что конкретно является целью их исследования? Если их замысел — продвинуть какое-нибудь шарлатанское лечение, и замаскировать его под науку, то цель обычно запутана и сложна для восприятия (так как, по существу, они выдумывают её на ходу).
Обращайте внимание на:
1. Избирательное освещение истории вопроса;
2. Искажение результатов прошлых исследований;
3. Неясная и/или туманная цель.
Метод
Методический раздел описывает объекты исследования (клетки, модельные организмы, народонаселение и т.д.), различные тесты и проведённые исследования или методы, особенности используемых средств и систем контроля, и статистический анализ результатов.
С точки зрения принципов методического раздела псевдонаучные статьи характеризуются множеством методологических недостатков. В этих статьях часто встречаются нехарактерные примеры, необоснованная рандомизация (случайный отбор) и некорректные штаммы модельных организмов. Классический пример: отозванная научная публикация французского молекулярного биолога Ж. Э. Сералини против ГМО. В ней исследователи использовали линию крыс, который самопроизвольно развивает опухоли, чтобы проверить, вызывается ли этот патологический процесс у крыс генномодифицированными продуктами. Ещё один серьёзный вопрос — это нехватка средств и систем контроля. Иллюстративный тому пример из обычного учебника — это иглоукалывание без применения имитирующей акупунктуры (которая использует выдвижные иглы). Наконец, существует проблема недостоверной или неправильной статистической обработки данных. Это могут быть неверные критерии статистической значимости данных, ложно утверждающие, что статистическая значимость прямо подразумевает, что различия достаточно велики, чтобы быть практически значимыми или клинически полезными.
Обращайте внимание на:
1. Явные методологические изъяны;
2. Неподходящие испытуемые группы;
3. Недостаточность соответствующих средств и систем контроля;
4. Недостоверный статистический анализ.
Результаты
Раздел «Результаты» содержит таблицы, диаграммы и графики, представляющие основные результаты, достигнутые в исследовании. Сюда входят величины эффектов, планки погрешностей и любые результаты статистических тестов. Также описываются и обобщаются выводы, приводимые в таблицах и графиках, так что вы можете уловить суть результатов, просматривая графики и текстовые диаграммы или читая раздел «Результаты» основного текста.
Очень легко создать обманчивое впечатление больших различий между группами, искусственно модифицируя ось у, поэтому очень важно проверить, где начинается ось у и каково расстояние между интервалами на ней.
Ещё одна распространённая проблема заключается в том, что планки погрешностей либо отсутствуют, либо не определены (стандартное отклонение, стандартная погрешность или доверительные интервалы?). Это означает, что расхождения не поддаются интерпретации, потому что вам неизвестны пределы изменчивости внутри группы. Размер выборки часто оставляют неуказанным или искажённым. Данное различие почти ничего не значит, если размер выборки мал (т. е. результаты можно легко объяснить случайностью), но может быть существенным, если размер выборки больше.
Ещё один ключевой вопрос касается показательных экспериментов. В некоторых случаях эксперименты не могут быть объединены, поэтому исследователям приходится выбирать один, чтобы продемонстрировать, насколько показательна вся совокупность экспериментов. Он может быть подтасован или истолкован неправильно. Также может быть первым из проведённых опытов, что означает, что они все должны быть интерпретированы весьма осторожно. После прочтения главы «Результаты» следует вернуться назад и снова свериться с целью, чтобы проверить, сделали ли исследователи то, что, по их заявлению, они собирались делать. Если есть расхождения между целью и результатом, спросите себя, почему.
Обращайте внимание на:
1. Некорректные оси графиков;
2. Отсутствующие или неопределённые планки погрешностей;
3. Не указанный или искажённый размер выборки;
4. Расхождение между целью и результатами.
Обсуждение результатов
В разделе «Обсуждение», как следует из названия, обсуждаются результаты исследования и помещаются в более широкий контекст уже существующих исследований. Высококлассные работы тщательно заботятся о том, чтобы выводы были пропорциональны результатам, избегают искажения смысла и обеспечивают честное обсуждение недостатков монографии.
Сторонники лженауки часто завышают практическую значимость полученных результатов, преуменьшая при этом недостатки. Существует по меньшей мере три распространённых способа преувеличить результаты исследования: смешение статистической и практической значимости, выведение причинно-следственной связи из корреляции и игнорирование недостатков исследования.
Статистическая значимость – это вероятность получения как минимум таких же полных результатов с учётом истинности основной гипотезы. Практическая значимость, с другой стороны, — это получение результатов достаточно значимых для того, чтобы быть актуальными в научном (биологическом, психологическом, клиническом, физическом и др.) контексте. Очевидно, что результаты могут достигать статистической значимости, но быть слишком малы, чтобы иметь клиническое значение.
Другим примером, часто встречающимся в псевдонаучных работах, является путаница между корреляцией и причинно-следственной связью. Только то, что два фактора изменяются похожим образом, ещё не означает, что один из них стал причиной другого. Это может быть с точностью до наоборот (обратная причинно-следственная связь), оба фактора могут вызывать друг друга (двунаправленная причинно-следственная связь) или что-то ещё вполне может быть причиной их обоих (третий вариант ситуации).
Наконец, сторонники лженауки редко пишут статьи, в которые включают надлежащее и достаточное рассмотрение недостатков своих исследований. Это может делаться для того, чтобы ввести читателей в заблуждение, но может также являться следствием незнания фундаментальной науки и подходящей методологии исследования. Например, отказ включить в исследование соответствующую группу плацебо может быть симптомом неосведомленности в том, что воображаемое преимущество альтернативной медицины по большей части — результат плацебо.
Обращайте внимание на:
1. Преувеличение результатов исследований;
2. Недооценку отрицательных выводов или искажение результатов;
3. Недостаточное изложение недостатков статьи.
Переведено специально для журнала «Скептик».
Перевод: Illarion Bartel
Редактор: Илона Попова
Верстка: Yelaman Mustafin
Читайте нас здесь: VK | Facebook | Telegram | Twitter
Поддержите нас на Patreon или с помощью DonationAlerts