Как в BMCHN ищут и анализируют информацию

Как в BMCHN ищут и анализируют информацию

BMCHN

Расскажем про 6 основных этапов работы с информацией и о том, как вам самим улучшить навыки в фактчекинге.

К концу чтения эта схема станет понятной

Оглавление

Почему нужно уметь искать?

Кажется, что достаточно вбить интересующий вопрос в пабмед (поисковик исследований), подобрать нужную научную статью, и всё — после этого можно заявить: “моё мнение научно обосновано”.

Однако ежегодно публикуется около трех миллионов научных статей, то есть примерно одна статья каждые десять секунд. Некоторые из этих исследований продиктованы реальным научным интересом, а некоторые — исключительно коммерческим. Часть исследований спланирована хорошо, а часть — отвратительно плохо (намеренно или по разгильдяйству). И всё это лежит в одной куче под грифом “научные исследования”. В таком потоке информации легко запутаться, а при желании можно найти публикацию, подтверждающую практически любую, даже самую оторванную от реальности точку зрения.

Пример: Лечение косоглазия у кота с помощью классической гомеопатии

Да, широко известно, что гомеопатия — лженаука, которая основана на идеях, не согласующихся с физикой и химией. Однако публикация в примере реально существует. Получается, “учёные доказали”.

Ещё пример: Энергоинформационные технологии гармонии и здоровья

Звучит интересно, пока не начнёшь читать и не обнаружишь, что “действие мата на организм человека равноценно радиоактивному излучению в 40000 рентген в час”. Получается, учёные доказали, что мат разрушает ДНК :)

Чтобы не казалось, что странные исследования бывают только в России, вот ещё один, уже западный пример, опубликованный в одном из самых престижных научных журналов “Nature” в 1988 году: Human basophil degranulation triggered by very dilute antiserum against IgE

В статье исследователи добивались аллергического ответа белых клеток крови на раствор, который был настолько разведён, что в нём не должно было остаться ни одной действующей молекулы.

Эту реакцию выдавали за “научное” доказательство эффекта памяти воды. На всякий случай скажем, что эксперимент пытались воспроизвести, но ничего не вышло, а потому нет никаких доказательств, что у воды существует “память”. На самом деле сама постановка вопроса таким образом противоречит научному методу, т.к. научные гипотезы (в нашем случае — память воды) должны формироваться на основе имеющихся данных (в нашем случае — по физике и химии), а не “из воздуха”.

Также стоит сказать, что иногда учёные намеренно закладывают в исследования абсурдные гипотезы: например, чтобы продемонстрировать слабость некоторых научных инструментов. В качестве примера публикация 2009 года об изучении нейробиологии мёртвого лосося. Исследователи показали, что при использовании принятых стандартных методов анализа данных фМРТ можно обнаружить “мозговую активность” у мёртвого лосося.

Если человек не понимает предпосылок таких исследований, то с помощью пабмеда он может “доказать”, что мозг лосося живёт после смерти :)

Больше подобных примеров можно узнать в статье нашего научреда:
“От абсурда до мошенничества: 3 типа странных исследований”

Всё вышеперечисленное — лишь вершина айсберга, но мы надеемся, что её хватит для того, чтобы донести простую мысль: наличие исследования само по себе не является подтверждением какой-либо точки зрения. Исследований невообразимо много, их предпосылки крайне разнообразны, и чаще всего они не отвечают на бинарные вопросы однозначным “да” или “нет”. А некоторые работы вообще не ставят задачу ответить хоть на какой-либо исследовательский вопрос. Поэтому при таком объёме данных нужно уметь искать. А для поиска нужно базово понять, чем одни научные данные отличаются от других.

Ранжирование данных, иерархия доказательств

Ваш друг утверждает, что 500 мг глицина помогают ему лучше запоминать информацию и чувствовать себя бодрее. Вы спрашиваете, как он это определил, на что он отвечает: “я так чувствую”. Вам интересно, поэтому теперь вы спрашиваете у своего преподавателя по биохимии, может ли глицин помочь вам лучше сдать сессию. Профессор утверждает, что да. Это здорово вас воодушевляет, и вы рассказываете о планах приёма глицина другому своему другу из Канады.

Ему тоже становится интересно, и теперь уже он спрашивает мнения у своего профессора по биохимии, на что тот отвечает, что глицин из пищи не преодолеет барьер между общим кровотоком и мозгом, а потому будет бесполезен. Теперь вы в смятении: у вас полярное мнение от двух профессоров, оба из которых имеют научные степени. Что же стоит сделать?

В этой выдуманной ситуации становится заметно, что для принятия решений мы используем иерархию. Кажется очевидным, что мнение друга, который уже принимает глицин, хоть и полезно, но ценится меньше, чем мнение компетентных экспертов. Поэтому мы автоматически поместили мнение друга ниже, чем профессоров.

Так как в науке очень много мнений и данных, в ней появился схожий принцип быстрой оценки правдоподобности информации, который часто визуализируется в виде пирамиды:

Обычно пирамиду изображают примерно так, хотя если вас интересуют более точные изображения, то вам в CEBM, а также сюда и сюда

Снизу этой пирамиды находятся частные мнения экспертов, т.к. мнение даже авторитетного человека — это всего лишь мнение, которое может быть предвзятым и идти вразрез с фактическими данными.

Случай-контроль, когортные исследования — это наблюдательный характер данных. Например, мы берём группу курильщиков и наблюдаем за ней длительное время, а потом сравниваем с некурящими, чтобы понять, как это повлияет на проявление какого-либо заболевания.

Нюанс таких данных в том, что они не устанавливают причинно-следственных связей, т.к. в течение времени наблюдения никто не ставит эксперимент, людей просто спрашивают о том, курят ли они, и сколько курят. Поэтому обычно этих данных мало, чтобы сделать вывод, что одно становится причиной другого.

Пример: представьте, что мы проведём наблюдательное исследование, которое покажет, что у людей, пьющих кофе, чаще развивается рак лёгких. Импульсивно хочется заявить: “Кофе вызывает рак!”, но может быть так, что любители кофе чаще курят, а вот курение уже и вызывает рак. В этом основной минус наблюдательных исследований — они подвержены множеству неучтённых факторов, которые иногда учёным даже в голову не придут просто потому, что наши знания о мире ограничены.

Читай также “Наблюдательные исследования и причинно-следственная связь” — статья от нашего научреда

Главный плюс наблюдательных исследований в том, что они дешёвые, и иногда их можно провести очень быстро (при ретроспективном дизайне, когда исследуются медицинские карты определённых людей за X промежуток времени). Эти исследования отвечают на гипотезы учёных и помогают понять, нужно дальше исследовать тему или нет (и ставить ли эксперимент, например).

Выше когортных исследований в пирамиде идут РКИ (рандомизированные контролируемые исследования), которые считаются золотым стандартом науки. Почему?

  1. В них происходит эксперимент. Давайте представим, что учёные хотят проверить, как добавка клетчатки влияет на моторику кишечника. В РКИ за участниками не просто наблюдают, но и вмешиваются — дают клетчатку, чтобы оценить эффект
  2. Контроль: в эксперименте участвуют минимум 2 группы, одной из которых (контрольной) не дают клетчатку. Это позволяет отделить эффект вмешательства (добавка) от других факторов
  3. Плацебо: контрольная группа получает точно такие же по внешнему виду/запаху/вкусу капсулы, как и экспериментальная, но без действующего вещества (пустышки). Благодаря этому можно отделить эффект от клетчатки от субъективного “а мне помогло”
  4. Ослепление: никто из участников не знает, в какой группе находится, и не знает, получает клетчатку или плацебо
  5. Двойное ослепление: даже врачи/учёные, которые дают капсулы с клетчаткой и плацебо, не знают, что внутри конкретной капсулы, и какому человеку из какой группы они дают её. Без ослепления врач может намеренно (или даже бессознательно) выдать действующее вещество конкретным людям, что исказит результаты эксперимента

Есть ещё тройное ослепление, но для этой статьи описание будет лишним 🙂

Почему же РКИ считают золотым стандартом? Всё просто: они сильно снижают вероятность получения некачественных данных. Их устройство организовано так, чтобы учитывать всевозможные ошибки и человеческую предвзятость. При прочих равных, если у нас есть наблюдательное исследование и РКИ, то довериться стоит именно РКИ.

Главный минус РКИ — это сложный, дорогостоящий и длительный процесс. Нельзя провести РКИ по всем на свете вопросам — это просто нецелесообразно: у человечества не хватит ресурсов с таким подходом.

Представьте, у вас вопрос: “Как влияет образ жизни в молодости на здоровье в старости?”. И если вы хотели бы провести РКИ, то вам нужно взять 1000 человек, случайно разделить их: одним — ЗОЖ, другим — фастфуд и диван. При этом следить, чтобы никто не нарушал этих правил, и ждать 50 лет… Мало того, что такие исследования невозможны с этической точки зрения (мы же сознательно обрекаем половину людей на нездоровье), так ещё и стоить это будет фантастически много, а в результате сложно будет сказать, что именно из всего ЗОЖ сработало лучше…

А для некоторых областей вроде психотерапии или хирургии почти невозможно провести РКИ (представьте врача, который не знает, делает он операцию или нет).

Но даже РКИ в наши дни могут противоречить друг другу. И как тогда выбрать, на какое из них стоит опираться?

В ответ на это учёные придумали систематические обзоры и метаанализы (на ступень выше в пирамиде) — исследования, где профильные специалисты обрабатывают имеющиеся данные, при этом используя строгую и прозрачную методологию. То есть это исследование исследований. Обычно именно за ними остаётся последнее слово.

В итоге мы получаем синтез данных, на который можно опираться с большей вероятностью, чем на единичные публикации.

Однако важно понимать, что сама по себе пирамида доказательств — это не жесткий закон, а скорее полезная эвристика, то есть упрощённое правило для быстрого принятия решений.

Плохо проведенное РКИ с серьезными методологическими недостатками или некачественный метаанализ, объединяющий результаты слабых исследований («мусор на входе — мусор на выходе»), уступают по своей значимости и надёжности крупному и хорошо организованному наблюдательному исследованию.

И тут нам на помощь приходят гайдлайны и клинические рекомендации, где, как и в метаанализах, формируется группа профильных специалистов, которая обобщает и результаты систематических обзоров, и РКИ, и другие данные, а на их основе составляет практические рекомендации для решения каких-либо задач (например, рекомендации по питанию, физической активности или лечению).

Гайдлайны подготавливаются национальными институтами (NICE), некоммерческими организациями (AHA), профессиональными сообществами (ESC) и, конечно же, минздравами. Это не значит, что вышеупомянутые организации делают всю работу с нуля. Например, Cochrane или UpToDate вносят свой вклад в улучшение гайдлайнов через качественные обзоры, а другие организации создают платформы, объединяющие уже имеющиеся гайдлайны для учёных по всему миру (такие как Guidelines International Network).

В общем, вершина пирамиды — это плоды трудов тысяч учёных по всему миру, именно поэтому мы склонны доверять им больше, чем единичной публикации, авторы которой могли просто хотеть похайпить.

Риторическое отступление: могут ли авторы в условном гайдлайне хотеть “похайпить” или сделать выводы под давлением коммерческих интересов? Формально — да. Но вместе с этой мыслью важно понять три вещи:
1. “Сговор” тем сложнее, чем больше людей в нём участвуют. Над гайдлайнами работает гораздо больше людей, чем над любым отдельным исследованием, которое в него входит, поэтому доверять единичному исследованию, но не доверять гайдлайну — нелогично
2. Профильные организации, которые подготавливают гайдлайны, авторитетны не в вакууме, а благодаря своей прозрачности и методологии. Их собственные высокие стандарты значимо снижают вероятность искажений, чем и обуславливается их авторитет и признание
3. Научное сообщество — это МИЛЛИОНЫ учёных по всему миру. Когда большие организации создают большие документы, это привлекает множество критично мыслящих специалистов, что работает как дополнительный противовес в пользу качества

Окей, исследований много, и они ранжируются в своей силе. Зная это, как искать научную информацию?

Как правильно искать? Фреймворк PICO

Если вбить в научную базу данных (тот же пабмед) «диета при диабете», то поиск выдаст десятки тысяч статей, большинство из которых будут нерелевантными. Поэтому сначала нужно чётко осознать, что именно ты ищешь. Для этого мы в проекте используем специальный фреймворк — PICO, который помогает сделать поиск более эффективным и осмысленным.

PICO — это аббревиатура, помогающая структурировать вопрос, разбивая его на четыре ключевых компонента:

  • P (Patient, Population, Problem) — Пациент, Популяция или Проблема: Кто является объектом нашего интереса? Необходимо максимально точно описать группу людей (например, по возрасту, полу, заболеванию, профессии)
  • I (Intervention) — Вмешательство: Какое именно воздействие, лечение или диагностический тест мы изучаем?
  • C (Comparison) — Сравнение: С чем мы сравниваем наше вмешательство? Это может быть плацебо, отсутствие лечения, стандартная терапия или другое альтернативное вмешательство. Этот компонент не всегда обязателен
  • O (Outcome) — Исход: Какого результата мы ожидаем? Что мы хотим измерить? Это может быть снижение смертности, уменьшение симптомов, улучшение качества жизни, снижение риска осложнений и т.д.

Важно понимать: PICO — это не поисковый запрос, а инструмент его создания и осознания. После того как разложишь несколько десятков поисковых запросов по PICO, начинаешь мыслить иначе, и твои поисковые запросы улучшаются, в них снижается предвзятость. Раньше ты писал “Чеснок улучшает здоровье” или “Влияние чеснока на здоровье” и сохранял ссылки с интригующими названиями на случай важных переговоров))

А после работы с фреймворком у тебя получается “У взрослых 18–65 лет с ОРВИ (P), по сравнению с плацебо (C), приём экстракта чеснока или сырого чеснока (I) влияет ли на продолжительность ОРВИ или гриппа (O)?”

(Garlic OR "garlic extract")
AND
("respiratory tract infections" OR "acute respiratory infection" OR ari OR "common cold" OR influenza OR "upper respiratory tract infection" OR URTI)
AND
(duration OR severity)
AND
(adult OR "18-65 years")
AND
(placebo OR control OR "randomized controlled trial")

  1. Скобки группируют синонимы
  2. AND указывает, что результаты должны содержать все эти слова/группы.
  3. OR расширяет поиск по синонимам.
  4. Кавычки "" нужны для фраз из нескольких слов.

Заметили? Теперь в вопросе мы не утверждаем, что чеснок обязательно должен как-то положительно влиять на здоровье, мы пытаемся узнать, какие данные на самом деле существуют. Именно поэтому PICO является обязательным требованием для проведения качественных систематических обзоров (например, кокрейновских).

Однако не всегда конечный запрос соответствует всем критериям PICO — это нормально. Самое главное: человек, который использует PICO, сам начинает намного лучше понимать, что именно он ищет, и ему проще заметить, не скрылась ли в его поиске предвзятость.

Окей, мы сформулировали научный запрос, что дальше?

Работа с запросом в 3 шага

Наш принцип поиска информации можно охарактеризовать простым правилом: от общего к частному. Поиск на профильных мед. и научных сообществах —> поиск среди метаанализов —> поиск первичных исследований

  1. Сначала мы ищем ответы в профильных медицинских и научных сообществах как представителей консенсусного мнения. Таких сообществ сотни, но вот об этих 10 вы, скорее всего, слышали:
  • Cochranelibrary — база качественных систематических обзоров и метаанализов (исследования исследований)
  • AHA — американская кардиологическая ассоциация
  • CDC — центр по контролю и профилактике заболеваний США
  • NHS — как CDC, только для Великобритании
  • HSPH — Гарвард о ЗОЖ
  • Mayoclinic — сеть некоммерческих исследовательских и медицинских центров
  • Eatright — крупнейшая проф. организация диетологов США
  • WCRF — всемирный фонд исследования рака
  • WHO — ВОЗ о питании, ЗОЖ и рекомендациях по некоторым болезням
  • JISSN — международное общество спортивного питания

Затем, если мы не нашли ответов или хотим их расширить и понять глубже, мы идём к следующему пункту.

2. Поиск по метаанализам и сист. обзорам (не только кокрейновским). На этом этапе мы рассматриваем сначала обзоры от Кокрейна, как одни из самых качественных. Кроме того, платформы вроде пабмеда дают дополнительные данные в графах “похожее” и “цитируется”, с помощью которых можно проследить исследовательскую мысль и понять, в каком именно научном контексте проводился данный метаанализ

3. Углубляемся в первичные исследования — те самые “наблюдательные” и “РКИ”. Да, только на этом этапе. Почему? Потому что без изучения гайдлайнов и/или метаанализов данные из отдельных исследований могут выглядеть просто как абракадабра, в которой невозможно ориентироваться. Также в первичных работах мы можем почерпнуть наглядные фото из экспериментов, графики и остальные моменты, которые помогут аудитории лучше понять научный аргумент. Для нас это самая сложная часть работы, потому что оценка качества таких публикаций требует специфических и фундаментальных знаний. Мы убеждены, что невозможно прекратить учиться читать и интерпретировать исследования, и никогда не будет момента, когда можно сказать про себя “я хорош”. Тем не менее для тех, кому интересна эта тема, в конце статьи мы подготовили небольшой список литературы, с помощью которой можно начать учиться.

Мы сформулировали запрос, почитали позиции профильных организаций, метаанализы и отдельные публикации. Пора ли бежать снимать видео?))

Критика найденных доказательств

Если всё сделать в той последовательности, которую мы описали выше, то обычно к этому моменту становится понятно, какие из найденных данных самые уязвимые/слабые/малоизученные.

Задача этого этапа — найти опровержение и/или доказательства слабых мест, чтобы сделать материал более взвешенным и правдоподобным. Вот что мы для этого делаем:

— выделяем слабые места, переворачиваем их в запрос по PICO и выполняем поиск. Даже с учётом предварительной подготовки это действие может значимо повлиять на последующие выводы

— проходимся по цепочкам цитирования/похожего для быстрой оценки воспроизводимости результатов. Бывает, что сначала исследователи что-то нашли, но потом оказалось, что это шум данных. Такое важно знать для правильной интерпретации при чтении, а также это бывает интересным для зрителей.

И, конечно же, мы используем коллективный ум.

Коллективный ум

В нашем ресёрч-отделе 3 человека. Каждый работает с установкой находить изъяны и ответы на возможные вопросы. То, что пропустит один, с меньшей вероятностью пропустят двое, и с ещё гораздо меньшей — трое. В работе мы используем это как супероружие: все подготовленные материалы вычитывает и рецензирует каждый из членов команды независимо друг от друга, а впоследствии каждый высказывается на общих созвонах.

Количество созвонов зависит от объёма материала. Например, для второго фильма “Года мышц” их было свыше 10. Но тогда команда только училась работать вместе, сейчас мы бы справились быстрее 🙂

В рамках работы любая критика со стороны другого сотрудника отдела воспринимается позитивно, несмотря на то, что порой эта критика равна многим дополнительным часам работы. Секрет в том, что мы любим, что делаем, а ещё любим науку.

В нашем понимании 3 человека — это минимальная жизнеспособная единица, которая может соответствовать научным стандартам. Например, если какой-то материал разрабатывает один человек, то двое могут быть более-менее непредвзятыми рецензентами. Если материал ложится на двоих, то по крайней мере один всё ещё является непредвзятым.

Кроме этого, мы работаем с пониманием, что невозможно “по-быстрому” разобраться в иммунологии, например, и склепать “крутой ролик на ютуб”. Прочитать одно исследование и бежать декларировать его общественности — не наш путь.

Поэтому для повышения достоверности в отделе есть ещё одна функция — консультации с профильными специалистами, которые помогают разобраться в узких темах и неоднозначных вопросах.

Не будем утаивать: некоторые из экспертов нам помогали бесплатно (например, канадский учёный Райан Роудс), а некоторые за солидную сумму. В Biomachine мы готовы вкладываться для создания сети учёных и врачей. Надеемся, что в будущем исследователи сами будут стремиться поработать с нами.

А теперь давайте соберём весь наш подход воедино.

Упрощённая схема нашей работы

Если опустить подробности и нюансы, то процесс нашего поиска и работы с информацией выглядит так:

  1. Формулируем запрос по PICO. Это помогает понять, не слишком ли узкая тема, в которую мы собираемся нырнуть + это в целом помогает искать релевантную информацию
  2. Начинаем поиск с профильных научных и медицинских организаций. Если наш вопрос рассматривается в каком-либо международном гайдлайне — супер!
  3. Углубляемся (при необходимости) в метаанализы и систематические обзоры. Начинаем с кокрейновских, а также прослеживаем цепочку цитирования для того, чтобы лучше "въехать" в тему
  4. Углубляемся (при необходимости) в первичные исследования: наблюдательные и РКИ. При прочих равных предпочтение отдаём РКИ
  5. Критикуем найденные доказательства силами команды и приглашенных экспертов
  6. Структурирование найденной информации, пояснение двусмысленных данных (доп. пункт). Наша задача — не запутать людей противоречивыми результатами исследований, а передать достоверную информацию. Поэтому, если мы выбираем между двумя исследованиями, которые могут войти в выпуск, то предпочтение отдадим тому, которое методологически более совершенно, чтобы не требовалось пояснять каждые 10 секунд “ну вот здесь данные чуть-чуть другие, а тут немного отличаются”. При этом мы понимаем, что не все вопросы в науке — консенсусные, поэтому, если тема действительно противоречивая, то мы стараемся объяснить и показать, почему так.

Если у вас есть желание улучшить свои навыки в перепроверке информации, то вряд ли вам стоить копировать наш подход, т.к. это трудозатратно и не всегда оправдано в повседневности, где на человека за день вываливаются десятки новостей и фактов. Поэтому для личного пользования мы рекомендуем иной подход (ниже, в продолжении).

Продолжение статьи

Оставшиеся главы (в продолжении):
Report content on this page

Report Page

Please submit your DMCA takedown request to dmca@telegram.org