Как в BMCHN ищут и анализируют информацию. Часть 2

Оглавление

• Почему нужно уметь искать? Часть 1
• Ранжирование научных данных. Какие исследования лучше? Часть 1
• Как правильно искать? Часть 1
• Работа с запросом в 3 шага Часть 1
• Критика найденных доказательств Часть 1
• Коллективный ум BMCHN Часть 1
• Упрощённая схема нашей работы Часть 1
• Алгоритм фактчекинга для неспециалиста
• А нейросети?
• Литература для самостоятельного изучения
• Эпилог

Алгоритм фактчекинга для неспециалиста

Сразу скажем, что последовательность ниже — не исчерпывающая. Она представляет собой грубое сито, которое должно отсеять самые одиозные заявления и новости из соцсетей и СМИ.

• Шаг 1: Оцените источник. Кто автор заявления? Является ли это официальной публикацией профессиональной медицинской организации (например, AHA, WCRF), государственного органа здравоохранения (CDC, ВОЗ, NIH) или это материал на коммерческом сайте, продающем БАДы в своём блоге? С особым подозрением следует относиться к информации, которая вызывает сильные эмоции (страх, гнев), так как алгоритмы соцсетей часто продвигают именно такой контент, независимо от его правдивости.
• Шаг 2: Найдите первоисточник. Уважаемое издание, организация или инфлюенсер всегда укажет источник своих данных. Есть ли в материале ссылка на оригинальное научное исследование? Если нет, это серьезный повод для сомнений. Если ссылка есть, перейдите по ней. Это публикация в рецензируемом научном журнале или просто чьё-то мнение?
• Шаг 3: Определите тип доказательства. Используя знания из части “Иерархия доказательств”, попытайтесь понять, что это за исследование. Это эксперимент на 10 мышах? Описание одного уникального пациента? Или это крупное рандомизированное исследование на тысячах людей, опубликованное в авторитетном журнале? Или, что ещё лучше, систематический обзор из Кокрейновской библиотеки?
• Шаг 4: Проверьте консенсус. Что говорят по этому поводу ведущие мировые организации? Поищите информацию по вашей теме на сайтах Eatright, CDC, Кокрейн, NHS, AHA, WHO. Совпадают ли их выводы и рекомендации с тем, что утверждается в статье? Консенсусное мнение крупных организаций, основанное на анализе всей совокупности данных, гораздо надёжнее, чем результат одного, даже самого качественного, исследования.
• Шаг 5: Помните об ограничениях. Даже если вы прочтёте научную статью целиком и несколько раз, вы всё равно поймёте и проинтерпретируете её хуже, чем профильный специалист, который за годы работы научился сразу замечать недостатки и ошибки. Это не значит, что вам не нужно даже пытаться разобраться самому; это значит нужно быть внимательным к эффекту Даннинга-Крюгера и принимать факт того, что, если вы нашли статью, которая противоречит консенсусному научному мнению, то, вероятнее всего, неправы именно вы, а не группа профильных специалистов.

Эффект Даннинга-Крюгера — это психологический феномен, при котором люди с низкой компетентностью в какой-либо теме склонны считать себя знатоками этой темы, при этом делая ошибочные выводы и принимая неудачные решения, не осознавая своих ошибок из-за нехватки знаний и умений.
Читай также Confirmation bias — склонность подтверждать свою точку зрения, а не искать истину.

Современная наука и медицина — это невероятно сложные, разветвлённые системы. Сейчас в мире миллионы исследователей, и объём новых знаний огромен. По сравнению с 19 или началом 20 века, когда один человек мог быть энциклопедистом, физиком, врачом и философом одновременно, современный учёный зачастую работает в очень узкой нише, требующей глубоких знаний именно в своей области.

Это неизбежно приводит к необходимости доверять результатам крупных и признанных экспертных сообществ и организаций. Ни один человек, даже самый умный и трудолюбивый, не сможет качественно, полностью самостоятельно перепроверять весь массив входящей информации: на это ушли бы тысячи жизней.

Поэтому сегодня разумно и корректно опираться на мнения и консенсус авторитетных научных и профессиональных организаций — именно они агрегируют и фильтруют огромный поток научной информации, обновляют рекомендации, следят за качеством новых данных. А вот ресурсы собственного фактчекинга наиболее обоснованно применять в специфических, спорных или вызывающих вопросы темах (например, если кто-то в блоге или видеоролике делает необычное громкое заявление, отличное от экспертного большинства). Но ожидать, что вы сможете самостоятельно “разобраться во всём” на уровне профессионала с десятилетиями опыта — это иллюзия, которая неизбежно приведёт к ошибкам.

А нейросети?

Ох уж эта мечта, в которой отдаёшь нейронке задачу, а она выполняет её под ключ, и ты просто шлифуешь результаты. Может быть, в каких-то областях это уже возможно, но точно не в ресёрче. Главная причина — без соответствующих знаний вы не сможете проверить результаты её работы. А учитывая, что нейронки пишут очень складно, замечать нестыковки в её фактах бывает сложнее, чем у людей.

Нам постоянно предлагают попробовать какую-нибудь нейронку с присказкой: “Она ищет только исследования, и она суперобъективна”. Мы попробовали (и продолжаем пробовать) все известные нейронки, и пока заявляем: это иллюзия! Да, некоторые модели лучше справляются с научными данными, некоторые хуже, но ещё никакая не справляется хорошо.

Даже если попросишь нейронку опираться только на научные источники, это не гарантирует, что она не выдаст: «Интервальное голодание излечивает диабет 2 типа»

Если укажешь ей на ошибку и попросишь её больше такого не допускать, она просто вежливо подстроится под твою реплику, но это не избавит от ошибок в будущем.

Если она ссылается на первоисточники, то это вполне может быть галлюцинация: “В исследовании Гарварда от 2007 года..” — идёшь по ссылке или названию, а такого исследования вовсе не существует или оно СОВСЕМ НЕ ТО, которое описывает нейронка.

Всё это не значит, что для поиска информации нейронка не может помочь. Просто нужно понимать, что у этого инструмента есть свои ограничения, и самое главное — неспециалист не сможет оценить результат её работы. Также нужно понимать, что не стоит расценивать её ответы как истину в последней инстанции.

Считайте, что всё выше — дисклеймер, который нужно держать в голове. А сейчас мы поделимся своими идеями о том, как вы можете использовать нейронку:

1. Если делаете какой-либо запрос о научной/медицинской информации, то никогда не спрашивайте “почему X полезно/вредно”. Под X подразумевается вмешательство/вещество и пр. Нужно спрашивать не “почему чеснок полезен”, а “есть ли прочные научные аргументы, показывающие пользу чеснока, и какая существует критика у этих аргументов”. Иначе ситуация такая: предвзятость на входе — предвзятость на выходе
2. Делите запрос на несколько частей: после первого ответа попросите нейронку оценить и скорректировать ответ из позиции учёного скептика, основывающегося на РКИ и систематических обзорах
3. Используйте наш промт🎁 Нам очень приятно, что вы дочитали статью практически до конца. Надеемся, что она была полезна и интересна для вас. Наш отдел много экспериментировал с разными нейросетями, и нам кажется, что мы подобрали неплохой и почти универсальный промт (запрос), который поможет вам получать более качественный ответ от языковых моделей. Дарим его вам!

Ты — председатель Кокрейновского сообщества, специалист по метаанализам и систематическим обзорам, принципиальный скептик, не приемлющий "мягкой науки", маркетинга и нутрицевтических сказок. Твоя позиция — опираться только на высококачественные RCT, слепые плацебо-контролируемые исследования и обзоры с низким уровнем систематической ошибки. Твоя задача — [описание задачи, например "найти, определить и сформулировать научный консенсус по такому-то веществу/вмешательству”]. Если есть мифы, связанные с этим, то безжалостно вскрой и обличи их. Не интересуют "мягкие эффекты", спонсируемые публикации и псевдонаучные интерпретации. Только жесткий научный консенсус: есть ли хоть какие-либо твердые основания рекомендовать [такое-то вещество/вмешательство для таких то целей]. Всё остальное — мусор. Укажи, что подтверждено, а что — нет, и каким уровнем доказательств. Не щади ничего и никого: ни инфлюенсеров, ни псевдоэкспертов, ни обтекаемых формулировок. Только правда. Ответ изложи по пунктам и подпунктам для большей наглядности.

О чём не поговорили

В рамках одной статьи невозможно охватить всё, т.к. тема работы с научными данными огромна. Вот ещё направления, о которых хотелось бы рассказать, но непонятно, как это сюда уместить: когнитивные искажения, оценка авторов научных публикаций, проблемы воспроизводимости, публикационное смещение, ограничения этических комитетов, невозможность переноса данных с лабораторных животных на человека, а также разные варианты предвзятости исследователей и способы их компенсировать (GRADE, PRISMA, PROSPERO, CONSORT). И, конечно, хотелось бы рассказать о разнице между научным и доказательными подходом, так сказать EBM vs SBM.

Если что-то из вышеперечисленного кажется вам любопытным, то дайте знать в комментариях, мы с удовольствием об этом напишем, если увидим интерес.

Почитать и углубиться

Мы выделили 4 книги, которые помогут глубже разобраться в теме исследований и их анализе, для тех, у кого проснулся интерес. Каждая книга закрывает одну из четырёх категорий, которую мы считаем необходимой для адекватной интерпретации исследований:

1. Понимание истории медицины. Книга “0,05” Петра Талантова. Важно начать именно с неё — многое в науке и биомедицинских исследованиях станет понятнее!
2. Понимание ранжирования исследований и методов их проведения. Книга “Основы доказательной медицины” Триши Гринхальх
3. Развитие критического мышления и понимание когнитивных ошибок. Книга “Думай медленно… решай быстро” Даниэля Канемана
4. Понимание статистики (хотя бы на самом минимальном уровне). Книга “Статистика и котики” Владимира Савельева

Эпилог

Наука — это не просто набор открытий и теорий, а движущая сила нашей цивилизации. Именно благодаря научному мышлению, экспериментам и скрупулёзным проверкам догадок мы перешли от мира суеверий, где лечили кровопусканием, мышьяком и ртутью, к миру, где мы управляем электричеством, строим города, исцеляем болезни и исследуем космос.

Представьте себе жизнь до начала научной эры, около 16–17 века: средняя продолжительность жизни в Европе составляла до 40 лет, эпидемии уносили миллионы жизней за считанные месяцы, 90% населения были неграмотны и могли умереть даже от простых инфекций. Всё это изменилось с развитием медицинской науки: изобретением вакцин (Дженнер, Пастер, Сабин и современные mRNA), антибиотиков, анестезии, методов очищения воды, санитарии и массовых скринингов.

Мы победили одну из самых страшных и опасных инфекций в истории человечества — натуральную оспу, которая уничтожала целые города, и от которой только в 20 веке умерло около 300–500 млн людей. Благодаря открытию микробов и последующей иммунизации и санитарным нормам в 50–100 раз снизилась детская смертность.

Наука изменила саму ткань общества: физика и химия подарили нам электричество и двигатели, позволили создавать компьютеры, смартфоны, современные самолёты и спутники. Мы ежедневно пользуемся GPS и интернетом — технологиями, выросшими из научных амбиций физиков и математиков.

И, конечно же, наука не просто решает практические задачи, она формирует мировоззрение. Критическое мышление, умение сомневаться, проверять и улучшать — это фундаментальные принципы, которые распространились из лабораторий и университетов в широкую культуру. Именно научный метод показал: прогресс возможен только тогда, когда мы честны сами с собой, готовы к поиску истины и сопротивляемся соблазну принимать желаемое за действительное.

Без науки современный мир был бы невозможен. Именно она позволяет нам двигаться к будущему, где возможна победа над генетическими заболеваниями, освоение космоса, продление активной жизни и переход к чистой энергетике. Наука превратила человека из пассивного наблюдателя сил природы в их исследователя и конструктора. И похоже, это только начало.

При всех проблемах, тонкостях и нюансах есть немало причин, за что можно любить науку. Надеемся, и наша статья способствует этому.

Материал подготовлен отделом Biomachine research:
— Матвей Смирнов, научред команды
— Александр Васильев, кандидат биологических наук
— Илья Карпец, провизор