Импакты, квартили и прочее: чем журналы меряются друг с другом

Похоже, что самое время поведать о том, как устроено ранжирование научных журналов, то есть как именно и чем они меряются между собой (напомню, что раньше мы уже говорили о том, как устроено рецензирование, то есть отбор статей: часть 1, часть 2 и часть 3).

Итак. Проблема понятна: научных журналов - овердофига (счет в мире щас реально идет на десятки тысяч), очевидно, что среди них есть получше и похуже, но как это понять и, главное, как это измерить?

"-Кароши люблю, плохой -- нет, -- сурово говорил иностранец" (с)

В какой-то момент появилась мысль, что можно это попробовать сделать, опираясь на распределение цитирований (по сути, вся  ̶п̶и̶с̶ь̶к̶о̶наукометрия только на этом и основывается). Логика тут простая:

-если такая-то работа более качественная или более интересная, на нее будут чаще ссылаться,

-если работ, на которые много ссылаются, в журнале Х тоже много, определим его как хороший,

-журнал Х, узнав, что он хороший, будет тщательнее отбирать публикации, и будет тем самым поддерживать свой уровень, и далее по кругу.

У этой идеи есть сильные и слабые стороны, но по факту, повторюсь, вся наукометрия плюс-минус основана именно на этом.

Существует дофига вариантов (они еще называются метриками), как именно можно превратить эту логику в числа, но, наверное, самый ходовой - это импакт-фактор (impact factor, он же часто сокращается как IF):

Рассчитывается он очень просто. Это дробь, в которой:

- знаменатель - сумма чисел публикаций в этом журнале за два предшествующих года (например, если мы считаем ИФ для 2020, это будет число статей за 2018 + за 2019),

-числитель - число цитирований статей, которые вышли за два предшествующих года (в нашем примере за 2018 и 2019), в течение текущего года (в нашем примере - 2020).

Сразу - пара важных замечаний россыпью:

1) ИФ изначально был придуман и использовался фирмой, которая держала базу данных Web of Science (WoS, о ней как-нибудь потом). Поэтому по умолчанию обычно само упоминание ИФ какбэ подразумевало, что журнал индексируется WoS и данные для расчета ИФ берутся из этой же базы. Понятно, что формула при этом не секретная и юзать ее может кто угодно - так появился, например, "импакт-фактор РИНЦ (с)

Прикольное изобретение, вопросов нет, но если вы скажете за пределами России "impakt factor RINTS", вас тупо не поймут - ну примерно как если вы расскажете про российское Champagne made in Chelyabinsk. Дикие люди, что с них взять (с)

2) Величина ИФ может варьироваться от нуля до (в теории) бесконечности, но сравнивать ИФ журналов из разных областей бессмысленно. По одной простой причине - в разных науках сложилась разная культура цитирования, то есть, если упрощать до предела, где-то принято фигачить десятки ссылок в статье, где-то их гораздо меньше. К сожалению, не все начальники понимают этот очевидный факт, но, блин, он от этого никуда не денется.

Сколько историка ни корми, а у химика импакт ̶т̶о̶л̶щ̶е̶ выше (с)

Именно поэтому, например, совсем недавно (релиз был меньше недели назад) появилась новая интересная метрика - Journal Citation Indicator (JCI), которая как раз учитывает эту самую разницу хитрым образом (обзор этой новой мульки постараюсь запилить на днях).

Есть похожая на IF штуковина - CiteScore. Отличается она тем, что в числитель идет сумма цитирований за текущий год и три предшествующих (то есть всего за 4), а в знаменатель - общее число публикаций за 4 года. На всякий случай замечу, что это новая формула, до 2020 года в числителе были цитирования только текущего года, а в знаменателе - число статей за три предшествующих. CiteScore рассчитывается по данным Scopus - это другая база данных (о том, как вообще работать с этими БД, я планирую запилить серию постов, но попозже).

Более хитрые метрики:

-SJR (SCImago Journal Rank). Вычисляется по данным Scopus, но довольно извращенным способом: учитывается не просто число цитирований, а в каких журналах вышли статьи, которые ссылаются на интересующий нас - в более или в менее крутых. На первый взгляд, здесь есть:

но это не совсем так - просто математика здесь более сложная.

SNIP - еще более хитровыдуманная вещь (тоже на данных Scopus): здесь цитирования учитываются еще и в сравнении с тем, как обстоят дела в конкретной предметной области, то есть теоретически SNIP (в отличие от ИФ и прочих) сравнивать для журналов разных областей вроде как все-таки можно.

Ну и, наконец, квартили. Это очень просто:

-берем интересующие нас журналы и выстраиваем в порядке убывания какой-либо метрики,

-делим на 4 части - лучшие 25%, похуже, еще похуже и полное дно. Вот это они и есть: лучшие 25% - первый квартиль, далее второй, третий и в конце пищевой цепочки четвертый.

Важное:

- по умолчанию для определения квартилей берутся журналы из конкретной предметной области (если еще точнее, то с определенным библиографическим классификатором, только нормальным, а не, прости Господи, УДК). Это позволяет более-менее вменяемо ранжировать журналы, не прибегая к SNIP - молбиология сравнивается с молбиологией, а не с пушкиноведением, например,

-в зависимости от того, какую метрику мы взяли, квартили будут получаться разные. В Web of Science они основываются на ИФ, в SCImago - на SJR, и они запросто могут не совпадать. Если вас попросили указать квартиль - уточняйте, какой именно,

-наконец, даже в одной и той же системе у журнала может быть несколько квартилей. Это связано с тем, что журнал может относиться сразу к нескольким классификаторам - например, публикует статьи по общей биологии, молбиолу и, скажем, генетике. Сравнивать в каждом случае его будут с журналами с тем же классификатором, и может оказаться, что он, например, относится к Q1 по общей биологии и генетике и к Q2 - по молбиолу. Хорошая новость для нас заключается в том, что пока что как надзирающие структуры, так и грантодающие фонды позволяют считать квартиль по максимуму - если он хоть по какой-то области выше, значит, высший и засчитывается (иногда на этом можно удачно играть).

О метриках можно написать многое, но, пожалуй, вот самое главное.

Зоопарк из слоновой кости: https://t.me/ivoryzoo

Наука. Аспиранты. Студенты. Ученые.

Руководство по выживанию в науке, полезные советы начинающим, новости из научной жизни и просто околонаучный треп :)