Сравнение уровня публикаций российских ученых в базах данных Web of science, SCOPUS И RSCI

База данных Russian Science Citation Index (RSCI) включает на данный момент времени ровно 777 журналов. Красивое число. Однако возникает вопрос - почему именно 777? Почему, скажем, не 666 или 888? Как качество российских журналов в RSCI соотносится с качеством журналов, индексируемых в признанных международным сообществом базах данных Web of Science или Scopus? Не сильно ли мы снижаем планку качества, используя при оценке научной деятельности не только журналы из WOS и Scopus, но и из RSCI? Попробуем ответить на эти вопросы.

Для этого сравним среднее количество цитирований российских публикаций в журналах из разных баз данных. Чтобы это сделать, мы взяли весь массив публикаций российских ученых за 2018 год, и рассчитали для каждого журнала число публикаций в этом массиве. Это дает нам информацию о том, какую долю тот или иной журнал имеет в общем потоке публикаций российских ученых.

Затем для каждого журнала мы рассчитали число ссылок из ядра РИНЦ (WOS + SCOPUS + RSCI) в 2018 году на публикации в этом журнале за все годы. Опять же, учитываем только цитирования публикаций российских авторов. Это дает нам информацию о том, какой вклад тот или иной цитируемый журнал дает в общее число цитирований статей российских ученых.

Поделив число цитирований на число статей, мы получили для каждого журнала показатель, позволяющий сравнивать журналы и коллекции журналов. Для простоты назовем его условно средней цитируемостью. Абсолютные значения этого показателя смысла не имеют, но в сравнении они довольно точно отражают эффективность публикации в разных категориях журналов с точки зрения их потенциальной цитируемости.

Теперь можно приступить к сравнению баз данных, точнее коллекций российских публикаций в этих базах данных. Начнем с Web of Science Core Collection и Scopus. Первая база включает на данный момент примерно 21 тыс. журналов, вторая - 24 тыс. Сравним вначале эти базы данных целиком:

Здесь и далее в первом столбце приводится название базы данных, во втором - число российских статей в этой базе в 2018 году, в третьем - число цитирований российских статей в этой базе из ядра РИНЦ в 2018 году, в четвертом - средняя цитируемость, т.е. результат деления значения в третьем столбце на значение во втором. Результат вполне ожидаем - увеличение числа российских статей в Scopus по сравнению с WOS CC примерно на четверть приводит к снижению средней цитируемости примерно на четверть.

Web of Science Core Collection включает базу данных ESCI, в которой индексируется около 8 тыс. журналов. Оценим, какой вклад дает эта коллекция журналов.

Получается, что 21 тыс. российских статей, попавших в ESCI, цитируются в среднем в 12 раз хуже, чем статьи, попавшие в основные базы Web of Science.

Ну а теперь посмотрим, как распределены российские публикации и их цитируемость по квартилям в Web of Science и Scopus. Напомним, что в WOS квартили определяются на основе импакт-факторов, которые рассчитываются только для журналов, входящих в основные базы WOS CC (т.е. без учета ESCI). Квартили по данным Scopus рассчитываются в Scimago на основе показателя SJR. При этом учитываются все журналы, индексируемые в Scopus. То есть количество журналов, которые делятся на квартили в Scopus, примерно в два раза превышает количество журналов, для которых рассчитываются квартили в Web of Science. Поэтому квартили в WOS и Scopus нельзя считать даже примерно одинаковыми по качеству журналов, что мы, собственно, сейчас и продемонстрируем.

В этой же таблице приведены для сравнения данные для ESCI и RSCI. Заметим, что средняя цитируемость российских статей в RSCI вполне сравнима с 4-м квартилем Scopus и заметно выше, чем в ESCI. При этом нужно иметь ввиду, что WOS, Scopus и RSCI имеют частично пересекающиеся коллекции журналов. Поэтому попробуем определить место RSCI в иерархии баз данных с учетом этого пересечения.

Возьмем за основу журналы, входящие в 1-4 квартили WOS и рассчитаем, какой вклад в ядро РИНЦ дают журналы из RSCI, не входящие в 1-4 квартили WOS. То же самое сделаем для ESCI и Scopus.

Из приведенных данных следует, что несмотря на то, что RSCI дает наибольший вклад статей в ядро РИНЦ (почти 70 тысяч), качество этих статей выше, чем в ESCI и 4-м квартиле Scopus и находится на уровне 3-го квартиля Scopus. В целом же, дополнительные журналы из ESCI, Scopus и RSCI в среднем примерно одного уровня.

Далее возникает естественный вопрос, а есть ли еще российские журналы такого же уровня? Можно ли увеличить число журналов в RSCI без заметного снижения качества всего ядра РИНЦ? Для ответа на этот вопрос отберем лучшие по нашему показателю средней цитируемости российские журналы из РИНЦ, не входящие на данный момент в ядро РИНЦ, и рассчитаем для них средние значения:

Таким образом, можно сказать, что возможности для роста количества журналов в RSCI весьма ограничены. Если использовать в качестве граничного условия уровень RSCI и 3-го квартиля Scopus, то можно добавить не более 70 журналов, если уровень 4-го квартиля Scopus - 100 журналов. Если же за нижнюю границу качества взять средний уровень российских статей в ESCI, то в RSCI можно добавить не более 170 журналов.

Теперь рассмотрим распределение всего публикационного потока российских ученых по категориям журналов.

Удивительным в этой таблице является то, что средний уровень журналов из перечня ВАК, если убрать из него журналы, входящие в RSCI (а это лишь четверть от всех журналов ВАК), оказывается в 8 раз хуже, чем средний уровень журналов в RSCI, и сравним по качеству со средним уровнем оставшихся в РИНЦ журналов, не входящих в перечень ВАК.

Из этих данных также видно, что статьи, включенные в ядро РИНЦ (а это 27% от всех статей российских ученых), получают 93% от всех цитирований из ядра РИНЦ.

Ну и напоследок сравним полученные данные с весовыми коэффициентами, предлагаемыми к использованию при расчете Комплексного балла публикационной результативности (КБПР). Для нормировки будем использовать коэффициент, равный единице, для публикаций в 4-ом квартиле WOS.

Какие выводы можно сделать из этого сравнения?

1. Коэффициенты качества КБПР для первых трех квартилей WOS явно завышены. По-видимому, они считались на основе средних показателей в квартилях по всем публикациям WOS. Однако, уровень российских публикаций в этих квартилях заметно ниже среднего.
2. Четвертый квартиль WOS, ESCI и SCOPUS имеют одинаковые коэффициенты качества КБПР, тогда как в реальности российские публикации в журналах ESCI и SCOPUS, не входящих в WOS, примерно в 3-4 раза хуже по качеству, чем WOS Q4.
3. RSCI имеет коэффициент качества 0,75, хотя уровень публикаций в этой базе данных даже после удаления пересечений с предыдущими БД, находится на том же уровне, что и SCOPUS и почти в полтора раза лучше, чем ESCI. Чем обусловлена такая дискриминация российских журналов в методике расчета КБПР, непонятно.
4. Публикации в журналах ВАК имеют вес 0,5, то есть всего в два раза ниже, чем WOS Q4. Здесь несоответствие методики и реального распределения качества статей особенно заметно, поскольку публикации в журналах ВАК после удаления пересечений с другими базами данных примерно в 25 раз хуже по качеству, чем WOS Q4.
5. Если методика предполагает учет публикаций в журналах из Перечня ВАК, то тогда нужно, по-видимому, учитывать и оставшиеся журналы из РИНЦ, поскольку их уровень даже после удаления всех дублей отличается от ВАК незначительно (0,03 и 0,04 соответственно).

С вами был Научный руководитель — полезные и интересные публикации для студентов и начинающих юристов.