2,44%: Декабрь 2014

Заключительная статистика по 2.44% в этом году.

Декабрь оказался рекордным месяцем в плане публикационной активности с тех пор как мы начали смотреть еженедельные данные по Web of Science, то есть, с марта 2013 года.

Соотношение процитированных и непроцитированных работ у ведущих российских университетов: часть IV

Заключительный, четвёртый обзор этого года - но он будет продолжен в следующем году, я постараюсь так же публиковать обновления раз в квартал.

Напомню, нас интересуют два показателя университетов: сколько они публикуют (публикационная активность, она же научная производительность) и как всё это потом цитируют во всём мире (цитируемость статей, она же авторитетность, влиятельность или эффективность исследований). Подсчитать первый показатель практически в реальном времени не составит никакого труда, а вот второго надо подождать как минимум пару лет, прежде чем делать какие-то выводы. И тут нам приходят на помощь показатели, по которым правильность или неправильность решений руководства университетов проекта "5-100" о развитии науки в них можно оценить с гораздо меньшей задержкой. Начнём, как водится, с соотношения процитированных и непроцитированных статей 2013 года. 

Соотношение процитированных и непроцитированных работ 2013 года университетов-участников проекта "5-100"

Чтобы было понятно, хорошие это показатели или нет: МГУ - 47,0%, СПБГУ: 46,95%, Россия в целом: 37,17%, Кембридж: 56,48%.

По мере отдаления от даты публикации этот показатель будет уступать в актуальности показателю нормализованного цитирования, так что именно сейчас я впервые попробовал оценить зависимость между этими двумя показателями. График ниже увеличивается при нажатии, зависимость между показателями налицо. Если убрать Высшую Школу Экономики (которая, как я уже не раз писал, активнее других занимается общественными науками, где цитируемость ниже и накапливается дольше), то линейный коэффициент корреляции между этими двумя показателями будет равен 0,83.

Взаимозависимость показателей нормализованной средней цитируемости и соотношения процитированных и непроцитированных работ

Иными словами, по итогам этого года у нас есть четыре университета, чьи статьи в среднем цитируются заметно лучше других, при этом успехи трёх из них - МИФИ, НГУ и МФТИ - мы увидели ещё в первой половине года, а про четвёртый - ВШЭ - сразу сказали, что таким способом не увидим.

Это говорит о том, что, взглянув в марте 2015 года (а это всего через 3 месяца, включая праздники) на аналогичные значения для статей 2014 года, мы с высокой степенью достоверности сможем сделать выводы о цитируемости университетов в этом году. Попробуем уже сейчас провести кое-какие наблюдения, хотя какие-то выводы делать пока и рано:

Соотношение процитированных и непроцитированных работ 2014 года университетов-участников проекта "5-100"

Опять же, как это соотносится с нашими проверочными точками: МГУ - 19,38%, СПБГУ: 16,18%, Россия в целом: 14,22%, Кембридж: 29,57%.

На верхнюю строчку в этом году вырвался МИСИС. Если он окажется на том же месте и через 3 месяца - мы будем присматриваться к нему повнимательнее, поскольку, скорее всего, это уже будет индикатором серьёзного роста цитируемости университета.

Наконец, какие цифры публикационной активности университетов мы увидим в июне 2015 года? В прошлом посте я уже делал достаточно грубый прогноз, теперь я его уточняю. Три университета - Санкт-Петербургский Политехнический, Томский Государственный и НИЯУ МИФИ успели опубликовать за прошедший квартал столько статей, что мне бы надо пересмотреть прогноз, чего я делать принципиально не буду, поскольку должен же я хотя бы раз ошибиться в предсказаниях.

Прогноз итоговых показателей публикационной активности 2014 года университетов-участников проекта "5-100"

2,44%: Ноябрь 2014

Ноябрь прошлого года был рекордным месяцем для России за всё то время, что мы отслеживаем динамику публикационной активности. В ноябре этого года я впервые засомневался, что к середине следующего года рубеж в 36 000 статей по Web of Science будет достигнут.

По абсолютным показателям ситуация выглядит следующим образом:

Статей 2013 года по состоянию на 28 ноября 2013го: 25793
Статей 2014 года по состоянию на 27 ноября 2014го: 25829

О важности выбора журнала для публикации

Напомню вам, что несмотря на наметившийся рост научной производительности России (то есть, показателя количества статей в Web of Science), мы всё ещё занимаем 130е место в мире из 150 с показателем 5,54 цитирования на одну статью, опубликованную за последние 10 лет. Это - очень мало, но это не значит, что российские учёные публикуют слабые работы. Почему же российские статьи так скромно цитируются? Недавнее добавление в InCites возможности отслеживания нормализованной цитируемости статей в разбивке по журналам позволяет наконец наглядно продемонстрировать, как выбор журнала для опубликования работы влияет затем на цитируемость статей: учёного, организации или страны в целом.

Почему это важно? Да потому что именно цитируемость работ, а не их количество в Web of Science, является показателем авторитетности или влиятельности - опять же, учёного, организации или страны в целом. Показатель нормализованной цитируемости статей университета занимает 30% веса среди индикаторов рейтинга Times Higher Education, и вот как обстоят дела с этим показателем за последние 10 лет у университетов проекта "5-100" - и давайте я добавлю туда МГУ и СПбГУ, изображение кликабельно:

Нормализованная цитируемость университетов проекта "5-100", МГУ и СПбГУ за последние 10 лет

Если этот показатель так и останется ниже единицы - шансы попасть в ведущую сотню остаются только математическими. Возьмём, например, НИТУ "МИСиС", занимающий в рассматриваемой выборке 8е место с показателем 0,53 (то есть, на 47% ниже среднемирового уровня). В каких десяти журналах за последние 10 лет сотрудники МИСиС публиковались чаще всего и как эти статьи потом цитировались относительно среднемирового уровня?

Цитируемость статей, опубликованных в наиболее популярных среди сотрудников НИТУ МИСиС журналах. Единица - среднемировой уровень

Журналы отсортированы сверху-вниз по количеству опубликованых в них работ сотрудниками НИТУ "МИСиС" за последние 10 лет. В двух "лидирующих" журналах - Russian Journal of Nonferrous Metals (импакт-фактор 0,121, занимает 71е из 75 мест по импакт-фактору в своей предметной области) и Metallurgist (импакт-фактор 0,244 и 63е место из 75) - было опубликовано 303 статьи - 18% от всего, что было опубликовано сотрудниками МИСиС за эти 10 лет, но до сих пор они собрали всего 101 цитирование, а нормализованное цитирование оказалось таким низким, что значение даже не отобразилось на графике: 0,07, то есть, в 14 раз хуже, чем в среднем в мире, что очень заметно тянет вниз общий показатель цитируемости университета.

При этом, самый высокоимпактовый журнал в самой важной для МИСиС предметной области - металлургии - носит название Acta Materialia, имеет импакт-фактор 3,94, и те 13 публикаций в нём, которые успели сделать сотрудники НИТУ МИСиС за последние 10 лет, цитируются на 92% выше ожидаемого уровня в своей предметной области. Не будь этих тринадцати статей - показатель цитируемости всего МИСиС был бы ниже.

Нормализованная цитируемость самых эффективных для сотрудников НИТУ МИСиС журналов

Вдумайтесь в эти цифры. 13 статей в хорошем журнале принесли 256 цитирований - в два с половиной раза больше, чем 303 статьи в двух журналах послабее - здесь мы имеем дело с одной и той же предметной областью, поэтому вполне можем сравнивать абсолютные значения цитируемости.

Может, это просто совпадение? Давайте посмотрим на университет ИТМО в Санкт-Петербурге, который тоже довольно активно наращивает публикационную активность в этом году, и как раз подходит к тому рубежу, после которого очень желательно задуматься о цитируемости статей. Где они публиковали свои работы чаще всего за последние 10 лет?

Цитируемость статей, опубликованных в наиболее популярных среди сотрудников ИТМО журналах.

Ситуация очень похожая - в топе за последние 10 лет находится журнал Journal of Optical Technology с импакт-фактором 0,24, занимающий по этому показателю 80е из 83х мест в своей предметной области, в котором сотрудниками университета было опубликовано 326 статей (17% от общего объёма), которые опять-таки были процитированы в 11 раз хуже среднемирового уровня (нормализованное цитирование равно 0,09).

Самое эффективное использование журнального пространства у ИТМО - это Optics Express с импакт-фактором 3,525 и шестым из восьмидесяти трёх местом в своей предметной области. В нём было опубликовано пятнадцать статей, принесших цитирований в 2,5 раза выше нормы для предметной области "оптика".

Нормализованная цитируемость самых эффективных для сотрудников ИТМО журналов

Какой напрашивается вывод? Существует зависимость между рейтингом журнала по импакт-фактору в своей предметной области и цитируемостью работ, опубликованных в нём. Отечественные учёные вполне могут публиковаться в журналах с огромными аудиториями и значительными импакт-факторами, что самым прямым образом будет способствовать росту цитируемости их статей. Тем не менее, из-за относительной простоты публикации в журналах с невысоким импакт-фактором большое количество статей отправляется именно туда, что не просто "съедает" цитируемость статей, а, что более важно, уменьшает аудиторию, которая может ознакомиться с результатами работы и потенциально на неё сослаться.

При этом, я не хочу сказать, что все российские журналы - плохие и их никто не читает, и уж тем более я не предлагаю прекращать в них публиковаться. Но те из них, для кого попадание в Web of Science является единственной целью, после достижения которой можно расслабиться, едва ли должны быть интересны хорошему исследовательскому институту или университету.

2.44%: Октябрь 2014

Снова последний четверг месяца и снова обновление статистики по достижению 2,44%.

Не могу придумать более подходящий эпитет, чем сухое "умеренно-позитивная динамика". За этот месяц нам удалось понять, почему всё-таки её не было видно в первой половине года: в феврале в Web of Science попало довольно скромное количество статей из России, так что относительный показатель прошлого года получилось нагнать только к сентябрю.

Автаркичные высокоцитируемые статьи

Интересный эксперимент в Web of Science Core Collection:

1. Открываем расширенный поиск (Advanced Search)

2. Вводим: cu=russia (все статьи, на которых в качестве аффиляции был указан российский адрес). Получаем сотни тысяч статей, опубликованных при участии российских учёных.

3. Выбираем "Highly Cited Papers" на вкладке ESI Top Papers панели Refine Results. Получаем 1215 высокоцитируемых статей (то есть, вошедших в 1% наиболее цитируемых по своей предметной области), опубликованных за последние 10 лет при участии российских учёных.

4. Теперь самое трудоёмкое: выбираем все страны кроме России и жмём "Exclude Records".

В результате у нас остаётся несколько десятков высокоцитируемых статей (то есть, попавших в 1% наиболее цитируемых по своей предметной области), которые написаны не в соавторстве с иностранцами, а только учёными, работающими в России. Конечно, большинство было опубликовано в иностранных журналах, так что полностью эпитет "автаркичные", вынесенный в название поста, к ним применим с натяжкой, но для краткости предлагаю именно этот термин.

78 из 1215 высокоцитируемых российских работ были опубликованы без иностранного соавторства - это 6,4%. Эти работы интересны, в том числе, тем, что, поскольку в иных коллаборациях трудно оценить реальный вклад учёного в проведение исследования, наличие высокоцитируемых работ, опубликованных эксклюзивно учёными рассматриваемого государства - показатель, довольно красноречиво говорящий о количестве выдающихся научных идей внутри страны.

Вот список авторов, которые опубликовали более одной такой высокоцитируемой работы.

Наиболее популярные предметные области - тут тоже без сенсаций, за исключением, разве что, инженерных наук, которые я не ожидал увидеть так высоко:

Ещё интересные наблюдения: из 78 работ всего 6  (то есть, 7,6% от оставшегося) были опубликованы в российских журналах:
две - в Mathematical Notes (автор обеих - Виктор Павлович Маслов из ВШЭ, правда, он же с Т.В. Масловой - и автор всех 16 цитирований на эти статьи. Каноничный пример, которым можно проиллюстрировать страницу "автаркия" на Википедии),
по одной - в Mendeleev Communications, Physics-Uspekhi (переводная версия "Успехов Физических Наук"), Laser Physics Letters и Russian Chemical Bulletin.

Как обстоят дела с аналогичным показателем в других странах? Я отобрал несколько стран и по тому же сценарию подсчитал их автаркичные высокоцитируемые статьи. Вот что получается:

По абсолютному показателю не всё так плохо, по относительному (6.4%) мы - ниже Нигерии и Никарагуа, но выше других стран бывшего СССР - за исключением, видимо, Прибалтики. Это косвенно указывает на то, что Россия участвует в большинстве международных исследовательских проектов скорее как ведомая, чем как ведущая сторона. Боюсь, вывод статьи следующий: международное сотрудничество нужно сейчас постсоветской науке гораздо сильнее, чем постсоветская наука - международному сотрудничеству.

Как Большой Адронный Коллайдер влияет на развивающуюся науку

Сначала у меня была идея провести параллель между "наукометрическим эффектом БАК" и чёрной дырой, но в процессе написания поста я решил, что нефтяная игла - более уместная аллегория.

Сейчас на БАКе ведутся 7 экспериментов, по шести из которых (все кроме MoeDAL) научные публикации выходят с указанием одноимённых коллабораций. Важность этих работ подтверждается их высокой цитируемостью: всего их было опубликовано чуть более трёх тысяч, а процитировать их успели более 21 000 раз (БАК, напомню, заработал на полную мощность 5 лет назад, и большинство работ в течение ближайших пяти лет соберут ещё в два-три раза больше ссылок). Графики ниже позволяют понять масштаб проектов:

Динамика публикационной активности по четырём ведущим экспериментам на БАК

Наукометрические показатели проектов БАК: ось X - коичество статей, ось Y - средняя цитируемость одной статьи, размер круга и число в нём - индекс Хирша

Россия, самая сильная предметная область которой - как раз физика, активно участвует в экспериментах на БАКе, более того - относительная доля публикаций в этих проектах в общем объёме публикаций России за последние 3 года приблизилась к 1%, что уже начинает оказывать небольшое, но влияние на цитируемость отечественной науки.

Зависимость цитируемости российских статей от вовлечённости в коллаборации Большого Адронного Коллайдера

Безусловно, хочется думать, что наши семинары "Бренд учёного: как сделать так, чтобы нас цитировали", которые мы регулярно проводим в России, да и вообще постепенный сдвиг парадигмы в сторону публикаций в более высокорейтиновых журналах, тоже делают свой вклад в увеличение цитируемости российских работ, но давайте посмотрим, что происходит там, где влияние БАКа ещё сильнее - в российских университетах, которые активнее всего участвуют в этих проектах. Обратите внимание: чем выше процент БАКовских работ, тем выше его корреляция с цитируемостью и тем больше, следовательно, её скачок.

Завсисимость цитируемости российских университетов от вовлечённости в коллаборации Большого Адронного Коллайдера

Здесь нужно обратить внимание на то, что у МИФИ были довольно хорошие показатели и до того, как количество БАКовских статей вышло на существенный уровень. Это связано не в последнюю очередь с тем, что МИФИ помимо этого участвует ещё и в коллаборациях ZEUS (эксперимент на коллайдере HERA в Гамбурге) и STAR (на коллайдере RHIC в Брукхейвенской Национальной Лаборатории).

Интересно участие российских университетов в ведущих проектах Большого Адронного Коллайдера: МГУ входит во все 4 важнейших коллаборации, МИФИ - в ALIСE и ATLAS, НГУ - в ATLAS и LHCb.

Всё это означает, что хорошие показатели ряда российских организаций (научно-исследовательских институтов вроде ИТЭФ в том числе) сильно зависят от участия в подобных проектах, Если активность этих конретных проектов пойдёт на спад, это может негативно сказаться на положении упомянутых выше университетов в рейтингах, поэтому надо искать способы диверсификации такого риска. То, что сравнительно небольшое количество высокоцитируемых российских исследований проводится своими силами и без вовлечения в эти коллаборации, само по себе не катастрофа, но тоже характеризует состояние отечественной науки.

Аналогичную картину видно и по другим странам, особенно - бывшим республикам СССР. У Беларуси тоже наблюдается резкий рост цитируемости по итогам 2012 года. Похожая история - у Армении, Грузии и Азербайджана. Более того: у этих стран даже тенденции в объёмах публикационной активности коррелируют: чуть упала активность БАКовских проектов в 2013м году - снизилась и публикационная активность в этих странах.

Зависимость цитируемости Армении и Беларуси от вовлечённости в коллаборации Большого Адронного Коллайдера

Что делать? Здесь нет простого ответа, более того - для каждой организации он индивидуальный, но если говорить о самых общих шагах, то это:
- диверсифицикация указанного выше риска и интенсификация научных исследований в других направлениях;
- переориентирование публикационной стратегии с "просто публиковаться" или "публиковаться как можно больше" на "публиковаться в как можно более авторитетных и влиятельных журналах"
- отслеживание масштабных исследовательских проектов, подобных описанным выше: в каких ещё коллаборациях мы можем пригодиться?

2.44%: Сентябрь 2014

Очередные данные по достижению 2.44% по состоянию на конец сентября.

Впервые с начала этого года видно положительную динамику по сравнению с предыдущим годом. Тут возможно два варианта: либо в отечественной науке действительно начинаются качественные изменения публикационной культуры, либо это - статистическая погрешность. Я склоняюсь к первому варианту и вот почему.

Если мы посмотрим историю ежемесячных срезов относительного количества российских работ в Web of Science за 2014й год, которые я делал с марта, получается следующая картина.

Полагаю, это связано с бОльшими сроками получения нами данных от российских журналов, чем от международных, из-за чего в начале года относительное количество российских статей меньше. По этой же причине окончательные цифры публикационной активности интересующего вас года можно увидеть в Web of Science ближе к середине следующего года. Пока это всего лишь догадка, в течение ближайших шести месяцев мы сможем её проверить и, по-моему, единственное, что может этому помешать - это если маятник настроений научного сообщества качнётся обратно в сторону изоляции российской науки от мировой.

Не могу не упомянуть об этом, поскольку меня настораживают разговоры о том, что "международные издательства сговорились против российских учёных и перестали принимать российские статьи". Учёному, у которого отсутствует внутренняя мотивация опубликоваться для как можно более широкого круга читателей, очень удобно утверждать подобные вещи, ведь это освобождает от необходимости публиковаться в хороших журналах, да и проверить эту информацию практически невозможно (вспомним критерий Поппера?).

Всё умное по теме подобных санкций сказано в двух очень хороших статьях "Троицкого Варианта" здесь и здесь.

Соотношение процитированных и непроцитированных работ у ведущих российских университетов: часть III

Прошло полгода с того момента, как я впервые попробовал оценить этот показатель у университетов проекта "5-100". Что приятно удивляет: в ходе наблюдений лидирующая тройка не меняется - это по-прежнему НГУ, МИФИ и МФТИ. Это ещё раз подтверждает исходную догадку, что метод с ограничениями, но подходит для распознавания возникающих тенденций роста (или снижения) эффективности исследований до того, как его можно будет увидеть на основе других, более распространённых показателей.

Соотношение процитированных и непроцитированных работ университетов-участников проекта "5-100"

После ведущей тройки плотность результатов довольно высокая, и, особенно за прошедший квартал, позиции остальных участников относительно друг друга успели поменяться гораздо сильнее, чем я ожидал. Радует, тем не менее, что у большинства университетов-участников проекта этот показатель выше среднего по России (на момент написания статьи - 31.46%).

Как я писал в своей первой статье на эту тему, метод, в силу особенностей поведения цитирования в общественных науках, практически неприменим к Высшей Школе Экономики. Первые данные по цитированию статей этих университетов, опубликованных в 2013 г., уже доступны в InCites, и там мы можем посмотреть тот самый показатель нормированного цитирования, который применяется в рейтинге Times Higher Education. По нему ВШЭ можно смело относить к четвёрке лидеров среди университетов "5-100". Единица - среднемировой уровень.

Ведущие российские университеты по показтелю нормированного цитирования статей 2013 г.

Причём, такая цитируемость - нормированная по предметной области, году публикации и типу документа - наблюдается у них не только в 2013м году.

Динамика нормированной цитируемости статей, опубликованных с 2006 года

В прошлой, второй статье на эту тему, я упоминал, что уже коплю данные по соотношению процитированных и непроцитированных статей за 2014й год, но по-прежнему считаю, что по этим данным какие-то выводы делать рано. Тем не менее, и там ведущая тройка вместе с НИТУ "МИСИС" и Санкт-Петербургским Политехническим Университетом занимает верхние строчки.

Интересные наблюдения получились с соотношением работ 2013 и неполного 2014 года. Поскольку более половины от ожидаемого количества работ 2014 года уже добавлена в базу, мы можем не только выделить лидеров роста публикационной активности среди университетов в этом году, но и предсказать, сколько статей в Web of Science у них будет по итогам 2014 года (что можно будет увидеть в Web of Science в июне 2015го).

Прогноз показателей публикационной активности университетов

Иными словами, имеется некоторая вероятность, что НГУ по итогам года вплотную приблизится по показателю научной продуктивности к СПбГУ, у которого на настоящий момент за 2014 год имеется 770 статей.

Следующий обзор на эту тему - и уточнённый прогноз показателей публикационной активности университетов - в начале декабря.

2,44%: Август 2014

Очередное обновление статистики по 2,44%. Срез данных по состоянию на 28е августа.

На сегодняшний день имеем 17499 российских статей 2014 года. Год назад в этот день статей 2013 г. было чуть меньше - 16861.

2,44%: Июль 2014

Очередное обновление статистики по 2,44%. Срез данных по состоянию на 31 июля этого года.

Российские журналы в свежей редакции Journal Citation Reports

Как я писал во вчерашнем посте, сегодня ночью вышла обновлённая редакция Journal Citation Reports - базы данных, содержащей, помимо всего прочего, наиболее распространённый индикатор авторитетности научных журналов - импакт-фактор.

Российских журналов, коих в прошлом году там было 154, теперь чуть поубавилось: шесть журналов вылетело, один журнал получил свой первый импакт-фактор и ещё один "переехал", иными словами - поменял прописку в Journal Citation Reports, с Шотландии на Россию - то есть, теперь мы имеем 150 российских научных изданий. Оговорюсь - в Web of Science российских журналов больше, а те, кто сейчас не имеют импакт-фактора - это либо издания гуманитарного профиля, либо совсем недавно добавленные, по которым данных для расчёта этого показателя пока не накопилось. Приводить здесь полный список российских журналов с их импакт-факторами я не буду, поскольку база доступна по подписке, но некоторыми наблюдениями поделюсь.

Самоцитирование

Идеи издательств повысить импакт-фактор журнала, обязав присылающих статьи авторов ссылаться на предыдущие материалы этого же журнала, столь же стары, сколь и примитивны. Journal Citation Reports уже давно позволяет отслеживать, каким был бы импакт-фактор журнала без самоцитирования. У некоторых изданий импакт-фактор подрос значительно, иные даже вышли в топ-5 в России по этому показателю. Не будучи экспертом по взаимоотношениям между издателями и авторами, не имею морального права утверждать, что все эти журналы выдвигают требования о цитировании своих же статей, но цифры говорят вот что:

Более того - инструментарий Journal Citation Reports позволяет смотреть, откуда именно приходили цитирования на статьи того или иного журнала в том или ином году, что даёт возможность даже неискушённому пользователю оценивать "взаимное" цитирование журналов - которое, хоть и не регистрируется как самоцитирование, но тоже входит в набор недобросовестных практик отдельных издательств. Со всеми такими случаями мы боремся вплоть до отзыва у журнала его импакт-фактора. В этой связи очень приятно видеть сразу несколько российских журналов - не буду переходить на личности, - расставшиеся с такой практикой, пусть даже и ценой существенного снижения своих импакт-факторов.

Лидеры роста

C чувством глубокого пиетета привожу также двух настоящих лидеров роста - журналы, которые смогли значительно поднять свои импакт-факторы без злоупотребления само- или взаимным цитированием:

Если рост импакт-фактора журнала Russian Mathematical Surveys вызван, помимо прочего, существенным сокращением количества статей, то есть, знаменателя дроби, по которой рассчитывается импакт-фактор, то Acta Naturae хочется выделить особо - журнал довольно новый, и это, на мой взгляд, - то, чего сильно не хватает российской науке: хороших журналов, создаваемых по международным стандартам и чьи редколлегии учитывают международный опыт и активно пытаются перенять его. Неплохая идея для стартапа, кстати.

Добро пожаловать в клуб!

Ну и, наконец, журнал Markov Processes and Related Fields, который мы расписываем с 2011 г. и который впервые получил импакт-фактор. Значение его - 0,357 - пока не очень велико, но со своей стороны надеюсь, что сценарий Acta Naturae будет повторяться.

Зачем нужен импакт-фактор

Импакт-фактор используется как показатель авторитетности или влиятельности научного журнала уже почти 40 лет. Причины его популярности просты - он был первым, он лёгок в понимании, а данным, на которых он рассчитывается, доверяют. Но, как и любой другой наукометрический индикатор, использовать его нужно аккуратно: всё больше людей в России и СНГ уже понимают, что в разных областях знания импакт-факторы разные, и, следовательно, сравнивать журналы по импакт-фактору надо только в рамках одной предметной области. При этом, проблемы начинают возникать тогда, когда импакт-фактор начинают использовать для оценки научной деятельности учёных.

Логика этого стремления понятна: если мне удалось опубликоваться в журнале с импакт-фактором X, это говорит что-то о качестве моей работы уже сегодня, и мне не надо ждать пары лет (опять-таки, в иных областях - и до пяти), пока мою работу процитируют, и о её качестве можно будет судить. Тем не менее: при оценке деятельности учёного мы должны оценивать именно результаты его работы, в то время как импакт-фактор - это показатель качества самого журнала, но ни в коем случае не статьи.

Вот распределение частот цитирований более чем 200 статей одного из российских журналов с импакт-фактором около единицы, опубликованных в 2012-13м гг.:

Получается, что если оценивать мою работу только по импакт-фактору - вне зависимости от того, была моя работа в этом журнале процитирована 0, 1, 15 или 18 раз - я получу в зачёт единицу, хотя чуть более четверти всех рассматриваемых работ были реально процитированы лишь однажды. И чем больше импакт-фактор у журнала и чем больше статей он публикует ежегодно - тем значительнее будет разница между импакт-фактором и реальной цитируемостью случайной его статьи.

Именно поэтому мы настоятельно не рекомендуем использовать импакт-фактор для оценки деятельности автора, организации или страны в целом.

Для чего импакт-фактор хорош применительно к учёным - так это для выбора журнала, в котором стоит опубликоваться, а применительно к руководству научных организаций - для стимулирования публикационной активности. МГУ, например, уже не первый год практикует доплаты своим сотрудникам за публикации в 25% наиболее высокоимпактовых журналов в каждой предметной области, да и большинство российских университетов проекта "5-100" практикуют нечто подобное.

Сегодня ночью выходит обновлённая редакция нашей базы Journal Citation Reports, где, как уже анонсировано, 246 журналов со всего мира получат свой первый импакт-фактор.

И пара полезных ссылок:

Запись базового веб-семинара по Journal Citation Reports

Запись продвинутого веб-семинара по Jounral Citation Reports

2,44%: Июнь 2014

Очередной последний четверг месяца и очередное обновление данных по 2,44%

По абсолютным показателям идём с опережением прошлогоднего графика, но стоит помнить, что и общее количество статей в Web of Science год от года растёт, поэтому относительные показатели России смотрятся скромно по сравнению с 2013м годом.

Очень хорошая еженедельная динамика была в течение последнего месяца. Если бы такая статистика - около 850 новых документов еженедельно - была каждую неделю, то 2.44% достигли бы уже в этом году.

Соотношение процитированных и непроцитированных работ у ведущих российских университетов: часть II

3 месяца назад я попытался использовать показатель соотношения процитированных и непроцитированных работ 2013 года, чтобы сопоставить эффективность работы университетов-участников проекта "5-100". Давайте посмотрим, что изменилось с тех пор.

Соотношение процитированных и непроцитированных работ университетов-участников проекта "5-100"

При этом, средний показатель по России на сегодня: 25,01%.

Существенно изменилась только позиция Томского Государственного Университета, но это - результат не совсем корректных измерений в прошлый раз. Это была внутренняя проблема выверки вариантов написания названий организаций, которую нам удалось решить.

Рискну предположить, что когда у нас появятся первые результаты по нормированному цитированию статей этих университетов (то есть, наиболее точному показателю эффективности их работы) - позиции участников так же будут коррелировать с тем, что вы видите выше. Если моё предположение верно - это означает, что Новосибирский Государственный Университет имеет замечательные шансы усилить свои позиции в рейтингах уже в течение ближайших двух-трёх лет.

Я уже построил точно такую же таблицу по цитируемости статей, опубликованных в 2014м году, но, поскольку цитирований там сейчас очень мало, публиковать эти наблюдения я пока не стану. Интересно другое: раз у нас есть данные по количеству статей каждого из этих университетов за 2013й год (которые применительно к целям нашего исследования уже можно считать окончательными) и за неполный 2014й, мы можем попробовать предсказать основных лидеров роста публикационной активности в этом году. Смотрите, что получается:

Соотношение публикационной активности за полный 2013 и неполный 2014 годы по состоянию на 16 июня 2014 г.

Среднее значение по России и миру на сегодня (довольно близки друг к другу): 29%.

Отличные новости для Томского Политеха и МИСиС, сильнее других прибавляющих в плане публикационной активности в этом году.

Напомню, зачем мы это делаем: модернизация публикационной стратегии университета как часть программы по повышению его конкурентоспособности - процесс длительный, настолько, что стандартными средствами анализа эффект от решений руководства можно будет оценить не через год и не через два. Мы пытаемся найти более оперативные способы оценки этой работы на основе тех показателей, которые можно легко почерпнуть прямо из Web of Science.

Следующий обзор на эту тему - в начале сентября.

2.44%: Май 2014

Я продолжаю слышать мнения о том, что 2.44% надо считать только по статьям в Web of Science, то, есть, по документам типа "Article". Боюсь, ничего такого в "Указе о мерах по реализации государственной политики в области образования и науки" нет - там достаточно чётко сказано:

"увеличение к 2015 году доли публикаций российских исследователей в общем количестве публикаций в мировых научных журналах, индексируемых в базе данных «Сеть науки» (WEB of Science), до 2,44 процента."

Ну а я привожу данные по состоянию на конец мая 2014 года:

2.44%: Апрель 2014

"Об этом - на следующей неделе", сказал я ровно месяц назад и не написал с тех пор ни одного поста. Дело в том, что мой коллега Сергей Парамонов опередил меня и выложил куда более красиво оформленный результат похожего исследования у себя в твиттере, а я сейчас приведу обновлённые данные по относительному количеству российских публикаций в Web of Science. Формат тот же, что и в предыдущем посте на эту же тему:

Видно, что по сравнению с мартом этого года ситуация начинает исправляться, хоть и всё ещё далека от показателей 2013 года, а тем более - от цели в 2.44%.

Шлейф из низкоцитируемых статей

В одном из предыдущих постов я обещал проверить догадку, согласно которой большой шлейф из нецитируемых статей является причиной общей низкой цитируемости российской науки. И проверил. Не думаю, что раскопал нечто сенсационное, но картина получилась красивая, наглядная и немного грустная.

Все эти данные были взяты из InCites (национальные Research Performance Profiles, статьи, опубликованные с 2001 по неполный 2013й год), но, в принципе, то же самое можно сделать и с помощью Web of Science - разница в относительных показателях будет принебрежимо мала, только повозиться тогда придётся чуть-чуть подольше. Публикации были разбиты на группы: с цитированием 0, 1, 2, 3 - и все остальные.

Вот так это выглядит в табличном виде:

А вот так - в графическом, изображение кликабельно:

Да, российские учёные публикуют довольно много статей по математике, где цитирование невысокое, и относительно мало статей по высокоцитируемым предметным областям вроде генетики или онкологии, но общей картины это не меняет. Таким образом, большее количество низко- и нецитируемых статей "съедает" долю тех статей, которые оказывают реальное влияние на контекст сегодняшних научных исследований в мире.

Этот пост я пишу, возвращаясь из Санкт-Петербурга, где мы встречались с университетами-участниками проекта 5-100, в ходе которых мы нашли ещё одну интересную закономерность, проанализировав, где же публикуются их учёные. Об этом - на следующей неделе.

2,44%

Этот пост должен был появиться здесь 8го мая 2012 г., но до последних нескольких недель вопрос о том, как считать относительное количество российских статей в Web of Science, для меня был закрыт - до сих пор я был полностью за то, чтобы измерять процент российских работ по всем типам документов, которые есть в базе. И когда я слышал предложения: "а давайте посчитаем публикационную активность только по журнальным и конференционным указателям" или "давайте сравним только количество статей и обзоров" - у меня возникала полная уверенность, что сейчас начнётся манипуляция цифрами, о своём отношении к которой я уже писал здесь.

Тем не менее, стоит признать, что многообразие научных материалов, расписываемых в реферативных базах данных, приводит к некоторой неоднородности массива данных, которой можно пренебрегать в одних случаях, но которая становится совершенно неприемлемой в других. Если, к примеру, взять книги - в них далеко не всегда аффиляция указывается по тем же стандартам, которые используются в журналах. В результате, поиск по автору для последующей оценки его публикационной активности совершенно не страдает, а вот поиск по адресу для оценки организации или страны в целом - очень даже.

Помимо этого, есть такая вещь как citeable items, если дословно перевести на русский - получится забавное "цитабельные материалы". Идея в том, что Web of Science индексирует все материалы расписываемого журнала, по которым указывается необходимая реферативная информация, это могут быть и авторские колонки, и письма, и т.д. - всего как минимум 38 типов документов. Разумеется, далеко не каждый из них должен быть использован для оценки, поэтому в InCites мы используем уже только citeable items: оригинальные статьи, обзоры и материалы научных конференций, выходящие в журналах Web of Science. Таким образом получается следующее - извините, никак не научусь пользоваться blogger'ом, красивые таблицы умею вставлять только картинкой:

Важно: то, что цифры 2014 года пока неокончательные, это очевидно. Финальные цифры 2013 года будут доступны в мае-июне этого года, мы ожидаем, что абсолютное их количество превысит и показатель 2012, и 2011 г., а относительное - едва ли изменится.

Также можно утверждать следующее: очевидно, что 2013й год был лучше остальных и ознаменовался ростом публикационной активности, как ни считай, а вот цифры 2014го г., хоть пока и находятся в рамках статистической погрешности, меня настораживают.

Эти показатели, покуда вопрос 2.44% актуален, буду обновлять в этом же блоге ежемесячно.

Соотношение процитированных и непроцитированных работ у ведущих российских университетов

На выходных задумался, а что же мы совсем не пользуемся таким замечательным показателем, как соотношение процитированных и непроцитированных статей для оперативной оценки, например, университетов-участников проекта 5-100? Смотрите, что можно сделать, если сравнить их таким образом за 2013й год:

	Процитированные статьи	Всего статей	Процент процитированных статей
Новосибирский Государственный	272	949	28,66%
НИЯУ МИФИ	134	489	27,40%
Самарский Аэрокосмический	10	41	24,39%
МФТИ	160	695	23,02%
Дальневосточный Федеральный	49	223	21,97%
Казанский Федеральный	83	433	19,17%
ННГУ им. Лобачевского	59	315	18,73%
Санкт-Петербургский Политехнический	57	311	18,33%
ИТМО	49	273	17,95%
НИТУ МИСиС	42	237	17,72%
ЛЭТИ	20	114	17,54%
Уральский Федеральный	91	540	16,85%
Томский Государственный	83	515	16,12%
Высшая Школа Экономики	41	283	14,49%
Томский Политехнический	33	238	13,87%

Особняком здесь стоит только Вышка, у которой показатель ниже среднего всё-таки можно объяснить уклоном в сторону общественных наук, где цитируемость стандартно ниже и медленнее (впрочем, вот здесь есть все основания полагать, что и по этому показателю ВШЭ будет медленно, но подниматься в этом списке), и СГАУ, у которого количество статей пока довольно невысокое. Теперь я раз в квартал, а может, и чаще, буду обращаться к обновлённым показателям, в том числе - за 2014й год, и сравнивать их с приведёнными выше, а результаты обязательно буду выкладывать здесь. Теперь давайте попробуем разобраться, много это или мало в масштабах России.

МГУ: 23.1%

СПБГУ: 22.4%

Россия в целом за 2013й год: 17.2%

А вот - некоторые международные ориентиры:

Cambridge University: 34.9%

Humboldt University (94е место в рейтинге THE за прошлый год): 31.5%

Не думаю, что этот показатель когда-нибудь станет популярным, но в данном случае он интересен тем, что:

- в гораздо большей степени, чем суммарное или среднее цитирование, годится для сравнения организаций, работающих в разных предметных областях (хотя окончательно и не решает проблему с разным поведением цитирования в разных областях знания);

- для его подсчёта не обязательно ждать конкретной даты: срез мы можем сделать когда захотим, главное - чтобы дата выгрузки совпадала по всем сопоставляемым организациям и/или странам. В этой статье выгрузка сделана по состоянию на 7е марта 2014 г;

- есть у меня предположение (дополнительно проверю и результатами поделюсь здесь же), что именно шлейф из большого количества нецитируемых работ так негативно влияет на показатели России в мире, и стремление к снижению их количества на уровне организации или страны в целом как раз может дать толчок суммарным индикаторам.

Наконец, количество процитированных и непроцитированных работ можно очень легко подсчитать, имея под рукой только Web of Science: находим все статьи за интересующий период, сортируем их по цитируемости и, почти как предлагал в своё время Хорхе Хирш,  листаем до страницы, на которой находится граница статей с цитированием 1 и цитированием 0.

Научная продуктивность и добавление журналов в Web of Science

Когда перед практически любым управленцем в российской науке встаёт задача повышения эффективности исследовательской деятельности, он, вероятнее всего, предложит два направления работы: (1) активнее и рациональнее публиковаться и (2) добавить больше наших журналов в "ведущие мировые базы данных". Это - нормальная реакция любого человека, который привык видеть дальше своего носа и мыслить стратегически. Первый путь очевидный, но трудный и долгий, поскольку по нему идут все страны мира, второй - хитрый и оригинальный, да и выглядит проще и быстрее. Проблема в том, что первый путь действительно работает, в то время как второй во многом подменяет исходную задачу и настраивает на банальную накрутку показателей при минимальном влиянии на собственно эффективность исследований.

В таких разговорах я всегда предлагаю ответить на простой вопрос: для чего мы это делаем? Задача, напомню, стоит следующая: повысить эффективность исследований, а не продвинуть нашу научную периодику - а это, согласитесь, две разные вещи. Позволю себе отстранённую метафору: если я тренирую футбольный клуб и хочу сражаться в Лиге Чемпионов - я буду изучать опыт тренеров из европейских клубов, уделять больше внимания отбору, подготовке, технике и взаимодействию игроков, а не рекламировать форму и бутсы, в которых они выступают.

Опасно здесь ещё и то, что зачастую эти две задачи - интенсификация собственно научных исследований и продвижение научного журнала - оказываются диаметрально противоположными и противоречат друг другу. Представьте себе российского учёного, которого "просят" отправить его свежую статью не в Nature и не в Physical Review, а поддержать отечественного производителя и отправить её в "аналогичный" российский журнал или без вопросов опубликовать её в вестнике родного университета. Эффект - чем активнее издательство это практикует, тем выше цитируемость у журнала - за счёт показателей нашего учёного. Не берусь оценить масштаб проблемы, но, судя по количеству её упоминаний, что мне довелось слышать за 5 лет работы с Web of Science в России, мы имеем дело с явлением, в целом негативно влияющим на видимость и авторитет российской науки.

Следующий момент - это цитируемость статей. При всём уважении к российским научным издательствам, и аудитория, и средний импакт-фактор у российского журнала - на порядок ниже, чем аналогичный показатель у международных изданий. Безусловно, попадание журнала в базу уровня Web of Science позволит расширить его аудиторию, а значит - и потенциально увеличить цитируемость его статей, но едва ли это позволит наверстать десятикратное отставание при сохранении прежних процессов во многих издательствах. Добавьте к этому такую вещь как отношение к попаданию в подобные базы данных - для некоторых оно всё больше становится целью, а не средством. Мне регулярно поступают запросы от издательств, желающих добавить журнал в Web of Science, и - опять же, при всём уважении к сотрудникам их редакций - мало кто может сам себе ответить на вопрос "для чего мы это делаем?".

В заключение приведу пример стран, с которыми нас так любят сравнивать во всём мире. Не так уж и много осталось людей, незнакомых с взрывных ростом публикационной активности Китая с конца 90х гг (см. график из моего предыдущего поста). Сейчас они публикуют в 8 раз больше статей, чем Россия, но при этом количество китайских и российских журналов в Web of Science практически равно. Индия, ныне публикующая в Web of Science вдвое больше статей, чем Россия, имеет там примерно в полтора раза меньше своих национальных журналов. Причина проста - большинство китайских и индийских статей публикуется в международных научных изданиях.

Несколько полезных ссылок:

- список журналов стран СНГ в Web of Science

- список журналов открытого доступа в Web of Science

- удобный поисковик по названиям журналов во всех присутствующих в Web of Science базах данных

- политика отбора журналов в Web of Science

Рекордный год для Российской науки

С начала февраля прошлого года мы начали выгружать еженедельные (чаще нельзя, поскольку обновляется Web of Science раз в неделю - в ночь со среды на четверг) данные по статьям российских авторов, и к сегодняшнему дню накопили их ровно за один год. И вот что по ним видно (изображения кликабельны):

Еженедельное количество российских статей, попадавших в Web of Science с 7.02.13 по 6.02.14

Первое, что нужно отметить: мы идём с существенным опережением прошлогоднего графика (31 875 статей 2013г. сегодня против 30 528 статей 2012г. год назад). Какое-то количество статей ещё будет добавлено в базу (судя по опыту прошлого года - где-то 3000-4000), и их количество стабилизируется к середине года и составит, как мы прогнозируем, чуть больше 35000. Кто-то скажет, что это - мелочи по сравнению с амбициозной задачей достичь относительного количества в 2,44%, что равняется почти 50000 статей, в 2015 году, но исторически это будет первый случай, когда количество российских статей превысит в Web of Science эту психологически важную отметку. Вот так вела себя публикационная активность стран BRIC последние годы:

Ежегодное количество статей стран BRIC в Web of Science

Такие показатели после более чем двадцатилетней стагнации - это достижение, и я от всей души поздравляю и благодарю российских учёных, сумевших сделать невозможное в условиях не самого простого для отечественной науки года.

Публикационная активность в ведущих мировых журналах - это, безусловно, важно, поскольку является индикатором научной производительности, но как обстоят дела с цитированием, ведь оно указывает на авторитетность и эффективность исследований? Тут мы будем отслеживать обновление консолидированных показателей по странам в нашем другом инструменте, который называется InCites и предназначен именно для оценки и анализа результатов научной деятельности, и обязательно будем делиться новостями здесь. Пока что Россия с показателем 5.34 цитирования на одну статью, опубликованную за последние 10 лет, занимает почётное 129 место из 147 возможных, но мы настроены оптимистично.