Friday, 28 July 2017

Российские публикации в наиболее престижных журналах Web of Science Core Collection

Отвлёчёмся на денёк от профилей научных организаций, тем более что в InCites вышла новая и очень интересная функция, которая сильно поможет нам в оценке российской, да и вообще всей постсоветской науки.

Вот уже месяц как у нас есть возможность смотреть, в журналах какого квартиля по импакт-фактору (и насколько активно) публикуются те или иные авторы, организации и страны. Пока такой функции не было, всё это вручную высчитывал для вас Иван Стерлигов из Высшей Школы Экономики, теперь же этот процесс занимает не сутки и не часы, а минуты.

Динамика публикационной активности России и некоторых других стран в Web of Science Core Collection, за исключением Emerging Sources Citation Index
Напомню: у России уже пятый год очень заметно растёт публикационная активность в ведущих мировых научных журналах, заветный показатель в 2,44% из президентского указа либо уже достигнут, либо вот-вот будет, смотря насколько внимательно вы вчитываетесь в текст самого указа, но проблема того, что нас мало цитируют, остаётся.


И все эти пять лет мы говорим: это происходит оттого, что наши учёные публикуются в хороших (прошедших самую жёсткую процедуру отбора журналов в мире), но низкоимпактовых журналах. Низкоимпактовых, то есть, низкоцитируемых - в первую очередь журналы эти слабо цитируются из-за того, что читательские аудитории у них небольшие. И теперь мы можем не только в несколько кликов посмотреть, насколько много или мало мы публикуемся в журналах определённого уровня, но и выявить чемпионов в России по росту количества публикаций в наиболее престижных изданиях.


Вот, например, разбивка по квартилям журналов всё тех же стран-соседей России по рейтингам публикационной активности за 2007-2016 годы. В кружке над гистограммой мы добавили показатель нормализованной средней цитируемости публикаций каждой из этих стран за этот же период.

Соотношение публикаций в журналах разных квартилей за 2007-2016 гг. и нормализованная средняя цитируемость этих публикаций у некоторых стран
Как видно, Россия в этом ряду - наиболее активно публикующаяся страна в журналах четвёртого квартиля не только по относительным, но и по абсолютным показателям, а между соотношением количества публикаций в высоко- и низкоимпактовых изданиях и итоговой цитируемостью этих публикаций есть очень хорошая корреляция.

Тем не менее, положительная динамика есть - мы начинаем всё активнее публиковаться в ведущих журналах. Посмотрите, количество российских публикаций в журналах первого, второго и третьего квартилей за последние 10 лет почти удвоилось.

Динамика публикационной активности России в разбивке по квартилям журналов

Тем не менее, растёт и количество публикаций в источниках, не имеющих импакт-фактора: это материалы конференций, книги, журналы гуманитарного профиля (для них, как многие из вас знают, мы импакт-фактора не рассчитываем, поскольку законы наукометрии в гуманитарных областях работают гораздо хуже) и журналы Emerging Sources Citation Index. Хорошо это или плохо - сказать сложно: доклады на топовых мировых конференциях - конечно, хорошо, чрезмерная публикационная активность в журналах Emerging Sources Citation Index при возможности отправить эту же рукопись в журнал с импакт-фактором - не очень.

Так кто же в России активнее всего публикует работы в ведущих даже по меркам Web of Science журналах? Говорить об этом можно долго - теперь мы можем изучить:

- и я призываю тех, у кого есть доступ к InCites (а сейчас это уже десятки научных организаций в России), самостоятельно воспользоваться новой функцией в отчётах по организациям и по людям, я же расскажу только о наиболее значимых, на мой взгляд, тенденциях.


Как сравнить списки организаций по связанным с квартилями показателям в InCites. Изображение кликабельно, как и все остальные.

Наблюдение первое, самое важное: Курчатовский Институт, ФИАН и Объединённый Институт Ядерных Исследований (организации, наиболее активно участвующие в крупнейших международных коллаборациях) остаются в топе по этому показателю даже если задать максимальное пороговое значение для количества авторов, равное единице. То есть, в ведущие журналы мира они умеют попадать и безо всяких Atlas или CMS collaborations:

Процент работ ведущих российских научных организаций, написанных без каких-либо соавторов, в журналах первого квартиля по импакт фактору

Наблюдение второе: лидеры роста публикационной активности в наиболее престижных журналах мира - это пять университетов проекта 5-100. Какие - смотрите ниже:

Органзации-лидеры роста публикационной активности в журналах первого квартиля по импакт-фактору. Количество соавторов для каждого документа ограничено 100, чтобы исключить влияние проектов Большого Адронного Коллайдера и подобных им.
В заключение - ещё три важных оговорки.

Первая. Использовать импакт-фактор сам по себе как показатель оценки - плохая идея. Он является лишь показателем качества журнала, но не самого результата научного исследования. Так, более трети документов, опубликованных в Nature с 1980 года, до сих пор не были процитированы ни разу, а огромное количество работ, за которые их авторы были удостоены Нобелевских премий, были опубликованы в журналах второго и третьего квартиля. Про Нобелевские работы в журналах четвёртого квартиля - не смотрел, врать не буду. Тем не менее, как дополнение к существующим показателям публикационной активности и цитируемости, использование импакт-фактора, как мы только что видели, очень оправдано. Тем более оно оправдано для стимулирования публикационной активности там, где с цитируемостью публикаций дела обстоят пока не очень хорошо.

Вторая. Не так важно численное значение импакт-фактора, как то место, которое журнал по этому показателю занимает в своей предметной области. Квартили в этом смысле - очень хорошая и наглядная разбивка.

И третья. Совсем зацикливаться на журналах первого и второго квартилей тоже не стоит. В зависимости от той предметной области, которой вы занимаетесь, в зависимости от вашего стажа в научных исследованиях вашим потолком на сегодняшний день вполне может быть журнал третьего, четвёртого квартиля - или даже журнал из Russian Science Citation Index. Просто помните об огласке, придаваемой результатам ваших научных исследований: чем авторитетнее журнал, чем у него шире читательская аудитория - тем лучше.

Monday, 17 April 2017

Профили организаций в Web of Science Core Collection

Свершилось! С апреля этого года все государственные научные организации России получили доступ к Web of Science (кстати, если вы - государственная научная организация из России, и по каким-то причинам по этой ссылке система всё ещё просит у вас логин и пароль, напишите, пожалуйста, в отдел электронных подписок ГПНТБ России по адресу el-podpiska@gpntb.ru, чтобы этот доступ заработал и у вас.

До сих пор у любого пользователя Web of Science рано или поздно вставала следующая проблема: как найти все публикации конкретной научной организации? Ведь разные авторы в разных источниках по-разному указывают название одного и того же института или университета, и, когда с вас требуют отчётность по публикационной активности или цитируемости, приходится основательно повозиться, чтобы найти все публикации - и это полбеды, ведь надо, чтобы и на той стороне поиск по публикациям провели точно так же.

Несколько лет назад у нас появилась возможность объединять профили организаций, и мы постепенно создали около 200 таких профилей, и теперь наиболее "производительные" в научном плане организации России можно найти в Web of Science Core Collection, просто проведя поиск по полю "Organization-Enhanced" ("Профиль Организации" в русскоязычном интерфейсе). К слову, для МГУ им. Ломоносова таких вариантов мы нашли более 430 - это включая варианты с опечатками, да-да, в научных журналах бывает и такое.


В этом посте я постараюсь ответить на все возможные вопросы, связанные с профилем вашей организации.

Как понять, есть ли у нас профиль и как он называется?

Это можно посмотреть в нашем организационном каталоге. Как видите на скриншоте выше, под словом "Organization-Enhanced" есть ссылка "Select from index" ("Выбрать из указателя" в русском интерфейсе).



Там можно посмотреть либо по первой букве, либо при помощи поискового окошка, присутствует ли название вашей организации и как именно оно выглядит (естественно, каждое название профиля мы согласовываем с самой организацией, но для нас важно, чтобы оно было максимально простым, без всяких FGAU VPO). Если из списка результатов нажать на кнопку Add - название профиля будет скопировано в строку поискового запроса, если нажать на D - откроется список найденных нами вариантов названия.

Как создаются профили?


Профили мы делаем на основе поля Address. Смотрите, на картинке выше - один из вариантов написания организационной аффилиации СПБГУ. Наша программа разбивает строку "адрес" на части, чтобы понять: это - название организации, это - структурное подразделение (если оно было указано), это - почтовый адрес, город, индекс, страна и т.д. Это - важно, чтобы затем мы могли вручную доработать привязку к тому или иному профилю, и организация, которая находится на улице Кирова, не попала бы в профиль, например, университета имени Кирова.

Но это - детали, в реальности всё намного проще: чтобы мы могли создать профиль вашей организации, нам нужен список адресов в том виде, в котором вы их видите выше, а также желаемое название объединённого профиля.

Как сделать этот список?

Данные из Web of Science можно экспортировать для обработки в других приложениях, именно это нам сейчас и понадобится. Давайте разберём по шагам:

Делаем поиск по всем вариантам написания названия вашей организации - по полю Address.


На странице результатов поиска, над списком публикаций, есть кнопка экспорта данных Save to... - нажимаем на неё, выбираем "Save to Other File Formats" ("Сохранить в файл другого формата" по-русски).


Далее выбираем, в каком именно формате мы выгружаем данные: выбираем все публикации с первой до n, содержимое записи: "Full Record" ("Полная запись"), формат файла: "Plain Text" ("Обычный текст").


Система сохранит нам список публикаций в текстовом формате. Надо открыть скачанный файл, в нём нажать Ctrl+A, чтобы выделить всё его содержимое, затем - Ctrl+C, чтобы скопировать его в буфер обмена.

Дальше нужно вытянуть текст, содержащий все варианты адресов вашей организации, из этого файла. Вручную это делать довольно долго, и мы сделали макрос в MS Excel, который сам вытянет эти поля и сложит списком их на отдельном листе. Шаблон файла можно скачать отсюда.

Всё, что теперь нужно сделать с полученным списком - это удалить те варианты, которые не относятся к вашей организации, и, как я уже писал, прислать его мне на адрес pavel.kasyanov@clarivate.com. Небольшая просьба: в заголовке письма напишите, пожалуйста "Профиль организации" - тогда эти письма будут попадать в отдельную папку, и я быстрее смогу их обрабатывать.

После этого я сделаю всё остальное, необходимое для того, чтобы профиль у вас появился. Возможно, нам с вами придётся запастись терпением - тысяча профилей вряд ли будет создана за несколько недель, но я буду пытаться сделать всё возможное, чтобы профиль появился как можно быстрее.

Конечно же, если вдруг в будущем вы найдёте новые варианты написания адреса, которые пока не учтены в профиле (или, наоборот, найдёте ошибочно привязанные варианты написания) - можно будет либо прислать мне и их, либо воспользоваться функцией "Suggest a correction" ("Предложите поправку") прямо из записи о публикации с "проблемным" адресом.

Thursday, 30 March 2017

Зависимость российской науки от коллайдерной иглы

Впервые об ощутимом влиянии Большого адронного коллайдера на результативность российской науки мы задумались примерно два с половиной года назад. Тогда только-только начиналось увлечение рейтингами, стартовал проект "5-100", мы с вами поражались зашкаливающей цитируемости НИЯУ МИФИ и т.д. С тех пор количество российских организаций, участвующих в экспериментах на БАК сильно выросло, многие российские университеты, вошедшие в эти проекты, существенно укрепили свои позиции в уже упомянутых рейтингах, что вылилось для них в дополнительное финансирование и обеспечило больший интерес к этим ВУЗам со стороны как студентов, так и профессоров.

Пусть так же будет продолжаться и дальше - эксперименты на БАК, вне всяких сомнений, являются одними из важнейших проектов в науке последних лет, и одно лишь участие в них уже является своеобразным знаком качества как для учёного, так и для организации. Проблемы начинаются, когда мы пытаемся проанализировать состояние и тенденции в науке университета, активно участвуюшего в этом проекте - или страны, доля БАКовских публикаций которой в общем её научном результате существенна. Заключаются эти проблемы в том, что мы не можем чётко ответить на вопросы, вроде:

- Кто из наших сотрудников работает наиболее эффективно? (Ответом будет: "участники экспериментов на БАК")
- Хорошо, тогда кто из наших сотрудников - "восходящие звёзды"? (Ответ: "Понятия не имеем. Куда ни глянь - одни участники экспериментов на БАК")
- Но тогда хотя бы в каких предметных направлениях мы работаем действительно эффективно? (Ответ очевиден: "физика элементарных частиц!")
- О'кей. А где мы публикуемся и где нам надо публиковаться? (Ответ: "публикуемся в Physical Review C/D/Letters, Physics Letters B и т.д., надо больше публиковаться там же")
- Ладно, а с кем мы сотрудничаем и с кем нам действительно стоит сотрудничать? (Ответ снова очевиден: "сотни организаций-участников указанных экспериментов - вот наша единственно верная политика научного сотрудничества!")

Аналогия с иглой нефтяной, от которой так сильно зависит российская экономика, тут неспроста. За цитированиями, приходящими на публикации мегаколлабораций, иногда можно не только не заметить, что мы отлично работаем и в других направлениях (или, наоборот, самозабвенно цитируем сами себя, уничтожая собственную академическую репутацию), но и поддаться ложным выводам о том, что всё в нашей науке великолепно - и вообще зачем чинить то, что и так прекрасно работает? Сохранение подобного статус-кво, тем не менее, весьма и весьма опасно для устойчивого развития науки, подобный пример в экономике мы и наблюдаем последние 17 лет.

Наукометристы часто говорят о необходимости оценки публикаций, написанных в крупных коллаборациях (около 30 авторов и более), отдельно от остальных. Многие эксперты - например, центра CWTS, составители Лейденского рейтинга - применяют методику дробного учёта цитирования, чтобы делить цитируемость таких публикаций равномерно между всеми участниками, но большинства вопросов это всё равно не снимает. Наша собственная методика расчёта высокоцитируемых авторов также подразумевает исключение всех коллабораций по физике с количеством соавторов более 30.

С марта этого года у нас, наконец, появилась возможность двумя щелчками мыши изолировать эти публикации и провести анализ деятельности любых организаций без учёта таких документов (или, наоборот, только с их учётом).

Давайте ещё раз посмотрим на одни лишь коллайдерные публикации. Вот так шли исследования и публиковались работы на всех семи детекторах (напомню, цифры 2016 г. пока неполные):

Количество публикаций по экспериментам на БАК

Как видно, исследования различаются не только масштабами (4 основных детектора дают основную массу данных) но и результативностью для современной науки - какие-то цитируются лучше, какие-то хуже:

Сопоставление масштабов коллабораций БАК. По горизонтальной оси: количество публикаций за период с 2007 по 2016 гг, по вертикальной оси: нормализованная средняя цитируемость публикаций, размер круга: количество высокоцитируемых публикаций

Более-менее знакомый с положением вещей читатель обратит внимание, что такого показателя цитируемости, пусть он и выше среднемирового значения, но всё же недостаточно, чтобы вытащить в ведущие мировые рейтинги целые российские университеты. Всё дело в том (что для меня как человека далёкого от физики элементарных частиц было удивительной новостью), что большая часть публикаций ALICE, ATLAS, CMS Collaboration и т.д. пишутся индивидуальными авторами с указанием одной из коллабораций в качестве группового автора. Вот небольшая статистика распределения этих публикаций по количеству соавторов:

Распределение публикаций по количеству соавторов

Так вот, самые низкие показатели цитируемости в рассматриваемой выборке - у индивидуально написанных публикаций, самые высокие - у тех статей, где количество работавших над ними исследоателей как раз целесообразно измерять в килоавторах. И вот в эти-то проекты как раз и стремятся войти организации со всего мира. Давайте посмотрим, кто участвует в них со стороны России. Напомню, все изображения кликабельны.


Российские организации, активно участвующие в крупных международных коллаборациях, и наукометрические показатели их участия за 2007-2016 гг.

Я не хотел бы детально разбирать публикации институтов Академии Наук, которые как раз и специализируются на исследованиях в области физики элементарных частиц (хотя и там, полагаю, при помощи новой функции InCItes можно увидеть много интересного, просто задавшись вопросом "что ещё там умеют делать хорошо?"). Давайте разберём университеты, ведь именно применительно к ним новая возможность InCites даёт максимальную пользу.

Российских университетов, чьи сотрудники за последние 10 лет опубликовали в рамках этих коллабораций более 100 статей, семеро. Вот они - и коллаборации, в которых они участвуют:

Российские университеты и коллаборации БАК, в которых они участвуют

Давайте посмотрим, чтО мы наконец-то можем увидеть по каждому из них, если отфильтровать все публикации с количеством соавторов выше определённого значения (оговорюсь, "коллайдерных" статей там будет большинство, но не все)

МГУ и высокоцитируемые публикации

Наукометрические показатели МГУ за 2007-2016 год, исключая публикации с количеством соавторов более 100.

Если ограничить сотней максимальное значение соавторов для публикаций МГУ, нормализованная средняя цитируемость Университета снижается довольно ощутимо: с 0,85 до 0,63. При этом, из 292 высокоцитируемых публикаций остаётся 131, что очень и очень неплохо. Интересное упражнение для самостоятельной работы в МГУ: посмотреть, что это за высокоцитируемые публикации, кто их авторы и почему эти статьи так хорошо цитируются.

МИФИ и новые направления роста

Для МИФИ попробуем снизить пороговое значение количества соавторов до 30 и посмотреть на их научные результаты в разбивке по предметным областям.

10 наиболее популярных предметных областей в НИЯУ МИФИ за 2007-2016 гг., исключены публикации с количеством соавторов более 30.

Нормализованная средняя цитируемость этих публикаций

Очевидные успехи НИЯУ МИФИ делает в области оптики, раз работы Университета в ней цитируются почти в полтора раза лучше среднемирового уровня. Теперь можно открыть список из этих 523 публикаций, чтобы увидеть, кто из авторов МИФИ действительно проводит интересные миру исследования по оптике, а кто - вероятнее всего, занимается преимущественно самоцитированием.

НГУ и география соавторства

Для НГУ зададим тот же порог в 30 соавторов на публикацию. Список основных организаций-партнёров серьёзно поменяется:

12 наиболее активно сотрудничающих с НГУ организаций за период с 2007 по 2016 гг., исключая коллаборации с числом соавторов более 30.

А какие из этих совместных проектов - наиболее цитируемые? Оказывается, совместные 70+ работ с Астонским Университетом цитируются очень и очень хорошо. Уверен, наукометрическое подразделение НГУ об этом факте хорошо знает, но теперь есть возможность продемонстрировать, насколько именно там всё хорошо цитируется по сравнению со средним значением по миру и по университету.

Нормализованная цитируемость этих совместных проектов

МФТИ и публикационная стратегия

Не могу не коснуться своей любимой темы - как университетам качественно увеличить цитируемость, изменив всего одну вещь в управлении публикационной активностью. На примере МФТИ мы можем снова задать порог в 30 соавторов на публикацию, выгрузить данные и построить диаграмму Пислякова, очищенную от крупных коллабораций, и использовать её, чтобы корректировать публикационную стратегию и отслеживать результаты этого изменения.

Соотношение нормализованной цитируемости МФТИ.
Очень удобная штука, чтобы трезво понимать состояние и тенденции в научных исследованиях в таких организациях. Ещё раз - мы никоим образом не умаляем заслуг физиков и медиков, активно участвующих в крупных международных коллаборациях. Но напомню, что рекорд количества соавторов сейчас составляет 5,145 килоавторов на одну статью, и, покуда конца и края этому нет, новая функция существенно облегчит жизнь всем, кто так или иначе связан с наукометрией и оценкой результативности научных исследований.

Thursday, 15 December 2016

Цитируемость ведущих публикаций 2016 г. по альтметрикам

Я настолько давно ничего здесь не писал, что даже представители конкурентов уже подходят на конференциях и спрашивают: в чём дело? Отвечаю: последние несколько месяцев я вручную перебирал 1400 высокоцитируемых публикаций российских авторов, чтобы наградить лучших из них на нашей ежегодной церемонии, которая прошла в позапрошлый четверг. Безумно приятно было презентовать нашу глобальную методологию определения высокоцитируемых авторов, перенесённую на Россию, чтобы в масштабах страны найти тех, кто публикует наиболее важные для сегодняшней мировой науки результаты исследований, ещё приятнее - лично жать руки лауреатам, нашедшим время для того, чтобы приехать на церемонию.



Исправляюсь. Вот, например, вышел позавчера список 100 самых громких научных публикаций 2016 года по показателю альтметрик. Замечательная презентация результатов: хочешь - читай публикации, хочешь - смотри картинки или показатели альтметрик, хочешь - фильтруй как вздумается, а хочешь - скачай исходные данные и анализируй. Ну что, давайте развлечёмся:

(Если вы пока не работали с расширенным поиском в Web of Science - смело прокручивайте вниз до "У нас получился список")
  1. Скачиваем файл для анализа топ-100 публикаций по альметрикам (Read More About This List => Get the Top 100 Dataset)
  2. Открываем его в Excel, находим столбец с DOI
  3. Сразу же справа от столбца DOI делаем пустую колонку, в каждую ячейку в этой колонке, кроме самой нижней, вносим слово OR.
  4. Выделяем оба столбца - DOI и с OR - и копируем их в буфер обмена (CTRL+C)
  5. Открываем Web of Science Core Collection, пишем в окне Advanced Search: DO=( , дальше жмём CTRL+V и в конце скопированного запроса добавляем закрывающуюся скобку - ). Мы только что сделали запрос по 100 DOI документов-лидеров по альтметрикам в 2016м году.
  6. Жмём "Search"
  7. ?????????
  8. PROFIT!!
У нас получился список из 81-й работы, индексируемой Web of Science Core Collection, с их показателями цитруемости. Легко видеть, что многие из них (как, например, лидирующая по альтметрикам публикация Барака Обамы в Journal of American Medical Association), хоть и цитируются в Web of Science, но не особенно активно, а некоторые - точно так же удостоены титула "высокоцитируемые работы" - напомню, это публикации, входящие в 1% самых цитируемых в своей предметной области. Таких по состоянию на сегодняшний день 20.

Увы, всего одна работа из этого списка была опубликована при участии российских авторов: это Observation of Gravitational Waves from a Binary Black Hole Merger, над которой трудились 1,01 килоавтора из сразу двух крупных коллабораций по астрофизике, из них 8 авторов - с физического факультета МГУ и ещё трое - из Института прикладной физики РАН в Нижнем Новгороде.

Зависимость между альтметриками 2016 года и показателями цитируемости очень слабая, с коэффициентом корреляции около 0,25. Для нашего случая это даже довольно много, учитывая, что показатели альтметрик - например, количество твитов или репостов в соцсетях и т.д. - могут начинать расти практически сразу после выхода публикации, в то время как цитирующие статьи надо сначала написать, затем - опубликовать (а перед написанием цитирующей статьи неплохо было бы ещё и провести собственно исследование). О взаимосвязи между показателями цитируемости и альтметриками есть десятки научных публикаций, и вот, простите за рекурсивность, ссылка на самую цитируемую из них. Давайте лучше посмотрим, у каких публикаций совпали высокие показатели альтметрик и цитируемости, картинка ниже увеличивается при нажатии.



Что сразу бросается в глаза - это количество публикаций о вирусе Зика, а также то, что та самая публикация по астрофизике с участием российских авторов оказывается на первом месте.

Теперь - выборочно четыре из четырнадцати публикаций, которые по альтметрикам оказались в топ-100, но до сегодняшнего дня в Web of Science Core Collection не были процитированы ни разу - комментировать не буду, заголовки говорят сами за себя:


Признаюсь, я не очень активно интересовался альтметриками до этого, но после такого вот несложного наблюдения напрашивается следующий вывод: если цитируемость публикации указывает на её важность, авторитетность и влиятельность именно в научных кругах, то альтметрики, помимо весьма приблизительной оценки востребованности публикации научным сообществом, дают также картину популяризации результатов исследования. Это - очень и очень хорошо, учитывая, что недопопуляризация - одна из основных проблем сегодняшней науки, наравне со сложностями её финансирования, рецензирования научных публикаций, бюрократизацией и некоторых других трудностей, если судить по результатам опроса учёных, сделанного три месяца назад порталом The Vox.

Monday, 4 July 2016

Российские журналы в Journal Citation Reports'2016

Пару недель назад вышла очередная ежегодная редакция Journal Citation Reports, где доступны свежие импакт-факторы научных журналов, индексируемых в Web of Science Core Collection. Становится традицией, что каждый год я делюсь интересными наблюдениями о том, что происходит там с импакт-факторами российских журналов.

Количество российских изданий, имеющих заветный показатель, на этот раз уменьшилось на один. По сути, это гораздо больше связано со сменами журналами своих прописок (например, Laser Physics и Laser Physics Letters, которые, насколько я понимаю, перешли под крыло IOP и теперь считаются скорее английскими). Новичок из России в этом году один - это Russian Journal of Herpetology, который издаётся с 1993 года и индексируется в Web of Science Core Collection с начала 2013 г.

Два издания, сильнее всех прибавивших в плане импакт-фактора - это Russian Chemical Reviews, переводная версия "Успехов Химии" (было 2,318, стало аж 3,678), и уже упоминавшийся в прошлогоднем обзоре Acta Naturae (было 1, стало 1,77).

Много это или мало? Само по себе значение импакт-фактора мало о чём говорит, ведь если в области клеточной биологии импакт-фактор, равный трём - это журнал довольно средний, то в области, например, прикладной математики существуют всего два издания с импакт-фактором 3. Именно поэтому гораздо важнее позиция, которую занимает журнал в своей предметной области - или, говоря более грубо, в какой квартиль по импакт-фактору в своей области знания он входит.

Учитывая вышесказанное, довольно эфемерное выражение "журнал с высоким импакт-фактором" обретает куда больший смысл, если уточнить: "журнал, входящий в первый квартиль по импакт-фактору в своей предметной области". Тут есть чёткие значения для каждой предметной области, все они рассчитываются в Journal Citation Reports, и таких изданий первого квартиля в России всего три:

Три ведущих российских научных журнала, входящих в первый квартиль
по импакт-фактору в своих предметных областях
Что ещё заметно по российской научной периодике в Web of Science - это то, что абсолютное большинство публикаций сделано собственно российскими учёными. Вот визуализация страновой принадлежности организаций, чьи авторы публиковались в десяти ведущих (опять же, по импакт-фактору) российских журналах за последние 5 лет, все изображения, как обычно, увеличиваются по клику:

Страновая принадлежность авторов публикаций
в десяти ведущих российских журналах за последние 5 лет.
Визуализация из Thomson Reuters InCites
Нет, было бы странно, если бы на первом месте по публикационной активности в отечественных журналах были американцы или французы, но посмотрите, к примеру, на аналогичную разбивку по страновой принадлежности авторов у одного из ведущих китайских журналов Light-Science and Applications (импакт-фактор 13,6 - это второе место среди 90 журналов по оптике в Web of Science) - заметно, что процент иностранных авторов и соавторов значительно выше:

Страновая принадлежность авторов публикаций
в журнале Light-Science and Applications за последние 5 лет.
Визуализация из Thomson Reuters InCites
Тут надо заметить, что проблемы, похожие на наши - засилье публикаций учёных своей страны в национальных журналах - есть и в Бразилии, правда, для ведущих бразильских изданий эта проблема всё же стоит не так остро.

В разделе "лёгкие здорового человка" я не буду мучать вас аналогичной разбивкой по журналам Nature, Science или PLoS One, давайте лучше посмотрим на Tetrahedron, просто сильный журнал второго квартиля по органической химии с импакт-фактором 2.645:

Страновая принадлежность авторов публикаций
в журнале Tetrahedron за последние 5 лет.
Визуализация из Thomson Reuters InCites
Этим я хочу показать, что фокус на интернационализацию авторского состава - это одна из возможных стратегий для российских журналов, желающих качественно поднять себе импакт-фактор. Больший приток публикаций от иностранных авторов - это возможность более строгого отбора материалов, который, в свою очередь, должен повысить качество статей, попадающих на страницы журнала - а это уже бОльшие аудитории, дополнительные цитирования, новые подписки среди иностранных научных организаций - и, как следствие, рост импакт-фактора и престижа журнала.

На всякий случай, обзоры предыдущих лет:
2015
2014

Monday, 25 April 2016

Эффективность VS формализм в управлении научными исследованиями

Если вы уже какое-то время читаете этот блог, то наверняка знаете, что такое средняя цитируемость, нормализованная по предметной области относительно среднемирового уровня (category normalized citation impact, CNCI). Есть ещё один интересный показатель, о котором я до сих пор особенно не рассказывал - это средняя цитируемость, нормализованная по журналу (journal normalized citation impact, JNCI). Он показывает, насколько лучше или хуже, чем в среднем по журналу (а не по миру, как CNCI), цитируется научная публикация.

Сам по себе индикатор JNCI мало о чём говорит, но как дополнение к показателю CNCI он позволяет понять, в тех ли журналах публикуется рассматриваемый автор или организация. Ещё 5 лет назад мы обратили внимание на тот факт, что для абсолютного большинства российских научных организаций показатель CNCI существенно ниже единицы, которая и является среднемировым уровнем, а вот тот же показатель, но на уровне журнала - вполне на среднем уровне или даже выше него, все картинки кликабельны.

Показатели CNCI (единица - среднемировой уровень) и JCNI
(единица - средний уровень по журналу) у десяти наиболее
активно публикующихся российских организаций в период
с 2005 по 2014 гг. Скриншот из InCites
О чём это говорит? О том, что проблема низкой цитируемости российской науки (а тот же показатель CNCI для России в целом за последние 10 лет равен 0,65 - то есть, на 35% ниже среднемирового значения, - и по нему мы занимаем 136-е место среди 143х стран, которые
опубликовали за эти 10 лет хотя бы 1000 работ) - это результат не низкого качества самих публикаций. Проблема, как следует из этих наблюдений - в журналах, и если понимать, сколько человек во всём мире читает научную периодику, в которой больше всего любят публиковаться российские авторы, то прослеживается достаточно явная связь между размером аудитории журнала и цитируемостью работ.

Теперь перейдём к чуть более сложным вещам. В 2014м году на конференции Science Online заместитель директора библиотеки ВШЭ и по совместительству один из лучших наукометристов в России Владимир Писляков представил идеальный способ визуализации описанного выше наблюдения: мы можем отложить на графике значения JNCI на одной оси, а значения CNCI - на другой.



Получается вот такой красивый график. Поместить на него мы теперь можем всё, что угодно - индивидуальные публикации, средние значения этих показателей для конкретных авторов, университетов или даже стран. Биссектриса здесь делит график на две части и буквально показывает, где цитируемость, нормализованная по журналу, равна цитируемости, нормализованной по предметной области: сильное отклонение от неё вниз и вправо будет с высокой вероятностью говорить о том, что низкоимпактовый журнал "тянет" цитируемость публикаций вниз, сильное отклонение вверх и влево - о том, что автору повезло опубликовать статью в журнале, уровень которого сильно превышает уровень статьи, и таким образом поддерживает её цитируемость. Давайте попробуем отложить на этом графике российские научные организации.

Соотношение нормализованной цитируемости у наиболее активно
публикующихся российских университетов. Источник:
Thomson Reuters InCites

Это - российские университеты, размер кружка - количество публикаций. Здесь и далее окно публикационной активности взято с 2005го по 2014й год. Как видно, основная масса оказывается именно снизу-справа от биссектрисы, то есть - публикуются преимущественно в низкоимпактовых журналах, и абсолютное большинство из университетов в целом цитируется хуже среднемирового уровня. Самый большой кружок - это, разумеется, МГУ, у трёх ВУЗов - МИФИ, СФУ и ВШЭ - ситуация с цитируемостью оказалась даже лучше среднемировой.

Теперь давайте посмотрим на российские исследовательские институты.

Соотношение нормализованной цитируемости у наиболее активно
публикующихся исследовательских институтов. Источник:
Thomson Reuters InCites

С институтами ситуация очень похожая - здесь абсолютно все проявили себя на уровне журнала лучше, чем в мировом масштабе.

Что мы увидим у ведущих мировых научных организаций? Тут, как видите, пришлось продолжить ось CNCI вверх, чтобы Гарвард и MIT уместились на графике. С ними всё понятно - публикуются в лучших журналах, да ещё и на фоне самих журналов отлично выглядят.

Соотношение нормализованной цитируемости у
ведущих 
мировых университетов. Источник:
Thomson Reuters InCites

Интересная картина - у лидеров оставшейся части BRIC, исключая Россию. Обратите внимание, что масштаб диаграммы другой, её пришлось увеличить, чтобы разглядеть, поскольку все организации - довольно близко к центру. Видно, что университет Сан-Паулу смотрится чуть хуже других, но, на самом деле, несильно отклоняется от биссектрисы.


Соотношение нормализованной цитируемости у ведущих научных
организаций BRIC. Источник: Thomson Reuters InCites

Это было сравнение организаций. Очевидно, что более высокорейтинговые почему-то действительно оказываются выше и немного левее на графике. А вот теперь действительно интересные вещи. Что будет, если взять одну конкретную научную организацию и отложить на такой же диаграмме все их публикации в разбивке по журналам?

Начнём, пожалуй, с Университета Лобачевского - тем более что Евгений Владимирович Чупрунов, ректор Университета, на семинаре проекта "5top100" в Нижнем Новгороде в сентябре прошлого года сказал: "У нас рост публикационной активности происходит за счёт хороших журналов с хорошим импакт-фактором", - что было просто музыкой для моих ушей. Напомню, окно публикационной активности ограничено 2005м-2014м годами, то есть, периодом до того, как Евгений Владимирович озвучил это заявление.

Соотношение нормализованной цитируемости у Университета
Лобачевского. Источник: Thomson Reuters InCites
Цифры в скобках - это место, которое журнал занимает по импакт-фактору среди остальных изданий в своей предметной области. К сожалению, видно огромное количество хороших публикаций, которым мировой научное сообщество уделило очень мало внимания, и пара высокоимпактовых жуналов - увы, только по физике - в которых публикации цитировались слабо по меркам журнала и сильно по меркам всего мира. Давайте посмотрим на какой-нибудь академический институт - например, Институт Теоретической Физики им. Ландау:

Соотношение нормализованной цитируемости у ИТФ им. Ландау.
Источник: Thomson Reuters InCites

Снова прекрасно видно, что чем выше в своей предметной области журнал по импакт-фактору - тем лучше цитируются работы, и приятно видеть, что удачный выбор журналов (и, безусловно, ценнейшие результаты научных исследований) не ограничиваются сериями Physical Review/Physical Letters. Остались сомнения? Давайте посмотрим на лёгкие здорового человека аналогичную диаграмму для шести самых популярных журналов в Гарварде:

Соотношение нормализованной цитируемости у Гарварда. Источник:
Thomson Reuters InCItes.

Ну и какие выводы из этого мы делаем.

Первый: формализм в управлении научными исследованиями - плохо. Призывы "публиковаться только в индексируемых ведущими международными базами данных изданиях" - и особенно оценка деятельности по валу таких публикаций - заставляет многих учёных выбирать путь наименьшего сопротивления и публиковаться там, где проще, но при этом аудитория у таких изданий составляет не более тысячи человек. Это действительно увеличивает публикационную активность, но снижает цитируемость, по которой у России дела обстоят и вправду плохо.

Второй: решение "Мы добавим 5 наших журналов в ведущие международные базы данных" - верный способ потерять драгоценное время, и к 2020му году не то что не попасть ни в какие рейтинги, а испортить себе все основные показатели, связанные с цитируемостью. Оставьте инициативы по продвижению журналов редакциям самих журналов.

Третий: любая инициатива, смещающая акцент в управлении научными исследованиями с более активного и креативного продвижения научных результатов (которым, как правило, является научная публикация) на агрессивное продвижение научных журналов, гарантированно затягивает цитируемость научных исследований вот в этот квадрант:



Отдельное спасибо за подготовку этого материала моему коллеге и другу Сергею Парамонову, который уже добавил эту методологию к тем консалтинговым проектам, которые он реализовывает для российских организаций.

Monday, 18 April 2016

Russian Science Citation Index

Ежедневно мы получаем огромное количество писем с вопросами о нашей новой базе данных Russian Science Citation Index, а это значит, что самое время написать отдельный текст с ответом на основные из них.

Зачем вообще понадобилась новая база данных?

Во-первых, для того, чтобы у нас с вами появилась возможность оценивать российскую науку по ещё более репрезентативной выборке. В нашей центральной базе данных Web of Science Core Collection критерии отбора журналов настолько жёсткие, что сейчас им отвечает порядка 160и российских журналов. Существует эта политика отбора в первую очередь для того, чтобы по цитируемости в принципе можно было оценивать науку - иначе как можно оценить влиятельность научной статьи, если одно цитирование на неё идёт из Nature, а остальные десять - из условного "Вестника N-ского Гуманитарно-Строительного Университета"?

Разумеется, наукометрический анализ необходимо проводить по достаточно однородному массиву данных. Web of Science Core Collection, таким образом, формирует высшую лигу мировых журналов, а база Russian Science Citation Index - "первую", в которой собраны журналы, прошедшие хорошо продуманную трёхэтапную (третьим этапом было публичное обсуждение итоговых списков) процедуру отбора, организованную Научной Электронной Библиотекой eLibrary.ru - и, вдобавок, чуть лучше покрывающие отдельные предметные области в России.

Во-вторых, новая база нужна для продвижения успехов российской науки за рубежом. Количество пользователей Web of Science во всём мире уже превышает 30 миллионов, и теперь каждый из них может при поиске находить публикации из Russian Science Citation Index - даже если поиск был сделан на английском языке, поскольку данные каждой публикации дублируются на английском и русском:


Таким образом, любой научный сотрудник, организация или издательство, пока не представленные в Web of Science Core Collection или представленные там скромно, могут использовать Russian Science Citation Index и для того, чтобы доказать важность своих научных результатов, и для того, чтобы более активно информировать о них мировую научную общественность.

У нас был доступ до конца февраля 2016 года, а потом пропал. Когда вы включите его обратно?

С декабря по февраль мы действительно открывали в России всем подписчикам Web of Science доступ к новой базе данных - даже не на бесплатный тест, в общепринятом понимании подписных баз данных, а на вариант бета-тестирования, чтобы собрать информацию о возможных проблемах и ошибках, исправить их и быть готовыми к запуску базы во всём мире в конце марта. Сам же доступ предоставляется за куда меньшую, чем у Web of Science Core Collection, но абонентскую плату.

Что это за дискриминация?

Тоже очень правильный вопрос: почему Thomson Reuters предлагает подписку на Russian Science Citation Index в России за деньги? Действительно, большинство региональных указателей устроены совсем по-другому: либо на весь мир они открываются бесплатно (как Korean Citation Index или латиноамериканская база SCIELO), либо для самой страны она делается доступной бесплатно, а для остального мира - за абонентскую плату (как в случае с Chinese Science Citation Database).

Здесь надо оговориться, что проекты региональных указателей цитирования, как правило, инициируются локальными организациями - например, в Китае это была местная Академия Наук - они же и финансируют проект создания базы. В России найти спонсора подобного проекта нам, к сожалению, не удалось, и мы пошли на некоторый риск, профинансировав разработку базы данных из средств Thomson Reuters, а поскольку мы - компания коммерческая, подобные затраты нам необходимо хотя бы в минимальном виде окупать.

Тогда почему же, спросит внимательный читатель, мы сделали базу данных бесплатной для остального мира? Это было нужно для того, чтобы выполнить вторую задачу проекта - продвижение российских научных результатов в мировое научное сообщество, а для этого важно, чтобы и у профессора в Токио, и у аспиранта в Сан-Паулу, и у проректора в Париже этот доступ появился без необходимости каких-либо дополнительных телодвижений.

Я нашёл в базе данных неточность. Кому об этом сообщить?

Правильнее всего будет обратиться в нашу службу поддержки, сделать это можно прямо из интерфейса Web of Science, воспользовавшись функцией "Suggest a correction" (в русском варианте - "Предложить поправку"):


Где взять список журналов Russian Science Citation Index?

Самый свежий список на момент написания этого текста находится по этой ссылке

У меня остались вопросы. Кому написать?

Напишите мне, адрес моей электронной почты - вверху страницы.