Friday 28 July 2017

Российские публикации в наиболее престижных журналах Web of Science Core Collection

Отвлёчёмся на денёк от профилей научных организаций, тем более что в InCites вышла новая и очень интересная функция, которая сильно поможет нам в оценке российской, да и вообще всей постсоветской науки.

Вот уже месяц как у нас есть возможность смотреть, в журналах какого квартиля по импакт-фактору (и насколько активно) публикуются те или иные авторы, организации и страны. Пока такой функции не было, всё это вручную высчитывал для вас Иван Стерлигов из Высшей Школы Экономики, теперь же этот процесс занимает не сутки и не часы, а минуты.

Динамика публикационной активности России и некоторых других стран в Web of Science Core Collection, за исключением Emerging Sources Citation Index
Напомню: у России уже пятый год очень заметно растёт публикационная активность в ведущих мировых научных журналах, заветный показатель в 2,44% из президентского указа либо уже достигнут, либо вот-вот будет, смотря насколько внимательно вы вчитываетесь в текст самого указа, но проблема того, что нас мало цитируют, остаётся.


И все эти пять лет мы говорим: это происходит оттого, что наши учёные публикуются в хороших (прошедших самую жёсткую процедуру отбора журналов в мире), но низкоимпактовых журналах. Низкоимпактовых, то есть, низкоцитируемых - в первую очередь журналы эти слабо цитируются из-за того, что читательские аудитории у них небольшие. И теперь мы можем не только в несколько кликов посмотреть, насколько много или мало мы публикуемся в журналах определённого уровня, но и выявить чемпионов в России по росту количества публикаций в наиболее престижных изданиях.


Вот, например, разбивка по квартилям журналов всё тех же стран-соседей России по рейтингам публикационной активности за 2007-2016 годы. В кружке над гистограммой мы добавили показатель нормализованной средней цитируемости публикаций каждой из этих стран за этот же период.

Соотношение публикаций в журналах разных квартилей за 2007-2016 гг. и нормализованная средняя цитируемость этих публикаций у некоторых стран
Как видно, Россия в этом ряду - наиболее активно публикующаяся страна в журналах четвёртого квартиля не только по относительным, но и по абсолютным показателям, а между соотношением количества публикаций в высоко- и низкоимпактовых изданиях и итоговой цитируемостью этих публикаций есть очень хорошая корреляция.

Тем не менее, положительная динамика есть - мы начинаем всё активнее публиковаться в ведущих журналах. Посмотрите, количество российских публикаций в журналах первого, второго и третьего квартилей за последние 10 лет почти удвоилось.

Динамика публикационной активности России в разбивке по квартилям журналов

Тем не менее, растёт и количество публикаций в источниках, не имеющих импакт-фактора: это материалы конференций, книги, журналы гуманитарного профиля (для них, как многие из вас знают, мы импакт-фактора не рассчитываем, поскольку законы наукометрии в гуманитарных областях работают гораздо хуже) и журналы Emerging Sources Citation Index. Хорошо это или плохо - сказать сложно: доклады на топовых мировых конференциях - конечно, хорошо, чрезмерная публикационная активность в журналах Emerging Sources Citation Index при возможности отправить эту же рукопись в журнал с импакт-фактором - не очень.

Так кто же в России активнее всего публикует работы в ведущих даже по меркам Web of Science журналах? Говорить об этом можно долго - теперь мы можем изучить:

- и я призываю тех, у кого есть доступ к InCites (а сейчас это уже десятки научных организаций в России), самостоятельно воспользоваться новой функцией в отчётах по организациям и по людям, я же расскажу только о наиболее значимых, на мой взгляд, тенденциях.


Как сравнить списки организаций по связанным с квартилями показателям в InCites. Изображение кликабельно, как и все остальные.

Наблюдение первое, самое важное: Курчатовский Институт, ФИАН и Объединённый Институт Ядерных Исследований (организации, наиболее активно участвующие в крупнейших международных коллаборациях) остаются в топе по этому показателю даже если задать максимальное пороговое значение для количества авторов, равное единице. То есть, в ведущие журналы мира они умеют попадать и безо всяких Atlas или CMS collaborations:

Процент работ ведущих российских научных организаций, написанных без каких-либо соавторов, в журналах первого квартиля по импакт фактору

Наблюдение второе: лидеры роста публикационной активности в наиболее престижных журналах мира - это пять университетов проекта 5-100. Какие - смотрите ниже:

Органзации-лидеры роста публикационной активности в журналах первого квартиля по импакт-фактору. Количество соавторов для каждого документа ограничено 100, чтобы исключить влияние проектов Большого Адронного Коллайдера и подобных им.
В заключение - ещё три важных оговорки.

Первая. Использовать импакт-фактор сам по себе как показатель оценки - плохая идея. Он является лишь показателем качества журнала, но не самого результата научного исследования. Так, более трети документов, опубликованных в Nature с 1980 года, до сих пор не были процитированы ни разу, а огромное количество работ, за которые их авторы были удостоены Нобелевских премий, были опубликованы в журналах второго и третьего квартиля. Про Нобелевские работы в журналах четвёртого квартиля - не смотрел, врать не буду. Тем не менее, как дополнение к существующим показателям публикационной активности и цитируемости, использование импакт-фактора, как мы только что видели, очень оправдано. Тем более оно оправдано для стимулирования публикационной активности там, где с цитируемостью публикаций дела обстоят пока не очень хорошо.

Вторая. Не так важно численное значение импакт-фактора, как то место, которое журнал по этому показателю занимает в своей предметной области. Квартили в этом смысле - очень хорошая и наглядная разбивка.

И третья. Совсем зацикливаться на журналах первого и второго квартилей тоже не стоит. В зависимости от той предметной области, которой вы занимаетесь, в зависимости от вашего стажа в научных исследованиях вашим потолком на сегодняшний день вполне может быть журнал третьего, четвёртого квартиля - или даже журнал из Russian Science Citation Index. Просто помните об огласке, придаваемой результатам ваших научных исследований: чем авторитетнее журнал, чем у него шире читательская аудитория - тем лучше.

Monday 17 April 2017

Профили организаций в Web of Science Core Collection

Свершилось! С апреля этого года все государственные научные организации России получили доступ к Web of Science (кстати, если вы - государственная научная организация из России, и по каким-то причинам по этой ссылке система всё ещё просит у вас логин и пароль, напишите, пожалуйста, в отдел электронных подписок ГПНТБ России по адресу el-podpiska@gpntb.ru, чтобы этот доступ заработал и у вас.

До сих пор у любого пользователя Web of Science рано или поздно вставала следующая проблема: как найти все публикации конкретной научной организации? Ведь разные авторы в разных источниках по-разному указывают название одного и того же института или университета, и, когда с вас требуют отчётность по публикационной активности или цитируемости, приходится основательно повозиться, чтобы найти все публикации - и это полбеды, ведь надо, чтобы и на той стороне поиск по публикациям провели точно так же.

Несколько лет назад у нас появилась возможность объединять профили организаций, и мы постепенно создали около 200 таких профилей, и теперь наиболее "производительные" в научном плане организации России можно найти в Web of Science Core Collection, просто проведя поиск по полю "Organization-Enhanced" ("Профиль Организации" в русскоязычном интерфейсе). К слову, для МГУ им. Ломоносова таких вариантов мы нашли более 430 - это включая варианты с опечатками, да-да, в научных журналах бывает и такое.


В этом посте я постараюсь ответить на все возможные вопросы, связанные с профилем вашей организации.

Как понять, есть ли у нас профиль и как он называется?

Это можно посмотреть в нашем организационном каталоге. Как видите на скриншоте выше, под словом "Organization-Enhanced" есть ссылка "Select from index" ("Выбрать из указателя" в русском интерфейсе).



Там можно посмотреть либо по первой букве, либо при помощи поискового окошка, присутствует ли название вашей организации и как именно оно выглядит (естественно, каждое название профиля мы согласовываем с самой организацией, но для нас важно, чтобы оно было максимально простым, без всяких FGAU VPO). Если из списка результатов нажать на кнопку Add - название профиля будет скопировано в строку поискового запроса, если нажать на D - откроется список найденных нами вариантов названия.

Как создаются профили?


Профили мы делаем на основе поля Address. Смотрите, на картинке выше - один из вариантов написания организационной аффилиации СПБГУ. Наша программа разбивает строку "адрес" на части, чтобы понять: это - название организации, это - структурное подразделение (если оно было указано), это - почтовый адрес, город, индекс, страна и т.д. Это - важно, чтобы затем мы могли вручную доработать привязку к тому или иному профилю, и организация, которая находится на улице Кирова, не попала бы в профиль, например, университета имени Кирова.

Но это - детали, в реальности всё намного проще: чтобы мы могли создать профиль вашей организации, нам нужен список адресов в том виде, в котором вы их видите выше, а также желаемое название объединённого профиля.

Как сделать этот список?

Данные из Web of Science можно экспортировать для обработки в других приложениях, именно это нам сейчас и понадобится. Давайте разберём по шагам:

Делаем поиск по всем вариантам написания названия вашей организации - по полю Address.


На странице результатов поиска, над списком публикаций, есть кнопка экспорта данных Save to... - нажимаем на неё, выбираем "Save to Other File Formats" ("Сохранить в файл другого формата" по-русски).


Далее выбираем, в каком именно формате мы выгружаем данные: выбираем все публикации с первой до n, содержимое записи: "Full Record" ("Полная запись"), формат файла: "Plain Text" ("Обычный текст").


Система сохранит нам список публикаций в текстовом формате. Надо открыть скачанный файл, в нём нажать Ctrl+A, чтобы выделить всё его содержимое, затем - Ctrl+C, чтобы скопировать его в буфер обмена.

Дальше нужно вытянуть текст, содержащий все варианты адресов вашей организации, из этого файла. Вручную это делать довольно долго, и мы сделали макрос в MS Excel, который сам вытянет эти поля и сложит списком их на отдельном листе. Шаблон файла можно скачать отсюда.

Всё, что теперь нужно сделать с полученным списком - это удалить те варианты, которые не относятся к вашей организации, и, как я уже писал, прислать его мне на адрес pavel.kasyanov@clarivate.com. Небольшая просьба: в заголовке письма напишите, пожалуйста "Профиль организации" - тогда эти письма будут попадать в отдельную папку, и я быстрее смогу их обрабатывать.

После этого я сделаю всё остальное, необходимое для того, чтобы профиль у вас появился. Возможно, нам с вами придётся запастись терпением - тысяча профилей вряд ли будет создана за несколько недель, но я буду пытаться сделать всё возможное, чтобы профиль появился как можно быстрее.

Конечно же, если вдруг в будущем вы найдёте новые варианты написания адреса, которые пока не учтены в профиле (или, наоборот, найдёте ошибочно привязанные варианты написания) - можно будет либо прислать мне и их, либо воспользоваться функцией "Suggest a correction" ("Предложите поправку") прямо из записи о публикации с "проблемным" адресом.

Thursday 30 March 2017

Зависимость российской науки от коллайдерной иглы

Впервые об ощутимом влиянии Большого адронного коллайдера на результативность российской науки мы задумались примерно два с половиной года назад. Тогда только-только начиналось увлечение рейтингами, стартовал проект "5-100", мы с вами поражались зашкаливающей цитируемости НИЯУ МИФИ и т.д. С тех пор количество российских организаций, участвующих в экспериментах на БАК сильно выросло, многие российские университеты, вошедшие в эти проекты, существенно укрепили свои позиции в уже упомянутых рейтингах, что вылилось для них в дополнительное финансирование и обеспечило больший интерес к этим ВУЗам со стороны как студентов, так и профессоров.

Пусть так же будет продолжаться и дальше - эксперименты на БАК, вне всяких сомнений, являются одними из важнейших проектов в науке последних лет, и одно лишь участие в них уже является своеобразным знаком качества как для учёного, так и для организации. Проблемы начинаются, когда мы пытаемся проанализировать состояние и тенденции в науке университета, активно участвуюшего в этом проекте - или страны, доля БАКовских публикаций которой в общем её научном результате существенна. Заключаются эти проблемы в том, что мы не можем чётко ответить на вопросы, вроде:

- Кто из наших сотрудников работает наиболее эффективно? (Ответом будет: "участники экспериментов на БАК")
- Хорошо, тогда кто из наших сотрудников - "восходящие звёзды"? (Ответ: "Понятия не имеем. Куда ни глянь - одни участники экспериментов на БАК")
- Но тогда хотя бы в каких предметных направлениях мы работаем действительно эффективно? (Ответ очевиден: "физика элементарных частиц!")
- О'кей. А где мы публикуемся и где нам надо публиковаться? (Ответ: "публикуемся в Physical Review C/D/Letters, Physics Letters B и т.д., надо больше публиковаться там же")
- Ладно, а с кем мы сотрудничаем и с кем нам действительно стоит сотрудничать? (Ответ снова очевиден: "сотни организаций-участников указанных экспериментов - вот наша единственно верная политика научного сотрудничества!")

Аналогия с иглой нефтяной, от которой так сильно зависит российская экономика, тут неспроста. За цитированиями, приходящими на публикации мегаколлабораций, иногда можно не только не заметить, что мы отлично работаем и в других направлениях (или, наоборот, самозабвенно цитируем сами себя, уничтожая собственную академическую репутацию), но и поддаться ложным выводам о том, что всё в нашей науке великолепно - и вообще зачем чинить то, что и так прекрасно работает? Сохранение подобного статус-кво, тем не менее, весьма и весьма опасно для устойчивого развития науки, подобный пример в экономике мы и наблюдаем последние 17 лет.

Наукометристы часто говорят о необходимости оценки публикаций, написанных в крупных коллаборациях (около 30 авторов и более), отдельно от остальных. Многие эксперты - например, центра CWTS, составители Лейденского рейтинга - применяют методику дробного учёта цитирования, чтобы делить цитируемость таких публикаций равномерно между всеми участниками, но большинства вопросов это всё равно не снимает. Наша собственная методика расчёта высокоцитируемых авторов также подразумевает исключение всех коллабораций по физике с количеством соавторов более 30.

С марта этого года у нас, наконец, появилась возможность двумя щелчками мыши изолировать эти публикации и провести анализ деятельности любых организаций без учёта таких документов (или, наоборот, только с их учётом).

Давайте ещё раз посмотрим на одни лишь коллайдерные публикации. Вот так шли исследования и публиковались работы на всех семи детекторах (напомню, цифры 2016 г. пока неполные):

Количество публикаций по экспериментам на БАК

Как видно, исследования различаются не только масштабами (4 основных детектора дают основную массу данных) но и результативностью для современной науки - какие-то цитируются лучше, какие-то хуже:

Сопоставление масштабов коллабораций БАК. По горизонтальной оси: количество публикаций за период с 2007 по 2016 гг, по вертикальной оси: нормализованная средняя цитируемость публикаций, размер круга: количество высокоцитируемых публикаций

Более-менее знакомый с положением вещей читатель обратит внимание, что такого показателя цитируемости, пусть он и выше среднемирового значения, но всё же недостаточно, чтобы вытащить в ведущие мировые рейтинги целые российские университеты. Всё дело в том (что для меня как человека далёкого от физики элементарных частиц было удивительной новостью), что большая часть публикаций ALICE, ATLAS, CMS Collaboration и т.д. пишутся индивидуальными авторами с указанием одной из коллабораций в качестве группового автора. Вот небольшая статистика распределения этих публикаций по количеству соавторов:

Распределение публикаций по количеству соавторов

Так вот, самые низкие показатели цитируемости в рассматриваемой выборке - у индивидуально написанных публикаций, самые высокие - у тех статей, где количество работавших над ними исследоателей как раз целесообразно измерять в килоавторах. И вот в эти-то проекты как раз и стремятся войти организации со всего мира. Давайте посмотрим, кто участвует в них со стороны России. Напомню, все изображения кликабельны.


Российские организации, активно участвующие в крупных международных коллаборациях, и наукометрические показатели их участия за 2007-2016 гг.

Я не хотел бы детально разбирать публикации институтов Академии Наук, которые как раз и специализируются на исследованиях в области физики элементарных частиц (хотя и там, полагаю, при помощи новой функции InCItes можно увидеть много интересного, просто задавшись вопросом "что ещё там умеют делать хорошо?"). Давайте разберём университеты, ведь именно применительно к ним новая возможность InCites даёт максимальную пользу.

Российских университетов, чьи сотрудники за последние 10 лет опубликовали в рамках этих коллабораций более 100 статей, семеро. Вот они - и коллаборации, в которых они участвуют:

Российские университеты и коллаборации БАК, в которых они участвуют

Давайте посмотрим, чтО мы наконец-то можем увидеть по каждому из них, если отфильтровать все публикации с количеством соавторов выше определённого значения (оговорюсь, "коллайдерных" статей там будет большинство, но не все)

МГУ и высокоцитируемые публикации

Наукометрические показатели МГУ за 2007-2016 год, исключая публикации с количеством соавторов более 100.

Если ограничить сотней максимальное значение соавторов для публикаций МГУ, нормализованная средняя цитируемость Университета снижается довольно ощутимо: с 0,85 до 0,63. При этом, из 292 высокоцитируемых публикаций остаётся 131, что очень и очень неплохо. Интересное упражнение для самостоятельной работы в МГУ: посмотреть, что это за высокоцитируемые публикации, кто их авторы и почему эти статьи так хорошо цитируются.

МИФИ и новые направления роста

Для МИФИ попробуем снизить пороговое значение количества соавторов до 30 и посмотреть на их научные результаты в разбивке по предметным областям.

10 наиболее популярных предметных областей в НИЯУ МИФИ за 2007-2016 гг., исключены публикации с количеством соавторов более 30.

Нормализованная средняя цитируемость этих публикаций

Очевидные успехи НИЯУ МИФИ делает в области оптики, раз работы Университета в ней цитируются почти в полтора раза лучше среднемирового уровня. Теперь можно открыть список из этих 523 публикаций, чтобы увидеть, кто из авторов МИФИ действительно проводит интересные миру исследования по оптике, а кто - вероятнее всего, занимается преимущественно самоцитированием.

НГУ и география соавторства

Для НГУ зададим тот же порог в 30 соавторов на публикацию. Список основных организаций-партнёров серьёзно поменяется:

12 наиболее активно сотрудничающих с НГУ организаций за период с 2007 по 2016 гг., исключая коллаборации с числом соавторов более 30.

А какие из этих совместных проектов - наиболее цитируемые? Оказывается, совместные 70+ работ с Астонским Университетом цитируются очень и очень хорошо. Уверен, наукометрическое подразделение НГУ об этом факте хорошо знает, но теперь есть возможность продемонстрировать, насколько именно там всё хорошо цитируется по сравнению со средним значением по миру и по университету.

Нормализованная цитируемость этих совместных проектов

МФТИ и публикационная стратегия

Не могу не коснуться своей любимой темы - как университетам качественно увеличить цитируемость, изменив всего одну вещь в управлении публикационной активностью. На примере МФТИ мы можем снова задать порог в 30 соавторов на публикацию, выгрузить данные и построить диаграмму Пислякова, очищенную от крупных коллабораций, и использовать её, чтобы корректировать публикационную стратегию и отслеживать результаты этого изменения.

Соотношение нормализованной цитируемости МФТИ.
Очень удобная штука, чтобы трезво понимать состояние и тенденции в научных исследованиях в таких организациях. Ещё раз - мы никоим образом не умаляем заслуг физиков и медиков, активно участвующих в крупных международных коллаборациях. Но напомню, что рекорд количества соавторов сейчас составляет 5,145 килоавторов на одну статью, и, покуда конца и края этому нет, новая функция существенно облегчит жизнь всем, кто так или иначе связан с наукометрией и оценкой результативности научных исследований.