Юревич М.А., Цапенко И.П.: Перспективы применения альтметрики

Перспективы применения альтметрики в социогуманитарных науках

____________________

Юревич М.А., Цапенко И.П.

Статья рекомендована С.Б. Шапошником 16.04.2015 г.

Альтметрика была создана как альтернатива традиционным наукометрическим и экспертному подходу. Она призвана преодолеть их недостатки, особенно ощущаемые в социогуманитарных науках. Главным инструментом альтметрической оценки журнальных статей и других видов научной продукцию является подсчет откликов на них в социальных сетях, блогах и других сервисах интернета. К числу главных достоинств нового подхода относятся возможности измерения социального эффекта исследований, а также оперативность получения и гибкость показателей. В то же время альтметрические показатели не лишены таких недостатков, как манипулятивность и подверженность «популистским» установкам авторов, ограниченность присутствия ученых в социальных сетях. Авторы утверждают, что пока преждевременно ставить вопрос о применении альметрики в управлении наукой, однако целесообразно использовать ее информационные функции.

Ключевые слова: альтметрика, наукометрические подходы, цитирование, социогуманитарные науки, интернет-ресурсы, медиаплатформы.

Проблемы оценки результативности и эффективности научных исследований уже не одно десятилетие являются предметом жарких дискуссий в научном сообществе. В последние годы растущий интерес привлекают так называемые альтернативные измерители научной деятельности, основанные на применении данных социальных сетей и учитывающие использование и обсуждение материалов научных публикаций в интернете. Это новое направление наукометрии, являющееся детищем электронного развития науки и общества в целом, получило название альтметрики (Altmetrics).

Недостатки традиционного наукометрического подхода

Библиометрический подход, опирающийся преимущественно на статистику публикаций и их цитирований в специализированных базах данных, получил широкое применение для оценки и мониторинга научной продуктивности с тех пор, как в 1972 г. Индекс научного цитирования, разрабатываемый на основе базы данных Web of Science (БД WoS), был включен в Доклад об индикаторах науки Национального научного фонда США [1]. Однако в последнее время подобный подход подвергается все более острой критике. Среди его наиболее очевидных недостатков – тот факт, что за ссылками, на основе которых рассчитываются индекс Хирша и другие наукометрические показатели, стоят не только признание научного вклада ученого, но и самые различные социально-психологические и политические факторы, искажающие достоверность получаемых показателей. Кроме того, применение органами управления наукой такого показателя для оценки деятельности ученых побуждает последних к «погоне за рейтингами», «клонированию» уже опубликованных работ, встречному цитированию и т.п., отвлекая от исследовательской работы [2, 3]. В то же время, в соответствии с законом Гудхарта, если показатель становится самоцелью и выражает не реальную продуктивность, а активность ученого в повышении формальных рейтингов, то он перестает заслуживать доверие.

По мнению многих науковедов, ограничение объектов (единиц) традиционной статистической оценки публикациями и ссылками на них не позволяет отразить весь спектр влияния научных исследований [4]. Библиометрические показатели, ориентированные на измерение научной продуктивности ученых, практически не отражают социальную эффективность их деятельности. Проектирование показателей социального эффекта научных исследований упирается в трудности адекватного его измерения, который к тому же может быть не только прямым, очевидным, проявляющимся незамедлительно, но и косвенным, неявным, отложенным во времени. Недооценка подобного воздействия, упреки в низкой эффективности особенно типичны в отношении социогуманитарных исследований, учитывая их выраженную направленность именно на решение общезначимых задач, чтобы «сделать человека и общество лучше, причем не столько все человечество, сколько общество в той стране, в которой та или иная национальная наука развивается» [5]. Экспертные оценки, призванные восполнить этот пробел, также не лишены недостатков, в частности субъективности.

Социогуманитарная наука в большей степени, чем техническая и естественная, страдает от американоцентризма индексируемых журналов и лингвистической асимметрии крупнейших библиографических баз в пользу английского языка, оборачивающихся дискриминацией публикаций на русском языке и занижением их показателей [5]. Ориентация этих баз в первую очередь на журнальные статьи и в меньшей мере на другие виды научной продукции также ущемляет социогуманитарные дисциплины, во многих из которых, в частности в философии, предпочтение отдается написанию не статей, а монографий.

Кроме того, показатели, основанные на публикационной активности, отражают последнюю с большим временным лагом. Он возникает вследствие длительности производственного цикла по изданию научных трудов и их распространения среди коллег, а также обработки в БД информации о них. Подобный недостаток особенно очевиден в условиях появления новых быстро развивающихся направлений исследований.

В силу указанных и прочих недостатков традиционного подхода возникает потребность в расширении и дополнении перечня наукометрических показателей деятельности ученых более релевантными измерителями ее социального эффекта. Какие возможности в этой области открывает альтметрика?

Альтметрика впервые заявила о себе публикацией одноименного манифеста в 2010 г. [6]. Ее возникновение в ответ на неадекватность традиционного подхода стало возможным благодаря развитию и распространению различных интернет-ресурсов, в том числе социальных медийных платформ, и превращению интернет-пространства, включая блоги, социальные сети и т.п., в одну из основных коммуникативных площадок ученых. Как свидетельствует количество индексируемых статей по тематике альметрики, развитие этого «юного» научного направления наукометрии идет бурными темпами (рис.).

Рис. Количество статей в области альтметрики, индексированных в WoS, Scopus и РИНЦ (термин указан в ключевых словах, названии или аннотации)

Источник: Расчеты авторов на основе данных WoS, Scopus и РИНЦ.

В отличие от традиционной наукометрии, сфокусированной на подсчете ссылок в публикациях в индексируемых журналах, круг результатов научной деятельности, находящихся в поле зрения альтметрики, гораздо шире. Они оцениваются по количеству откликов на них в социальных сетях (как общего пользования, так и профессионального научного сообщества), блогах и других сервисах. Измеряемый таким образом уровень интереса к научным работам в интернете служит индикатором их социальной значимости (для образования, политики, профессиональной деятельности и т.п.), резонансности и популярности, чего так недостает традиционной наукометрии. Альтметрические исследования охватывают всю аудиторию интернет-пользователей научной продукции, которая состоит не только из ученых, публикующих статьи и ссылающихся в них на труды своих коллег, но и из людей, находящихся за пределами научного сообщества, которые не пишут научных работ и соответственно не занимаются научным цитированием. В особенности это актуально для социальных наук, продукция которых гораздо доступнее для понимания и популярнее у массового читателя и представителей других научных дисциплин, чем, скажем, статьи по физико-техническим специальностям, а значит, речь может идти об обратной связи. (На это, в частности, указывает доля просмотренных в системе Mendeley и вызвавших отклики статей за 2008 г. из числа индексированных в WoS: она составляла 46% в социальных науках, достигая 54% в психологии, по сравнению с 33% в технических науках и 30% в физике [7, 8].)

Технологически альтметрика представляет собой несколько специализированных платформ, в первую очередь таких наиболее популярных, как Altmetric, PLOS, ImpactStory и Plum Analitics, на которых агрегируются данные, получаемые из различных интернет-источников. При этом следует иметь в виду, что использование каждого из четырех указанных ресурсов с высокой долей вероятности приведет к различной оценке одного и того же объекта [9]. Подобные различия обусловлены многообразием первичных источников получения данных, которые обрабатываются и обобщаются на базе платформ. Выбор этих источников связан с потребностями целевой аудитории (институты, отдельные исследователи, научные библиотеки, аппарат научных фондов и др. [10]).

Как следует из таблицы, основными источниками альтметрических данных являются записи в социальных сетях, упоминания в блогах, презентации и другие материалы, не относящиеся к классическим научным публикациям, закладки и отметки, которые читатели делают в БД научных статей. При суммировании упоминаний в социальных медиа, научных блогах формируются сводные показатели. Хотя цитирования в БД WoS и Scopus также учитываются, им отводится гораздо меньшая роль, чем в традиционной наукометрии.

Таблица. Источники получения альтметрических данных

Выбор источников для оценки или включения в состав платформ, позволяющих получить альтметрические показатели, происходит по следующим критериям [9].

Учитывая высокую скорость развития современного знания, требующую и его быстрого распространения, одним из главных преимуществ большинства альтметрических показателей, в отличие от библиометрических, является их оперативность. Автор исследования может оповестить своих коллег и широкую общественность о полученных результатах в течение нескольких часов, быстро выяснить, какой интерес вызывает его работа, равно как и найти наиболее резонансные работы коллег по научному цеху.

Кроме того, в отличие от традиционных индикаторов новые измерители обладают большей гибкостью в формировании базы первоисточников и в зависимости от целей оценки позволяют составлять различные наборы таких показателей (блоги, краткие сообщения, закладки, рекомендации и т.д.). Возможность учета социального эффекта результатов научных исследований, популяризации научного знания среди широкой общественности также обусловливает потенциальную привлекательность альтметрики для применения ее инструментов на управленческом уровне. В силу указанных достоинств эти методы не только в полной мере применимы к оценке исследований в области социогуманитарных наук, но и, по мнению ряда зарубежных исследователей, особенно востребованы именно в этих науках [13]. Показательна достаточно сильная корреляция между количеством традиционных ссылок на индексируемые в WoS статьи по социальным наукам и количеством закладок на них в системе Mendeley: от 0.363 в религиоведении до 0.573 в экономических дисциплинах (p<0.01) [8]. При этом альтметрические показатели, так и традиционные наукометрические, заметно варьируются по научным отраслям и дисциплинам. Это обусловливает необходимость учета особенностей различных областей знания при альтметрическом анализе.

В то же время альтметрические показатели не лишены недостатков, которые важно учитывать в случае их использования в управлении наукой. Основными объектами критики являются легкость манипулирования этими показателями (причем в гораздо большей степени, чем это возможно в случае традиционных показателей публикационной активности), а также их зависимость от «популистских» установок авторов, стремящихся размещать в сети не научные работы, представляющие большую фундаментальную значимость, а материалы, которые могут заинтересовать широкую общественность [14]. Вызывает сомнение и релевантность самих единиц научной активности, применяемых при расчете альтметрических показателей. Например, использование в этих целях коротких сообщений в Twitter упирается в ряд проблем: ограничение объема сообщения 140 символами не позволяет пользователю полностью раскрыть содержание работы; остается неизвестным, какую аудиторию найдут работы при помощи цитат в Twitter; неясны причины, по которым люди цитируют научные труды в коротких сообщениях, что ставит под сомнение достоверность таких метрик [15].

Хотя круг источников альметрических данных постепенно расширяется, существенным недостатком получения и использования последних по сравнению с традиционными наукометрическими является относительно невысокая популярность различных социальных медийных платформ в научном сообществе, чего нельзя сказать о научных периодических изданиях или монографиях. Как показывают данные недавнего обследования американских ученых, активными пользователями Facebook являются 70% опрошенных, однако Google+ и Twitter – менее 40%, а ResearchGate и CiteULike – только 21% и 13% соответственно [4]. Приведенные цифры свидетельствует об имеющихся на данный момент ограничениях в применении альтметрики для оценки профессиональной деятельности отдельных ученых, поскольку по ряду источников большая часть научного сообщества остается «невидимой» для систем, автоматически подсчитывающих данные показатели. Зыбкость и неотлаженность альтметрических показателей в том виде, в каком они сейчас существуют, ставит под вопрос возможность их использования при принятии серьезных управленческих решений, в особенности при распределении финансовых средств на научные исследования. Высказывается мнение о целесообразности «ограничить использование альтметрики в информационных целях… и не внедрять [соответствующие методы] в инструментарий оценки результатов научной деятельности» [10].

Возможности применения альтметрики в России

Новым веянием в управлении наукой стало включение показателей социального эффекта научных исследований в систему оценки деятельности исследовательских организаций и отдельных ученых. В западных странах, в частности в Великобритании, при распределении финансирования научных исследований учитываются показатели их влияния на общество (societal impact), измеряемого экспертным способом. В России в качестве индикаторов распространения и популяризации результатов научных исследований стало учитываться количество публикаций в СМИ и интернете, докладов и аналитических материалов для органов государственной власти, читаемых лекционных курсов и т.п. Для мониторинга деятельности отечественных научных организаций используются такие вебометрические индикаторы, исчисляемые на основе интерактивных ресурсов, как количество положительных и нейтральных упоминаний организации в онлайновых СМИ федерального уровня и количество обращений к официальным сайтам и страницам организации в интернете [16]. Несмотря на относительно высокую информативность, подобные показатели имеют существенные ограничения в отражении социального эффекта научных исследований, особенно с точки зрения их воздействия на непрофессиональную аудиторию. Представляется, что логично было бы дополнить их альтметрическими показателями.

В то же время сама постановка вопроса о применении таких индикаторов в управлении наукой, в том числе социогуманитарной (разумеется, не в качестве нормативных критериев оценки социального эффекта научной деятельности, а хотя бы как факультативных) является по меньшей мере преждевременной. С одной стороны, необходимо существенно усовершенствовать сами эти методы, разработать четкие стандарты их применения, в том числе по областям знания [17], адаптировать к российским условиям (по примеру конструирования РИНЦ в традиционной наукометрии). С другой стороны, нужно запустить пилотный проект по созданию собственной платформы по обработке альметрических данных, включая интеграцию отечественных социальных сетей, а также разработку собственных источников получения информации (например, создание портала, содержащего видеозаписи конференций, круглых столов и других публичных мероприятий в отечественной науке). Действие в России национальных русскоязычных научных сетей, таких как Соционет, SciPeople, Учёные России и др., позволит получать более достоверные, не занижаемые англоязычным сегментом альтметрические показатели для российских НИИ, вузов и отдельных исследователей. Соционет, воплощающая идеи «открытой науки» и располагающая возможностями для автоматического расчета публичных показателей научной репутации ученых и исследовательских организаций в общественных и некоторых других дисциплинах, должна стать одним из базовых компонентов такой платформы.

Более отчетливо контуры применения альтметрики очерчиваются в информационных целях. Хотя пока еще российские исследователи, в том числе социогуманитарии, недостаточно представлены в социальных научных сетях, молодое поколение проявляет в них все большую активность, и его должен привлечь заложенный в альтметрике механизм коммуникации научных работников и получения оперативной информации из мира науки. Эти возможности особенно очевидны при традиционном недостатке информационного обеспечения научной деятельности, усугубляемом ограничением доступа к значительной части фондов ведущего профильного института в социогуманитарной области (ИНИОН РАН) в связи с его реконструкцией.

Альтметрика имеет большой потенциал внедрения в систему электронных научных библиотек, обеспечивая возможности предоставления читателю информации о мнении интернет-сообщества о научных трудах, размещенных в таких базах, и облегчения обмена идеями с авторами работ [18]. Она может быть подспорьем при планировании редакциями журналов тематики и поиске потенциальных авторов публикаций. Научным фондам она позволит отслеживать резонасность результатов осуществления поддержанных ими проектов. При отборе ученых в те или иные общественные или экспертные советы может быть полезен учет альтметрических показателей их научной репутации.

Альтметрические методы, вопреки своему названию, по сути, являются не альтернативными, а комплементарными по отношению к традиционным методам измерения научной деятельности. Они позволяют подойти к решению такой важной проблемы, как оценка интереса широкой общественности к новейшим результатам научных исследований, получившим освещение в интернете. В то же время здесь есть опасность погони за новыми рейтингами, поэтому жизнеспособность подобного подхода должна пройти серьезную проверку практикой и временем.

Статья подготовлена при поддержке РГНФ, проект № 14-03-00326а.

1. de Bellis, N. History and evolution of (biblio)metrics / B. Cronin & C. R. Sugimoto (Eds.). Beyond bibliometrics: harnessing multi-dimensional indicators of performance. Cambridge, MA, USA: MIT Press, 2014. Р. 23-44.

2. Юревич М.А. Методические проблемы оценки результативности исследователя // Альманах «Наука. Инновации. Образование». 2014. № 16. С. 28–41.

3. Юревич М.А. Предложения по повышению релевантности библиометрической оценки научной деятельности // Альманах «Наука. Инновации. Образование». 2014. № 15. С. 119–130.

4. Haustein, S., Peters, I., Bar-Ilan, J., Priem, J., Shema, H. & Terliesner, J. Coverage and adoption of altmetrics sources in the bibliometric community // Scientometrics. 2014. Р. 1–19.

5. Юревич А.В., Цапенко И.П. Еще раз об оценке мирового вклада российской науки // Альманах «Наука. Инновации. Образование». 2013. № 13. С. 60–84.

7. Mohammadi, E., Thelwall, M., Haustein, S. and Larivière, V. Who reads research articles? An altmetrics analysis of Mendeley user categories // Journal of the Association for Information Science and Technology. 2015. doi: 10.1002/asi.23286

8. Mohammadi, E. and Thelwall, M. Mendeley readership altmetrics for the social sciences and humanities: Research evaluation and knowledge flows // Journal of the Association for Information Science and Technology. 2014. № 65. Р. 1627–1638.

9. Chamberlain, S. Consuming Article-Level Metrics: Observations and Lessons // Information Standards Quarterly. 2013. V. 25(2). Р. 4–13.

10. Мазов Н.А., Гуреев В.Н. Альтернативные подходы к оценке научных результатов // Вестник Российской академии наук. 2015. № 2. С. 115–122.

11. Markscheffel B. New metrics, a chance for changing scientometrics. Презентация доклада на конференции «Проблемы наукометрии. Состояние и перспективы развития». 10–12 октября 2013 г. Москва, ИПРАН. URL: http://www.issras.ru/conference_sspd/prez/Markscheffel.pdf (дата обращения: 20.04.15)

12. Barbaro, A., Gentili, D., & Rebuffi, C. Altmetrics as new indicators of scientific impact // JEAHIL. 2014. 10(1). Р. 3–6.

13. Hammarfelt, B. Using altmetrics for assessing research impact in the humanities // Scientometrics. 2014. V. 101. No. 2. Р. 1419–1430.

14. Thelwall, M., Haustein, S., Larivière, V. & Sugimoto, C. Do altmetrics work? Twitter and ten other candidates // Plos one. 2013. 8(5). P. 1–7.

15. Bornmann, L. Alternative metrics in scientometrics: A meta-analysis of research into three altmetrics // Scientometrics. 2015. № 103. Р. 11–23.

16. Приказ Министерства образования и науки Российской Федерации (Минобрнауки России) от 5 марта 2014 г. № 162 г. Москва. URL: http://www.rg.ru/2014/05/14/minobrnauki2-dok.html (дата обращения: 30.04.2015)

18. Roemer, R.C., Borchardt, R. Institutional Altmetrics and Academic Libraries // Information Standards Quarterly. Summer. 2013. 25(2). Р. 14–19.

Младший научный сотрудник Центра макроэкономических исследований Финансового университета при Правительстве РФ, аспирант Института экономики РАН

Доктор экономических наук, ведущий научный сотрудник Института мировой экономики и международных отношений РАН