Практика применения баз данных научного цитирования при оценке публикационной активности КНИТУ

 

Галеев Ильдар Хамитович

доцент, к.т.н., начальник отдела ЦНИТ

Казанский национальный исследовательский технологический университет,

ул. К. Маркса, 68, г. Казань, 420015, (843)2314105

 monap@kstu.ru

 

Аннотация

В работе рассматривается практика применения баз данных научного цитирования при оценке публикационной активности КНИТУ. Отмечается, что качественную подготовку специалистов могут обеспечить преподаватели высших учебных заведений, активно участвующие в научных исследованиях и имеющие высокую публикационную активность и цитируемость. Констатируется значительный объем недостоверной информации в РИНЦ и Scopus.

This paper considers the practice of application databases of scientific citation when assessing the publication activity of KNRTU. It is noted that the qualitative training of specialists can provide teachers of higher educational institutions that are actively involved in scientific research and having a high publication activity and quotability. States a significant amount of false information in RISC and Scopus.

Ключевые слова

Образование и наука, публикационная активность и цитируемость, национально-исследовательский университет, научная электронная библиотека, российский индекс научного цитирования (РИНЦ), международная БД цитирования Scopus, достоверность РИНЦ, достоверность Scopus, мониторинг.

Education and science, publication activity and citation, national research university, scientific digital library, Russian index of scientific citation (RISC), international DB of citation of Scopus, reliability RISC, reliability Scopus, monitoring.

Введение

Общеизвестно, что российские образование и наука нуждаются в модернизации. Можно выделить, по меньшей мере, две государственные инициативы, направленные на ее осуществление:

- оценка эффективности работы государственных образовательных учреждений, впервые проведенная Минобрнауки в 2012 году и планируемая как ежегодная (по сообщениям средств массовой информации, в феврале 2013 года президент В. В. Путин поручил правительству ежегодно проводить подобный мониторинг и потребовал подготовить порядок проведения нового исследования к августу 2013 года);

- реорганизация РАН (одним из индикаторов наличия проблем в российской науке является невысокая доля российских публикаций в мировых научных журналах, индексируемых в Web of Science (WoS), что инициировало включение в Указ Президента РФ от 07.05.2012 №599 “О мерах по реализации государственной политики в области науки и образования” указание на необходимость увеличения этой доли к 2015 году до 2,44%)

Естественно, что образование и наука тесно взаимодействуют друг с другом и оказывают существенное взаимовлияние на свое развитие. Наука не может динамично развиваться без хорошо образованных специалистов. Образование качественно и востребовано, если соответствует современному уровню развития науки. Такое образование “могут обеспечить преподаватели высших учебных заведений, имеющие высокий уровень профессиональной квалификации и активно участвующих в проведении научных исследований” [1].

Для повышения объективности и обоснованности экспертной оценки результатов научной деятельности во всем мире используется наукометрический (библиометрический) анализ [2].

В конце 2012 года - начале 2013 в российских средствах массовой информации (традиционных и электронных, например, в Российской газете http://www.rg.ru/printable/2012/12/13/karta-site.html) прошла информация о проекте “Карта российской науки”. В YouTube. http://www.youtube.com/watch?v=k373nr7Rj94 можно ознакомиться с интервью с министром Минобрнауки Д. Ливановым об указанном проекте. Планируется, что среди критериев оценки ученых - публикации в научных журналах, цитируемость статей и число патентов (планируется использовать консолидированные данные РИНЦ, WoS, Scopus). Эти данные будут использоваться при отборе победителей грантов и при формировании экспертных и диссертационных советов.

В целом ряде российских университетов (в том числе и в Казанском национальном исследовательском технологическом университете (КНИТУ)) разработаны и применяются различные  программы повышения публикационной активности сотрудников. В связи с этим высокую актуальность приобретают вопросы полноты и достоверности информации, формируемой в российском индексе научного цитирования (РИНЦ) и глобальных базах данных цитирования WoS и Scopus.

Достоверность РИНЦ и Scopus

В КНИТУ принята программа повышения публикационной активности КНИТУ в 2013 - 2015 годах. Введена система поощрения авторов. В частности за достижение индексов Хирша РИНЦ и Scopus (индекс Хирша h означает, что у автора есть h публикаций, на которые сослались не менее h раз.), превышающих определенное пороговое значение (нулевое значение одного из индексов не допускается) устанавливается постоянная надбавка по итогам предшествующего года сроком на один год. Таким образом, сотрудники КНИТУ заинтересованы в ненулевых, достоверных и высоких значениях индексов Хирша в РИНЦ и Scopus.

Анализ публикационной активности КНИТУ представлен на рис. 1.

Рис. 1. Анализ публикационной активности КНИТУ (2.11. 2013 г.)

 

На странице, описывающей “Анализ публикационной активности организации” (рис. 1) указана следующая информация о КНИТУ: Число авторов = 1439, Общее число публикаций в РИНЦ = 13587, Суммарное число цитирований публикаций организации = 12706.

В РИНЦ реализовано значительное число сервисов. На указанной странице среди возможных действий можно перейти на сервис “Вывести список публикаций данной организации “. В результате выводятся следующие данные (рис. 2).

Рис. 2. Список публикаций КНИТУ (2.11. 2013 г.)

 

Здесь уже указано: “Всего найдено 13485 публикаций с общим количеством цитирований 12720”. То есть число публикаций меньше, а число цитирований больше. Где 13587-13485 = 102 публикации? Понять, без дополнительных объяснений, такое расхождение в числе публикаций и цитирований крайне затруднительно. Релевантные средства помощи пользователю, позволяющие это сделать, на платформе Научной Электронной Библиотеки (НЭБ) eLIBRARY.RU к сожалению отсутствуют. Можно предположить, что обновление одних и тех же, данных на различных страницах библиотеки происходит не синхронно и должно рассматриваться как серьезный недостаток функциональности.

На странице, представляющей список публикаций организации (рис. 2), среди возможных действий можно вернуться на страницу “Анализ публикационной активности организации” (рис. 1) и выбрать на ней один из предлагаемых статистических отчетов (рис. 3).

Рис. 3. Виды статистических отчетов

При выборе статистического отчета “Распределение публикаций по авторам” выводятся информация о первых 10 наиболее активных (по числу публикаций) авторах анализируемой организации (рис. 4).

Рис. 4. Распределение публикаций КНИТУ по авторам.

Начало списка (2.11. 2013 г.)

 

Использую кнопку “+” на рассматриваемой странице можно раскрыть весь список и получить полный список авторов, отсортированный по их публикационной активности. Переход к концу списка позволяет определить общее число авторов организации (рис.5).

Рис. 5. Распределение публикаций КНИТУ по авторам

Конец списка (2.11. 2013 г.)

 

Из данных на рис.5 следует, что в КНИТУ 9214 авторов, что существенным образом отличается от данных на странице, описывающей “Анализ публикационной активности организации”, на которой число авторов указано равным 1439 (рис.1). Полученный результат (расхождение в числовых значениях) также сложно комментировать.

Безусловно, обращение к сотрудникам НЭБ позволяет исправлять недостоверную информацию. В частности, в начале мая 2013 года поиск в Авторском указателе НЭБ проректора по УВМР КНИТУ профессора Кочнева А.М. результатов не давал. Это означало, что нельзя было определить значение индекса Хирша в РИНЦ у Кочнева А.М.. Таким образом, он был лишен возможности претендовать на указанную выше надбавку по программе повышения публикационной активности КНИТУ.

Рис. 6. Результат поиска Кочнева в Авторском указателе (начало мая 2013 г.)

 

В тоже время в списке (рис. 4, рис. 5) среди авторов КНИТУ профессор Кочнев А.М. в начале мая 2013 года занимал 40-е место с 65 публикациями (рис. 7).

Рис. 7. Распределение публикаций КНИТУ по авторам (начало мая 2013 года)

 

Исправление ошибок в НЭБ (конец мая 2013 года) позволило восстановить право Кочева А.М. на указанную надбавку (рис. 8).

Рис. 8. Результат поиска Кочнева в Авторском указателе (конец мая 2013 г.)

 

Можно отметить, что у проф. Кочнева А. М. найдено 86 публикаций (вместо ранее указанных 65) и 223 цитирований, а индекса Хирша в РИНЦ = 6 (рис. 9).

Рис. 9. Данные о публикационной активности Кочнева А. М. (конец мая 2013 г.)

 

Кроме того, если до правки в Авторском указателе полностью отсутствовали авторы с фамилией Кочнев, то после правки их стало 34 (рис. 8).

Можно привести примеры других видов ошибочной информации в НЭБ. Например,  в начале мая 2013 года списке публикаций доцента КНИТУ Галеева И.Х. содержалась публикация, не принадлежащая ему: NO LECTURES ON-CAMPUS: CAN ELEARNING PROVIDE A BETTER LEARNING EXPERIENCE? Baptista Nunes J.M., McPherson M.A Proceedings - IEEE International Conference on Advanced Learning Technologies, ICALT 2004. 2002. С. 442. (рис.10). В конце мая ошибка также была исправлена (публикация, и ссылка на нее были исключены из списка публикаций Галеева И.Х.). По разъяснениям, данным разработчиками РИНЦ, указанная ошибка – результат импорта ошибочных данных из БД Scopus. Однако это свидетельствует и о том, что в РИНЦ отсутствует эффективный контроль входных данных.

Рис. 10. Фрагмент списка публикаций Галеева И.Х. (начало мая 2013 г.)

 

Безусловно, основную часть недостоверной информации составляют ошибки аффилиации (от англ. аffiliation - соединение, связь). В контексте НЭБ под аффилиацией понимается привязка автора  к организации, городу, стране. Так в 2012 году выявлено и исправлено значительное число следующих ошибок аффилиации в НЭБ. Существенная часть авторов КНИТУ была ошибочно отнесена к авторам КНИТУ-КАИ (Казанский национальный исследовательский технический университет им. А. Н. Туполева – Казанский авиационный институт)  В результате исправлений показатели публикационной активности КНИТУ выросли на 2740 публикаций и на 1861 ссылку. В итоге это привело к тому, что позиция КНИТУ в рейтинге российских  научно-исследовательских организаций (по версии НЭБ)  выросла в 2012 году на 134 - 95 = 39 пунктов. Естественно, что позиция КНИТУ-КАИ в этом рейтинге понизилась. Понятно, что ошибки аффилиации влекут за собой искажение значений значительного числа наукометрических параметров, описывающих публикационную активность организации (рис. 1).

Как указывалось выше, и международная БД Scopus содержит недостоверную информацию о российских авторах, поступающую в БД РИНЦ. Можно отметить, что само библиографическое описание выделенной статьи вызывает вопросы (рис. 10).

Основным источником недостоверной информации о российских авторах в БД Scopus являются вопросы, связанные с транслитерацией фамилии автора (транслитерацией кириллицы в латиницу) и с отсутствием однозначной аффилиации (или указанием разных мест работы), что приводит к созданию множественных профилей. Например, в октябре 2013 года для доцента КНИТУ Галеева Ильдара Хамитовича в БД Scopus было два следующих профиля: на имя “Galeev, Ildarc 2-я публикациями и на имя “Galeev, I. Kh.” с 1-й публикацией. Проведя в ноябре 2013 года, процедуру объединения авторских профилей получили один объединенный профиль и уже с 4-я публикациями (рис. 11). Следует подчеркнуть, что в качестве места работы в поисковом запросе был указан технологический университет: “ Kazan State Technological University” (рис. 11). В ответе на указанный запрос в рассматриваемом авторском профиле в качестве места работы указывается технический университет: “ Kazan State Technical University”(рис. 12).

 

Рис. 11. Фрагмент (начало) авторского профиля Галеева И.Х. (Galeev I.)

 

Рис. 12. Фрагмент (конец) авторского профиля Галеева И.Х. (Galeev I.)

 

Поиск в БД Scopus средств, позволяющих автору (пользователю) скорректировать ошибки аффилиации, результатов не дал.

В настоящее время в Казани два университета, имеющих статус национальных исследовательских университетов. Историю смены их названий можно представить в виде двух следующих цепочек:

1. С 1930 года - Казанский химико-технологический институт (КХТИ). С 1992 года - Казанский государственный технологический университет (КГТУ). С 2011 года по настоящее время - Казанский национальный исследовательский технологический университет (КНИТУ)” http://www.kstu.ru/. Современное англоязычное название университета -Kazan National Research Technological University (KNRTU).

2. С 1932 года - Казанский авиационный институт (КАИ). С 1992 года - Казанский государственный технический университет  им. А.Н. Туполева (КГТУ (КАИ) им. А.Н. Туполева). С 2010 года по настоящее время - Казанский национальный исследовательский технический университет (КНИТУ-КАИ) http://kai.ru/univer/.

Схожесть в названиях рассмотренных университетов привела к многочисленным ошибкам аффилиации как в РИНЦ, так и в Scopus.

Запрос на принадлежностьffiliation) с указанием “Kazan National Research Technological University” никаких результатов не дает. Аналогичный запрос с указанием “Kazan State Technological University” в качестве результата выдает“Kazan State Technical University” с количеством публикаций в ноябре 2013 года равным 2228 (рис. 13).

Рис. 13. Ответ на запрос “Kazan State Technological University

 

В БД Scopus пользователям предоставляется сервис, позволяющий раскрыть список публикаций (следует “кликнуть” на указанное число публикаций). В результате раскрывается: сам список публикаций, а также имен авторов, имеющих наибольшее число публикаций, список предметных областей публикаций и т.д. (рис. 14).

Рис. 14. Список публикаций, отнесенных к КНИТУ-КАИ

Следует отметить, что четверо из пяти приведенных (рис. 14) наиболее активных авторов (Mikhailov, O.V.; Nazmutdinov, R.R.; Kurenkov, V.F.; Barabanov, V.P.) сотрудники КНИТУ, а не КНИТУ-КАИ. В этом легко убедиться, раскрыв их персональные списки публикаций, например профессора КНИТУ Михайлова О.В. (рис. 15). При этом в раскрытом списке правильно указано место работы - Kazan National Research Technological University, Department of Analytical Chemistry (рис. 15).

Рис. 15. Список публикаций профессора КНИТУ О.В. Михайлова

 

Кроме того, приведенное (рис. 14, рис.16) распределение публикаций по предметным областям показывает, что наибольшее количество публикаций связано с химией, то есть, скорее всего, авторами этих статей являются сотрудники КНИТУ с соавторами, а не КНИТУ-КАИ.

Рис. 16. Распределение публикаций по предметным областям

 

Таким образом, получить достоверную информацию в БД Scopus  о публикационной активности  и рейтинге КНИТУ крайне проблематично.

 

Заключение

На протяжении ряда последних лет проблемы формирования единого информационно – образовательного пространства поднимались автором неоднократно в журнальных публикациях и в докладах на конференциях, как в России, так и за рубежом [3-21]. Качество составляющих элементов формируемого пространства во многом оценивается с помощью библиометрических параметров, формируемых в базах данных научного цитирования. Практика использования РИНЦ и Scopus, изложенная выше, наглядно демонстрирует, как остро стоит вопрос достоверности информации, формируемой в РИНЦ и Scopus. Необходимы существенные стимулы для решения указанного вопроса.

Литература

1.       И.Х.Галеев, Н.Х.Галеева Опыт анализа публикационной и издательской активности с использование РИНЦ // Международный электронный журнал "Образовательные технологии и общество (Educational Technology & Society)" - 2012. - V.15. - №1. - C.594-608. - ISSN 1436-4522. URL: http://ifets.ieee.org/russian/periodical/journal.html

2.       Н.Ю.Березкина, Г.С.Хренова Использование баз данных «Web of Science» для оценки результатов научной деятельности в Республике Беларусь // Международный электронный журнал "Образовательные технологии и общество (Educational Technology & Society)". – 2010. – V.13. – № 3. – C. 311 – 316. - ISSN 1436-4522. URL: http://ifets.ieee.org/russian/periodical/journal.html.

3.       I.Galeev, V.Chepegin, S.Sosnovsky, The East European Sub-group of International Forum of Educational Technology and Society: Problems and the Ways to Solve Them, In Proceedings of 9th International Conference on Human-Computer Interaction (Poster Session: Abridged Proceedings), New Orleans, Louisiana, USA, August 5-10, 2001, pp. 260-262.

4.       И.Х.Галеев, В.Г. Иванов, В.И.Чепегин, С.А.Сосновский, О.В.Колосов Образовательный ресурс для повышения квалификации преподавателей // Материалы Международного научного семинара «Телематика и непрерывное обучение» (TLLL-2001), Киев, Украина, 15-17 Октября, 2001 г.– С. 89-91.

5.       И.Х Галеев, В.Г.Иванов, М.С.Ахмадуллин, Л.М.Шарнин, В.И. Чепегин, С.А.Сосновский, О.В.Колосов, Ю.С.Спиридонова “IFETS East-Euro три года в сфере открытого образования: итоги деятельности”, in Valery Petrushin, Piet Kommers, Kinshuk and Ildar Galeev (ed): Proceedings of IEEE International Conference on Advanced Learning Technologies, Kazan, Tatarstan, Russia, September 9-12, 2002, pp. 206-211.

6.       И.Х. Галеев, Л.Н. Абуталипова, О.В. Колосов, А.И. Филяев. Форум «Образовательные технологии и общество» – эффективный ресурс единого образовательного информационного пространства СНГ // Материалы  Всероссийской научно-методической конференции Телематика’2004, С.-Петербург, 7-10 июня 2004 г. – С.464-465.

7.       I. Galeev, V. Ivanov, O. Kolosov and A. Filyaev “IFETS East-Euro – realization of «lifewide learning» principle in computer science”, in Petar Biljanovic (ed): Proceedings of the 28th International Conference MIPRO (MIPRO’2005), Opatija, Croatia, May 30- June 03, 2005, p. 159-163.

8.       Ildar Galeev, Oleg Kolosov and Alexander Filyaev “Virtual spaces for IFETS and IFETS-East-Euro Learning Communities”, in Peter Goodyear, Demetrios Sampson, Devid Jin-Tan Yang, Kinshuk, Toshio Okamoto, Roger Hartley, Nian-Shing Chen (ed): Proceedings of 5th IEEE International Conference on Advanced Learning Technologies (ICALT’2005), Kaohsiung, Taiwan, 5-8 July, 2005, p. 912-916.

9.       И.Х. Галеев, О.В. Колосов Структура и функции информационного ресурса “Информационные технологии и общество” // ISSN 0130-5395 УСиМ: Управляющие системы и машины, № 6. 2005 г. – С. 28-34.

10.    И.Х. Галеев, В.Г. Иванов, А.И. Филяев. IFETS-EAST-EURO: наполнение и использование // Труды Всероссийской научной конференции «Научный сервис в сети Интернет: технологии распределенных вычислений», Новороссийск, 19-24 сентября 2005г. – С. 272-275.

11.    Ildar Galeev, Oleg Kolosov, Larissa Tararina Russian “Best Practices” of Educational Web Resources //Proceedings from the ICL2005 Workshop “industry meets research” , Villach, Austria, September 28, 2005, p 1-10.

12.    И.Х Галеев, В.Г. Иванов, Л.Н. Абуталипова Электронные журналы и библиотеки в образовании при формировании информационного общества // Труды V-й   научно-практической конференции АРБИКОН “Корпоративные библиотечные системы: технологии и инновации” 1-7 июля 2007 года, Санкт-Петербург (Россия), Лаппеенранта (Финляндия), Санкт-Петербург, 2007.- С.178-184.

13.    И.Х. Галеев Динамика развития международного электронного журнала «Образовательные технологии и общество» // Educational technology & Society - 2007 (http://ifets.ieee.org/russian/periodical/journal.html)- V. 10 -N 1.- С.315-328. - ISSN 1436-4522.

14.    И.Х Галеев Проблемы формирования единого информационно - образовательного пространства  // Сборник трудов 5-й  ежегодной международной научно-практической конференции «Инфокоммуникационные технологии Глобального информационного общества». 5-6 сентября 2007 года. Казань: Изд-во Фолиантъ – С.68-70.

15.    И.Х.Галеев, Л.Н.Абуталипова, В.Г. Иванов Инновации в информационном обеспечении науки и образования в условиях развития информационно – коммуникационных технологий. Труды международного симпозиума “НАДЕЖНОСТЬ И КАЧЕСТВО”. В 2-х томах. Том 1. /Под ред. Н.К. Юркова. — Пенза: Изд-во Пенз. гос. ун-та, 2008. – С.107 – 108.

16.    И.Х. Галеев, Л.М. Шарнин Новый этап в информационном обеспечении науки и образования в условиях развития информационно-коммуникационных технологий // Материалы пятой научно-практической конференции “Инновации в условиях развития информационно-коммуникационных технологий Инфо-2008”, Сочи, 1-10 октября 2008 года. М.: МИЭМ, 2008 С.309-312. - ISBN 978-5-94506-204-7.

17.    И.Х. Галеев Научный журнал в информационном пространстве // Высшее образование в России.  -  2009. -  № 3. – С. 92 - 95.

18.    И.Х. Галеев Информационно-образовательное пространство России и «перечень» журналов // Высшее образование в России. - 2009. - № 10. – С. 15 - 23.

19.    И.Х. Галеев Мониторинг функционирования и развития НЭБ // Труды 17-й Всероссийской научно-методической конференции Телематика’2010, Том 1, С.-Петербург, 21-24 июня 2010 г. – С. 41 - 44.

20.    И.Х. Галеев Новые аспекты в оценке научной и образовательной деятельности // Проблемы техники и технологий телекоммуникаций ПТиТ-2011: Материалы XII Международной научно-технической конференции. Оптические технологии в телекоммуникациях ОТТ-2011: Материалы IX Международной научно-технической конференции, Казань, 21 - 24 ноября 2011 года. Казань: Изд-во Казан. гос. техн. ун-та, 2011.- С.517 - 518.

21.    И.Х. Галеев Инновации в оценке эффективности образовательных учреждений // Инновационные информационные технологии: Материалы международной научно-практической конференции. Том 1. / Гл. ред. С.У. Увайсов; Отв. ред. И.А. Иванов – М.: МИЭМ НИУ ВШЭ, 2013. С.111-119.